기초 개념 · Token초보갱신일 2026. 10. 1.
토큰
AI가 글을 잘라 읽는 조각 단위로, 요금·길이 한도의 기준입니다.
비유
문장을 글자 단위가 아니라 ‘음절·단어 조각’으로 잘라 먹는 과자처럼 생각하면 됩니다. 조각 수가 곧 식사량(비용·한도)입니다.
이렇게 이해하세요
토큰은 언어 모델이 텍스트를 처리하기 위해 나누는 최소에 가까운 단위입니다. 한국어는 한 단어가 여러 토큰이 되기도 하고, 영어는 대략 단어 하나당 토큰 하나가 자주 나옵니다. 입력(질문·문서)과 출력(답변) 모두 토큰을 쓰며, API 요금·컨텍스트 길이·응답 잘림이 이 숫자에 묶입니다. 긴 대화·대량 붙여넣기는 한도를 쉽게 넘기므로, 필요한 부분만 넣고 요약·분할하는 습관이 중요합니다. ‘글자 수=토큰 수’가 아니라는 점만 기억해도 초보 단계에서 큰 혼란이 줄어듭니다.
한 줄 암기
토큰 = AI의 글자 조각·요금 눈금
좋은 예
긴 PDF 전체를 붙이지 말고, 관련 절만 발췌하거나 먼저 요약해 토큰을 아낀다.
피하기
대화가 길어져 앞 지시가 잘려 나갔는데도 ‘아까 말했잖아’라고만 한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
한글은 토큰을 더 많이 쓰나요?
모델·토크나이저마다 다르지만, 같은 의미라도 한글이 영어보다 토큰이 더 드는 경우가 많습니다. 긴 업무 문서는 특히 주의하세요.
토큰을 아끼는 실전 팁이 있나요?
중복 설명 줄이기, 불필요 로그 제거, 핵심만 번호 목록으로 주기, 긴 문서는 요약 후 질문하기가 효과적입니다.