AI에게 'ㅇㅇ'이라고 답하면 'yes'보다 4배 비쌉니다
같은 뜻인데 한국어는 영어보다 토큰을 3.4배 더 씁니다. AI 요금제를 쓰는 한국인이 알아야 할 토큰의 비밀.
같은 말, 다른 요금
AI 챗봇에게 "알겠어"라고 답하면 5토큰, "ok"라고 답하면 1토큰입니다. 같은 뜻인데 5배 차이. 한국어 사용자가 AI를 쓸 때 영어 사용자보다 구조적으로 더 많은 비용을 내고 있다는 뜻입니다.
왜 이런 일이 벌어지는 걸까요? ChatGPT, Claude, Gemini 등 대부분의 AI는 BPE(Byte Pair Encoding)라는 방식으로 글자를 토큰 단위로 쪼갭니다. 영어 "yes"는 통째로 1토큰이지만, 한국어 "ㅇㅇ"은 4토큰으로 쪼개집니다.
직접 측정해 봤습니다
GPT-4와 Claude가 사용하는 토크나이저(cl100k_base)로 실제 측정한 결과입니다.
🔬 짧은 확인 응답 토큰 수
ㅇㅇ → 4토큰 | yes → 1토큰 (4배)
네 → 2토큰 | ok → 1토큰 (2배)
알겠어 → 5토큰 | got it → 2토큰 (2.5배)
감사합니다 → 4토큰 | thanks → 1토큰 (4배)
좋아 → 4토큰 | good → 1토큰 (4배)
일상적인 짧은 대화 7가지를 비교하면, 한국어 총 26토큰 vs 영어 총 8토큰. 한국어가 평균 3.25배 더 많은 토큰을 사용합니다.
왜 한국어가 더 비싼가 — BPE의 구조적 한계
AI의 토크나이저는 영어 중심으로 학습되었습니다. 학습 데이터에서 자주 나오는 글자 조합을 하나의 토큰으로 묶는데, "yes", "the", "good" 같은 영어 단어는 수십억 번 등장하니 통째로 1토큰이 됩니다.
반면 한국어는 학습 데이터에서 비중이 작고, 특히 자음만으로 된 줄임말(ㅇㅇ, ㅋㅋ, ㅇㅋ)은 거의 등장하지 않아 바이트 단위로 쪼개집니다. "ㅇ" 하나가 UTF-8로 3바이트인데, 토크나이저가 이를 2토큰으로 분리합니다. "ㅇㅇ"은 그래서 4토큰이 되는 겁니다.
"yes" → [ yes ] = 1토큰 (3바이트)
"ㅇㅇ" → [ ㅇ(2) ][ ㅇ(2) ] = 4토큰 (6바이트)
"알겠습니다" → [ 알 ][ 겠 ][ 습 ][ 니다 ] = 5토큰 (15바이트)
"understood" → [ under ][ stood ] = 2토큰 (10바이트)GPT-4o는 얼마나 나아졌나
OpenAI가 GPT-4o에서 도입한 새 토크나이저(o200k_base)는 한국어를 좀 더 효율적으로 처리합니다.
📊 GPT-4 vs GPT-4o 토크나이저 비교
ㅇㅇ: 4토큰 → 2토큰 (50% 절감)
응: 2토큰 → 1토큰 (50% 절감)
알겠어: 5토큰 → 3토큰 (40% 절감)
짧은 대화 7개 합계: 26토큰 → 14토큰 (46% 절감)
개선되긴 했지만, 여전히 영어(8토큰)의 1.75배입니다. 구조적 격차는 남아있습니다.
실제로 얼마나 차이 나나 — 비용 시뮬레이션
Claude Sonnet 기준(출력 $15/백만 토큰), 하루 50번 AI와 대화하면서 짧은 확인 응답을 한다고 가정합니다.
💰 연간 추가 비용
한국어 사용자: 연간 약 219,000토큰 추가 소모
추가 비용: 연간 약 $3.29 (약 4,400원)
개인 한 명의 짧은 응답만으로 이 정도입니다. 기업이 API로 수백만 건의 한국어 텍스트를 처리한다면 차이는 기하급수적으로 커집니다.
물론 짧은 확인 응답은 전체 대화에서 극히 일부입니다. 실제로 비용 차이가 크게 체감되는 건 긴 문서 처리입니다. 같은 내용의 한국어 문서와 영어 문서를 AI에 넣으면, 한국어가 평균 1.5~2배 더 많은 토큰을 소비합니다.
한국어 사용자가 토큰을 아끼는 법
1. 시스템 프롬프트는 영어로 — AI에게 내리는 지시문(시스템 프롬프트)을 영어로 작성하면 입력 토큰을 30~50% 절감할 수 있습니다. 응답은 한국어로 받아도 됩니다.
2. 불필요한 존댓말 줄이기 — "감사합니다"(4토큰) 대신 "ㄳ"(2토큰)이 비용상 유리합니다. 물론 AI는 신경 쓰지 않습니다.
3. 최신 모델 사용 — GPT-4o의 o200k_base 토크나이저는 한국어 효율이 46% 개선되었습니다. Claude도 자체 토크나이저에서 한국어 최적화를 지속하고 있습니다.
4. 긴 문서는 요약 후 입력 — 한국어 원문 전체를 넣는 대신, 핵심만 추려서 넣으면 토큰과 비용을 동시에 절감합니다.
앞으로 나아질까
다행히 토크나이저 기술은 빠르게 발전하고 있습니다. 2025년에 발표된 SuperBPE는 기존 대비 33% 적은 토큰으로 같은 성능을 달성했고, LiteToken(2026년 2월)은 기존 토크나이저에 바로 적용할 수 있는 플러그인 방식으로 불필요한 토큰 분할을 제거합니다.
하지만 근본적으로는 AI 학습 데이터에서 한국어 비중이 높아져야 합니다. 학습 데이터에 한국어가 많을수록, 더 많은 한국어 패턴이 토큰 사전에 등록되고, 토큰 효율이 올라갑니다.
지금은 "ㅇㅇ"이 4토큰이지만, 언젠가 1토큰이 되는 날이 올 수도 있습니다.
관련 콘텐츠 — 시작하기 | 더 많은 AI 뉴스