토크나이저 -2-

4-4. 세 알고리즘, 한 장의 표

앞 편의 약속대로 세 형제를 한 장으로 정리하고 시작한다.

BPE WordPiece Unigram

방향 bottom-up 병합 bottom-up 병합 top-down 축소

기준 쌍의 빈도 우도 증가(≈PMI) 우도 손실 최소화

분할 결정적 결정적(최장일치) 확률적 가능

대표 모델 GPT·Llama 계열 BERT 계열 T5, mT5, XLNet

정규화 증강 BPE-dropout 없음 subword regularization

실무적 결론은 예고한 그대로다. 오늘 새로 만든다면 바이트 폴백을 켠 BPE 또는 Unigram(SentencePiece)이 합리적 기본값이고, WordPiece를 새로 선택할 이유는 BERT 계열 호환 외에는 드물다.

원래 이 자리에는 직접 학습하는 법이 이어질 예정이었다. 그런데 이 글을 준비하는 사이, 이론보다 훨씬 좋은 교재가 현실에서 벌어졌다. 국가 예산 2,136억 원이 걸린 사업에서 모델의 독자성이 심판대에 올랐고, 그 법정에서 증거로 채택된 것이 다름 아닌 토크나이저였다. 부총리는 GPU 1만 장이면 세계 최고 수준의 모델을 만들 수 있다고 선언했다. 그래서 이번 편은 계획을 바꾼다. 알고리즘이 아니라 계보를 다루고, 계보의 끝에서 도전장을 쓴다. 토크나이저는 모델의 감각 기관이라고 했다 — 이제 그것이 모델의 지문이며, 어쩌면 이 나라 AI의 남은 숙제라는 것을 보일 차례다.

5. 계보는 어휘에 남는다

먼저 검증의 원리부터. 토크나이저는 숨길 수 없다. 오픈 웨이트 모델을 배포하는 순간 tokenizer.json과 config.json이 함께 공개되고, 그 안의 세 가지가 혈통을 증언한다.

첫째, 어휘 크기와 특수 토큰 ID의 배치. 어휘 128,256개에 bos_token_id=128000이라는 조합은 우연히 두 번 나오지 않는다. 둘째, 병합 규칙의 순서. BPE의 산출물은 순서 있는 병합 목록이고, 같은 코퍼스가 아니면 같은 순서가 나올 수 없다. 셋째, 어휘 중복률. 독립적으로 학습된 두 어휘가 대량으로 겹칠 확률은 낮다. 동일 계열이라면 통상 70% 이상 겹친다는 것이 업계에서 실제로 통용된 기준이다 — 이 기준이 어디서 공인됐는지는 곧 본다.

이 렌즈로 글로벌 계보를 읽으면 앞 편 2.3의 표가 실측의 표가 된다.

계열 토크나이저 어휘 비고

OpenAI GPT-2 BPE 50,257 바이트 수준 BPE의 원형

cl100k (GPT-3.5/4) ~100K 코드·연속공백 병합 개선

o200k (GPT-4o/o1) ~200K 비영어권 압축 개선

Meta Llama 1/2 (SP) 32,000 SentencePiece BPE

Llama 3 (BPE) 128,256 tiktoken 스타일로 전향

Google Gemma (SP) 256K 현존 주류 최대급 어휘

Alibaba Qwen 계열 (BPE) ~152K 중국어 압축 우위 설계

주목할 것은 수렴이다. 그리고 수렴의 부작용이 하나 있다. 토크나이저가 몇 종류로 좁혀질수록, 어떤 모델이 어떤 토크나이저를 썼는지가 더 선명하게 드러난다. 지문 대조가 쉬워진 것이다.

6. 한국 편 — 세 회사, 세 갈래의 출발

[명시] 이하 국내 모델에 대한 사실관계 조사는 필자가 아니라 Anthropic의 Claude Fable 5에게 의뢰한 결과다. Fable 5가 각 사의 기술 보고서, HuggingFace 모델 설정 파일, 언론 보도 등 공개 자료를 검색·대조했고, 필자는 그 결과를 검증하고 편집했다. 모든 근거는 글 말미 각주에 URL로 남긴다. 사실관계에 대한 반론과 정정 요청을 환영하며, 확인되는 즉시 본문에 반영하겠다.

업스테이지 솔라. 유명한 SOLAR 10.7B(2023.12)는 기술 보고서가 스스로 밝히듯 Llama 2 아키텍처에 Mistral 7B의 사전학습 가중치를 얹어 층을 복제·연결한 DUS 모델이다. [1] 가중치를 가져오면 토크나이저는 선택이 아니라 종속이다 — 임베딩 테이블과 토크나이저는 한 몸이므로, 솔라 10.7B는 Mistral/Llama 2 계열의 32K 어휘를 그대로 상속했다. 분명히 하자. 이것은 잘못이 아니다. 파생 모델이 백본의 토크나이저를 쓰는 것은 기술적으로 유일하게 가능한 선택이고, 업스테이지도 백본을 숨긴 적이 없다. 카지노 카나나. 카나나 1.x(2025.2)의 설정 파일은 스스로 말한다. LlamaForCausalLM, 어휘 128,256, bos_token_id=128000.[2] 5장에서 말한 그 지문 — Llama 3 토크나이저다. 결정적 확인은 카지노 자신이 제공했다. 2026년 1월 Kanana-2를 발표하며 "새로 학습한 토크나이저를 사용하며 한국어에서 30% 이상의 토큰화 효율 개선"을 명시한 것이다. [3] '새로 학습했다'는 문장은 그 이전 세대가 자체 학습이 아니었음을 자인하는 문장이며, 30%라는 숫자는 앞 편 6장의 명제 — 영어 중심 어휘가 한국어에 전가하던 압축 비용 — 의 실측값이다. LG 엑사원. 셋 중 유일하게, 오픈 웨이트 첫 공개 시점부터 자체 토크나이저였다. EXAONE 3.0(2024.8) 기술 보고서는 한국어의 교착어 특성을 고려해 MeCab으로 사전 분할한 뒤 어휘 102,400의 BBPE를 처음부터(from scratch) 학습했다고 명시한다.[4] 2026년의 K-EXAONE은 어휘를 150K로 확장하고 SuperBPE로 재설계했다.[5]

6.1 토크나이저가 법정에 서다

이 계보를 학술적 흥미에서 국가적 쟁점으로 끌어올린 것이 '독자 AI 파운데이션 모델 프로젝트'(독파모)다. 정부는 핵심 조건을 '프롬 스크래치' — 데이터 수집부터 설계, 사전학습까지 전 과정의 독자 수행 — 로 걸었고, 해외 모델 미세조정으로 개발한 파생형은 독자 모델로 간주하지 않는다고 명시했다.[6] 2026년 1월 15일의 1차 평가는 이 기준이 장식이 아니었음을 보여줬다. 네이버클라우드는 독자 개발 기준 미달로, NC AI는 평가 점수 미달로 탈락했고, LG AI연구원·SK텔레콤·업스테이지가 2차에 진출했다. [7] 이후 패자부활전으로 모티프테크놀로지스가 합류해 4개 팀이 됐고, 8월 2차 평가에서 다시 1곳이 탈락한다.[8] 두 탈락의 내막은 각각 이 연재의 논지를 하나씩 증언하므로, 절을 바꿔 따로 적는다. 그리고 이 사업에서 토크나이저가 직접 증거로 채택되는 사건이 벌어졌다. 1차 평가 직전 솔라 오픈 100B가 중국 모델 파생 아니냐는 의혹이 제기되자, 업스테이지 대표가 내놓은 반박의 핵심 근거 중 하나가 토크나이저였다. 솔라 오픈의 어휘는 196,608개로 비교 대상의 15만 개와 다르고, 공통 어휘가 41% 수준으로 "동일 계열 모델의 통상 중복률 70%"에 한참 못 미치는 독자적 결과물이라는 논리다.[9] 의혹의 진위와 무관하게 이 사건이 남긴 것은 하나다.

어휘 중복률이 모델 혈통의 법의학적 증거로 공인됐다.

방어하는 쪽이 스스로 꺼낸 기준이므로, 이제 업계 누구도 이 잣대를 거부할 수 없다.

6.2 탈락사(脫落史) — 지문은 어디에든 남는다

네이버클라우드. 가장 뼈아픈 탈락이다. 네이버는 국내에서 자체 언어 모델의 계보가 가장 긴 회사다. 2021년의 하이퍼클로바는 한국어의 교착어 특성을 반영한 형태소 인지(morpheme-aware) 바이트 수준 BPE 토크나이저를 자체 학습해 쓴, 이 글의 기준으로 보아도 모범적인 출발이었다.[10] 그런 회사가 독자성으로 탈락했다. 걸린 지점은 텍스트가 아니라 멀티모달이었다 — 독파모에 제출한 '하이퍼클로바X 시드 32B 씽크'가 중국 알리바바 큐웬(Qwen)의 비전·오디오 인코더 가중치를 활용한 사실이 드러난 것이다.[11] 네이버는 "핵심 엔진은 프롬 스크래치로 100% 자체 개발했고, 비전 인코더는 생태계 호환성을 고려한 전략적 선택"이라 해명했지만, 종합 점수로는 상위 4개 팀 안에 들고도 독자성 기준에서 탈락이 확정됐다.[12] 교훈은 이 연재의 문장으로 요약된다. 토크나이저를 제 손으로 만든 회사조차, 상속한 가중치 앞에서는 예외가 없다.

지문은 어휘에만 남는 게 아니라, 가중치가 흐르는 모든 곳에 남는다.

NC AI. 반대 사례다. NC는 산업 특화 멀티모달 모델 '배키(VAETKI)'로 참전했고, 독자성 결격은 지적되지 않았으나 벤치마크·전문가·사용자 종합 점수에서 밀려 탈락했다.[12][13]주목할 것은 탈락 직전의 행동이다.

독자성 논란이 업계를 덮치자 NC는 가중치 독자성을 입증하는 테크 리포트를 선제 공개했다.[14] 의심받기 전에 지문을 먼저 내민 것이다 — 6.1에서 업스테이지가 중복률로 방어한 것과 함께, '계보의 자진 공개'가 이 업계의 새로운 생존 양식이 되었음을 보여주는 두 번째 장면이다.

그리고 카지노. 카나나의 카지노는 독파모 초기 5개 정예팀 선정 단계에서부터 포함되지 못했고, 1차 평가 후 열린 패자부활전에는 네이버클라우드·NC AI와 함께 재도전하지 않았다.[15] 6장의 계보 — Llama 3 상속에서 출발해 2026년에야 자체 토크나이저로 전환한 — 와 겹쳐 읽으면, 국가가 '프롬 스크래치'를 잣대로 세운 무대에 설 준비가 그 시점의 카나나에게는 아직 없었다는 방증으로 읽는 것이 자연스럽다. 탈락사를 정리하면 이렇다. 상속한 가중치로 탈락한 회사(네이버), 지문을 먼저 공개하며 싸운 회사(NC), 무대에 오르지 않은 회사(카지노). 셋의 공통 분모는 하나다 — 이제 이 판에서 계보는 심사 항목이고, 공개는 방어 수단이다. 다음 장에서 보겠지만, 이 나라는 이런 판을 처음 겪는 게 아니다.

7. 카피캣의 나라가 기술을 얻어온 방법

6장의 궤적 — 도입에서 출발해 내재화로 끝나는 — 을 이 나라는 이미 여러 번 걸었다. 산업사의 상식 수준에서만 훑는다.

반도체. 1983년 이병철 회장의 도쿄 선언으로 D램 사업에 뛰어든 삼성은 미국 마이크론에서 64K D램 설계 기술을 도입해 출발했다. 도입과 동시에 맹렬한 내재화가 진행됐고, 1992년 64M D램 세계 최초 개발로 스승을 앞질렀다. 오늘 메모리 반도체의 지형은 설명이 필요 없다.

자동차. 1975년 현대 포니는 미쓰비시의 엔진과 변속기 위에서 태어났다. 16년 뒤인 1991년, 현대는 독자 개발한 알파 엔진으로 엔진 종속을 끝냈다. 지금 현대차그룹은 판매량 기준 세계 3위권의 완성차 그룹이다.

통신. 1996년 세계 최초의 CDMA 상용화는 퀄컴의 원천기술을 라이선스한 위에서 ETRI와 국내 제조사들이 시스템·단말 상용 기술을 내재화한 결과였다. 원천은 남의 것이었지만, 그것을 세계에서 처음 굴러가게 만든 것은 한국이었고, 그 축적이 이후 이동통신 장비·단말 산업의 토대가 됐다.

철강. 1973년 포항제철 첫 쇳물은 신일본제철의 기술협력 위에서 나왔다. 반세기 뒤 POSCO는 세계 철강 경쟁력 평가에서 수년 연속 1위에 오르는 회사가 됐다.

패턴은 매번 같다. 도입 → 내재화 → 역전. 그리고 매 단계의 공통점이 하나 있다. 내재화의 신호탄은 언제나 '가장 되돌리기 어려운 부품'의 국산화였다. 엔진이었고, 설계였고, 교환기였다. 이 연재를 읽어온 독자라면 언어 모델에서 그 부품이 무엇인지 이미 안다. 옵티마이저는 바꿀 수 있고 데이터는 더할 수 있지만, 토크나이저를 바꾸는 순간 모델을 처음부터 다시 학습해야 한다.