토크나이저 -4-

서문 — 응답은 논문으로 왔다

기업에게는 공개를, 정부에게는 기준을, 대학에게는 국가 표준 한국어 토크나이저(KNT)를 만들라고 썼었다. 3편은 그 도전장의 매뉴얼이었다 — 말을 얹은 사람이 만드는 법을 내놓지 않으면 훈수에 불과하니까.

그리고 2026년 7월 22일, 업스테이지가 Solar Open 2 기술 보고서를 냈다.[1]

이 연재가 던진 질문들 — 토크나이저 성능을 어떻게 재야 비교 가능한가, 어휘 설계는 얼마나 오래가는 결정인가 — 에 대해, 산업 최전선이 자기 논리로 도달한 답이 이 보고서 안에 있다는 뜻이다. 250B 모델의 기술 보고서에서 토크나이저는 보통 한 문단짜리 조연이다. 이번엔 다르다. 토크나이저가 이 모델의 세대 전략 전체를 떠받치는 뼈대로 등장한다.

이번 편은 그 보고서를 토크나이저의 눈으로만 읽는다. 세 가지를 읽어낼 것이다. 상속, 측정, 그리고 아직 닫히지 않은 질문.

1. 세대를 건넌 단 하나의 부품

Solar Open 2는 전작 Solar Open 1에서 거의 모든 것을 갈아엎었다. 어텐션은 전층 softmax에서 softmax 1 + linear 3의 하이브리드 스택으로. 위치 인코딩은 RoPE에서 아예 없음(NoPE)으로. 전문가 풀은 128개에서 320개로. 컨텍스트는 128K에서 1M으로. 102B가 250B가 됐다.

그 혁명 속에서 단 하나, 손대지 않고 그대로 상속된 부품이 있다. 토크나이저다. 196,608 어휘의 바이트 수준 BPE — 한국어를 오버샘플링한 코퍼스, 숫자 자리 분할, 공백 보존까지 1세대의 설계 그대로다.

왜 안 바꿨을까. 보고서가 밝힌 이유가 아름답다. 어휘가 동일해야 임베딩과 출력층 가중치를 이월할 수 있기 때문이다. Solar Open 2는 전체 250B 중 5.69B — 겨우 2.3% — 만을 전작에서 이식받고 나머지를 새로 배웠는데, 그 이식분의 최대 단일 항목이 토큰 임베딩과 출력층 1.61B다. 이 '선택적 가중치 전이'만으로 같은 손실에 도달하는 데 필요한 토큰이 최대 1.7배 절약됐다고 보고한다.

여기서 이 연재의 1편 제목을 다시 꺼내야 한다. 토크나이저는 언어 모델의 첫 번째 설계 결정이다 ㅡ 라고 썼는데, 정정한다. 첫 번째이자 가장 오래가는 설계 결정이다. 어텐션 메커니즘은 세대마다 갈아탈 수 있다. 위치 인코딩은 버릴 수도 있다. 그러나 어휘를 바꾸는 순간, 이전 세대가 배운 토큰 의미론 전체가 계승 불가능해진다. 토크나이저는 모델의 부품이 아니라 유전자다. 아키텍처는 표현형이고, 어휘는 유전형이다.

3편에서 "특수 토큰은 처음부터 예약하라, 나중에 고치는 건 지저분하다"고 썼다. 이제 그 문장의 스케일을 키울 수 있다. 어휘 설계의 실수는 한 모델의 비용이 아니라 한 계보(lineage)의 비용이다. 지금 32K로 갈지 64K로 갈지 고민하는 대학원생에게 당신은 모델 하나가 아니라 앞으로 나올 후속 세대들의 제약 조건을 정하고 있는 것이다.