토크나이저 -3-

다음 링크가 코드 읽기는 더 편하다. 온라인카지노, 티스토리 둘 다 카지노의 것. 온라인카지노 철학은 코드를 배제하는 것 같기에 티스토리 링크로 둔다. 코드가 많아, 온라인카지노에는 일부만 공개한다.

by HJH

서문 — 이 편이 그 코드다

앞 편은 도전장으로 끝났다. 기업에게는 공개를, 정부에게는 기준을, 대학에게는 — 기업이 끝내 열지 않는다면 — 국가 표준 한국어 토크나이저(KNT)를 직접 만들라고 썼다. 그리고 응답은 코드로 받고 싶다고 했다.

말을 얹은 사람이 매뉴얼을 내놓지 않으면 그것은 도전장이 아니라 훈수다. 그래서 이번 편은 처음부터 끝까지 '만드는 법'이다. 어휘 크기를 어떻게 정하고, 코퍼스를 어떻게 구성하고, 한국어의 교착어 구조를 어떻게 다루고, 다 만든 것이 국가대표급인지 어떻게 재는지. 대학원생 한 명의 노트북을 기준 장비로 삼는다 — 앞 편에서 반복했듯, 토크나이저 학습은 GPU가 필요 없는 통계 집계이고, 수 GB 코퍼스면 CPU로 수십 분이면 끝나기 때문이다.

한 가지 인상부터 교정하고 시작하자. "토크나이저를 직접 만드는 건 어렵다"는 인상은 대개 '모델 학습'과 혼동해서 생긴다. 어려운 것은 학습이 아니라 설계 판단이다. 이 편은 도구 사용법을 최소한으로 다루고, 판단 지점에 집중한다.

티스토리에 올려 놓은 코드의 목록은 다음 차례로 추측하기 바란다.

1. 30분 만에 첫 토크나이저

1.1 HuggingFace tokenizers로 바이트 수준 BPE

1.2 SentencePiece로 Unigram

2. 설계 결정 세 가지

2.1 어휘 크기 — 모델 크기의 함수다

가장 많이 받는 질문이고, 정답 대신 좋은 추론 절차가 있다.