코덱스 94% 개선, 진짜 변화는 따로 있다

AI가 빨라졌다는 뉴스는 이제 흔하다. 모델이 더 똑똑해졌고, 답변 속도가 빨라졌고, 더 긴 문맥을 처리한다는 발표가 반복된다. 그래서 ‘94% 개선’이라는 숫자를 보면 자연스럽게 모델 자체가 훨씬 빨라졌다고 생각하기 쉽다.

이번에는 조금 다르다.

공개된 내부 벤치마크에서 측정한 것은 AI의 추론 속도가 아니다. 741턴, 231MB에 이르는 매우 긴 기존 대화를 다시 열었을 때 화면에 불러오는 시간이었다. 평균 27.62초가 걸리던 작업이 1.66초로 줄었다. 약 94% 단축이다.

흥미로운 것은 속도보다 그 뒤에 있는 구조다.

같은 테스트에서 대화를 열면서 발생한 요청은 894회에서 16회로 줄었다. 한 번에 불러오던 transcript 항목도 15,529개에서 64개가 됐다. conversation-renderer의 JavaScript heap 증가량은 87.8% 감소했다.

다만 여기서 숫자를 하나 구분해야 한다. 87.8%는 전체 앱 메모리가 아니라 특정 렌더러의 JavaScript heap 증가량 감소치다. 전체 앱의 메모리 증가량은 1,030.7MiB에서 606MiB로 약 41.2% 줄었다. 따라서 이를 단순히 ‘앱 메모리가 88% 줄었다’고 받아들이면 정확하지 않다.

그리고 더 중요한 사실이 있다.

이 개선은 정보를 더 많이 처리해서 얻은 것이 아니다. 반대로 처음부터 모든 것을 처리하지 않도록 바꾸면서 얻었다. 긴 대화를 열 때 전체 기록을 한꺼번에 클라이언트로 불러오는 대신, 당장 필요한 일부만 가져오는 쪽으로 구조를 최적화했다.

AI를 쓰는 개인이나 창작자가 여기서 봐야 할 부분도 바로 이것이다.

지금까지 우리는 AI 활용 능력을 ‘얼마나 많은 정보를 넣느냐’로 생각해 왔다. 자료를 더 붙이고, 대화를 더 길게 유지하고, 모든 맥락을 한 채팅방에 쌓는 방식이다. 그러나 사용량이 커지기 시작하면 문제는 AI가 정보를 이해하느냐가 아니라 시스템이 그 정보를 어떻게 꺼내 쓰느냐로 이동한다.

여기부터는 이 사례를 단순한 성능 뉴스가 아니라, 개인의 AI 작업 구조를 설계하는 문제로 바꿔볼 필요가 있다.

긴 대화를 계속 이어갈 사람, AI로 글·코드·기획물을 생산하는 사람, 반복 업무를 자동화하려는 사람은 무엇을 한곳에 축적하고 무엇을 분리해야 할까.

그리고 AI 활용이 취미 수준을 넘어 직업과 수익으로 연결되기 시작했을 때, 어디서부터 구조를 바꿔야 할까.

94%보다 봐야 할 세 가지 숫자

첫 번째는 27.62초에서 1.66초다. 이것은 결과다.

두 번째는 894회에서 16회로 줄어든 요청 수다. 세 번째는 15,529개에서 64개로 줄어든 transcript 로딩량이다. 이 두 숫자는 결과를 만든 방식에 더 가깝다.

핵심은 단순하다. 전체를 매번 다시 읽는 비용을 줄인 것이다.

AI를 업무에 적용할 때도 같은 사고가 필요하다. 우리는 흔히 성능 문제를 만나면 더 좋은 모델, 더 많은 메모리, 더 큰 컨텍스트를 먼저 떠올린다. 그러나 실제 병목은 ‘필요하지 않은 정보까지 매번 같이 처리하는 구조’일 수 있다.

질문은 “얼마나 많이 넣을까”가 아니다

실무에서는 오히려 세 가지 질문이 먼저다.

첫째, 지금 작업에 반드시 필요한 정보는 무엇인가.

둘째, 필요하지만 항상 불러올 필요는 없는 정보는 무엇인가.

셋째, 과거 기록이지만 검색을 통해 필요할 때만 꺼내도 되는 정보는 무엇인가.

이 세 가지가 섞여 있으면 대화는 길어지고, 작업자는 어느 정보가 실제로 영향을 주는지 파악하기 어려워진다.

반대로 역할을 나누면 AI 시스템은 훨씬 관리하기 쉬워진다.

유형별로 무엇이 달라지는가