"AI 도입률 100%"의 함정

요즘 링크드인 피드를 보면 비슷한 글들이 넘쳐납니다.

"계정 두 개 돌려쓰면서 생산성이 미쳐 돌아가고 있습니다", "우리 직원들 클로드 맥스를 전원 쓰는데도 모자라요",

"이번 달 AI 사용량 어마어마하게 나왔습니다" — 이런 형태의 글들이요.뭔가 대단한 일이 벌어지고 있다는 에너지는 확실히 느껴지지만(우씨 나도 껴주지), 읽을 때마다 드는 생각이 하나 있습니다.

"그래서 뭐가 달라졌지?"

계정이 두 개라는 건 도구를 열심히 쓴다는 뜻입니다. 토큰이 모자란다는 건 쓸 양이 많다는 뜻이고요. 그렇지만 그게 팀의 판단이 바뀌었는지, 결과물의 질이 달라졌는지, 실제로 무엇을 더 잘하게 됐는지는 그 숫자들만으로는 안 보이는거 같아요.

이런 상황을 보며, 몇 년 전에도 비슷한 장면을 본 것 같다는 생각이 들었습니다. 그때는 깃허브 커밋 수였고, 지라 티켓 수였습니다.

투입을 성과로 착각하는 순간

커밋 수 대시보드가 왜 문제였는지는 이제 많은 분들이 알고 계실 겁니다. 커밋을 많이 한다고 좋은 소프트웨어가 나오는 게 아니거든요. 오히려 커밋 수를 KPI로 잡는 순간, 사람들은 커밋을 잘게 쪼개거나 리팩터링을 반복하면서 숫자를 채우는 방향으로 움직이게 됩니다. 측정이 목표가 되는 거죠.

토큰 사용량도 구조가 같습니다. 토큰을 많이 쓴다는 건 AI 툴을 자주 열었다는 뜻입니다. 그게 실제 업무 품질을 높였는지, 의사결정을 바꿨는지, 팀의 성과에 영향을 줬는지는 토큰 수만으로는 알 수 없어요. 활동 지표거든요. 투입이지 결과가 아닙니다.

그런데 왜 이걸 측정하고 있는 걸까요. 이유는 단순합니다. 측정하기 쉬우니까요.

왜 이렇게 되는가

AI 전환을 선언한 조직에는 증명해야 할 압박이 생깁니다. "우리 진짜 하고 있어요"를 보여줘야 하는 상황이 되는 거죠. 그런데 "AI 덕분에 의사결정이 얼마나 빨라졌는지"나 "고객 응답 품질이 어떻게 달라졌는지"는 측정하기가 어렵습니다. 지표 설계가 필요하고, 비교 기준도 있어야 하고, 시간도 걸려요.

반면 토큰 수는 API 대시보드에서 바로 뽑힙니다. 그러니 자연스럽게 그게 지표가 됩니다.

이 구조는 OKR이 형식만 남는 것과 정확히 같습니다. 목표 달성 여부를 측정할 수 있는 KR을 만들기 어려우니까, 측정 가능한 것들 — 보통은 활동 지표 — 을 KR 자리에 채워 넣게 되거든요. 그러면 "어느 정도 했다"는 느낌은 생기지만, 실제로 뭐가 달라졌는지는 여전히 불명확합니다.

진짜 AX 전환이 보여야 하는 것

제 생각에 AI 전환을 제대로 측정하려면, 토큰 수 옆에 반드시 이런 것들이 같이 붙어야 합니다.

이 토큰이 사용된 맥락에서 의사결정 속도가 얼마나 달라졌는지. 기획 초안을 만드는 데 걸리는 시간이 줄었는지, 고객 문의 응답에 걸리는 시간이 바뀌었는지.

오류율이나 재작업 비율이 변했는지. AI를 써서 초안을 빠르게 만들었는데 수정 횟수가 오히려 늘었다면, 그건 효율이 개선된 게 아니거든요.

팀의 실제 업무 부담이 줄었는지. 토큰은 늘었는데 야근은 그대로라면, 그 AI 사용은 일을 줄인 게 아니라 일을 더 만든 겁니다.

토큰 수와 이런 지표들이 함께 올라가야 비로소 "우리 팀이 AI를 잘 쓰고 있다"는 말이 의미를 갖습니다.

지금 일어나고 있는 일

토큰 대시보드만 보고 있는 상황을 냉정하게 보면, 이건 조직 입장에서 AI 회사 매출을 올려주는 것 이상의 의미를 증명하지 못하고 있는 겁니다. 물론 AI 툴을 자주 쓰다 보면 업무 습관이 바뀌고, 그게 장기적으로는 도움이 되겠죠. 그 과정 자체를 부정하는 게 아닙니다.

다만 "우리 많이 쓰고 있어요"를 전환의 증거로 삼는 순간, 조직은 실제 변화 대신 사용량을 관리하는 방향으로 움직이게 됩니다. 그건 예전에 커밋 수를 관리하던 것과 다르지 않거든요.

진짜 AX 전환은 도구를 도입하는 것에서 오지 않습니다. 일하는 방식이 달라졌을 때 비로소 시작되는 거죠. 그리고 그 변화를 측정하려면, 측정하기 쉬운 것 대신 측정해야 하는 것을 먼저 고민해야 합니다.

토큰 수가 오르는 건 좋은 신호일 수 있습니다. 하지만 그게 어디에서 어떤 결과를 만들었는지를 같이 보지 않으면, 숫자는 그냥 숫자로 남습니다.

측정하고 있는 게 활동인지, 변화인지 — 뭐시 중헌지 한 번쯤 돌아볼 시점인 것 같습니다.