AI보다 인건비가 더 싼 것 같다고? 응~ 넌 ㅂㅅ이야

인건비 위에 토큰비를 얹지 마라. AI 비용은 루프 설계에서 갈린다

byAngie

이번 월드컵 탈락으로 박문성 해설위원의 쇼츠를 몇 가지 보다가 깨달은 것이 있다.

역시 현업에 있는 사람은 기사 내용을 보더라도 핵심을 파악한다는 것이다.


옌스 선수와 관련된 왕따? 따돌림? 겉돌고 있다고 설명한 기사인데. 박문성 전 해설위원은 "이걸 기자가 어떻게 알아?"라면서 이 기사가 본질을 흐리려고 하는 행위라는 것을 단번에 간파해 낸다.


현업에서 흘러가는 현황들과 실제 시장에 몸 담고 있다면 이런 어그로 기사와 어쭙잖은 인사이트를 가진 자들의 콘텐츠가 유통이 되는데 정말 경계해야 한다. 그래서 현업에서 경험을 쌓으며 만들어 가는 인사이트가 중요하다고 느낀다.


이번 글에는 말도 안 되는 어쭙잖은 인사이트의 기사를 콘텐츠로 퍼다 나르고 있는 계정을 발견하고 정확하게 무엇인지 설명해 주기 위한 글이기도 하다.




요즘 회사들에서 비슷한 이야기를 듣고 있는데, "AI를 도입했는데 비용이 더 나가는 것 같다."

처음 몇 번은 "토큰이 비싸서 그런가" 하고 넘어갔다고 하는데,


직접 찾아봤다. 그리고 모델 가격도 비교해 봤다.

1년 전보다 같은 모델이 절반 가격이 됐고, 엔트로픽은 동일 컨텍스트를 반복해 쓰는 호출에는 Prompt Caching이라는 기능으로 캐시 토큰을 일반 입력의 약 10% 가격으로 할인하고 있다. 최대 90% 절감, 지연 시간 85% 단축.. 이게 뭘 의미할까?


토큰 자체는 매년 저렴해지고 있다.


그런데 회사 단위에서는 같은 시기에 API 청구서가 더 무거워지고 있다는 이야기는 솔솔 들려온다. 이 소식을 듣자마자 속으로 생각했다. "진짜 제대로 이해하고 쓰는 사람들은 전체 5%밖에 안되는구나"


답은 정말 단순하다. 뭐라고 생각이 드는가?

(눈을 아래로 내려가기 전에 딱 한 번만 생각해봤으면 한다)


기존에 사람이 하던 업무 구조를 그대로 두고,
그 자리에 사람 대신 LLM을 밀어 넣으니까 비용이 터지는 거다.


사람은 한 번 맥락을 이해하면 계속 들고 간다. 같은 회의에 두 번째 들어오는 사람한테 우리는 처음 30분을 설명하지 않는 것처럼... 그런데 AI는 다르다. 매번 맥락을 다시 먹여야 하고, 결과도 검증해야 하고, 틀리면 다시 돌려야 한다. 그 과정 전체가 토큰으로 과금된다.

그래서 컨텍스트니, 하네스 엔지니어링이니, 루프 엔지니어링이니 이런 구조를 만들어야 한다고 하는 것이다.


다시 말하면 저런 글을 보고 "역시 그럴 줄 알았어~"하는 말을 했다면 그냥.. 아휴 할 말이 없다.

제대로 사용해보지도 못한 인간들이 "I Knew It", "내가 했지?"같은 뻘 소리나 하는 거다.


다시 말하면 AI는 갈수록 저렴해지고 있다. 환율로 인해서 비싸진 거지. 실제 토큰의 비용은 저렴해지고 있다. 환율 구분을 좀 하길 바란다.

그리고 제일 중요한 건 처음 세팅된 업무 구조가 LLM의 비용 구조와 안 맞는 거다.


95%는 손익에 영향이 0이었다.

MIT의 Project NANDA가 발표한〈The GenAI Divide: State of AI in Business 2025〉라는 보고서가 있다. 임원 인터뷰 52건, 시니어 리더 설문 153건, 공개 AI 이니셔티브 300건 이상을 분석했다.

결론이 굉장히 거친데, 기업이 도입한 생성형 AI 프로젝트 중 95%가 P&L(손익)에 측정 가능한 영향이 0이었다. 이게 무슨 말이냐면, 전체에 5%만 실제 가치를 추출하고 있다는 뜻이다. MIT는 이 95%를 "pilot purgatory(파일럿의 연옥)"이라 불렀다.


가트너가 언급한 링크가 있다.

2025년 말까지 GenAI 프로젝트의 30%가 PoC 후 폐기. 실제 추적에서는 50%를 넘어설 것이라고 그리고 2027년 말까지 자율 에이전트(agentic AI) 프로젝트의 40% 이상이 취소될 전망이라고 설명한다.


폐기 이유로 가트너가 꼽은 항목은.

데이터 품질 부족 · 리스크 통제 부재 · 비용 폭증 · 비즈니스 가치 불명확.

여기서 "비용 폭증"이 정확히 사용자가 본 그 청구서다.

그리고 여기 설명한 4가지.. 뭔가 기시감이 들지 않나? AI가 돈 먹는 하마라고 설명하는 사람들에게서 나오는 말들과 굉장히 동일하다... 그리고 항목도 거의 비슷하다.


다시 말하면 토큰이 비싸서 그런 게 아니다.


사람이 한 번 이해하면 끝낼 맥락을, AI에게는 매번 다시 먹이고, 매번 결과를 사람이 다시 보고, 틀리면 다시 돌리는 그 흐름 전체가 청구서에 찍히고 있다면 첫 단추부터가 잘 못 된 것이라고 봐야 한다.

기존 조직 구조, 업무 구조에 AI를 끼워 넣기만 하니까 비용이 많이 나오는 거다. 방식이 잘못된 거다.


지금 바로 작가의 멤버십 구독자가 되어
멤버십 특별 연재 콘텐츠를 모두 만나 보세요.

brunch membership
Angie작가님의 멤버십을 시작해 보세요!

AI로 할 수 있는 건 다 해보는 사람. 삶 자체를 자동화 중입니다. 자동매매봇, 부동산트래커, 콘텐츠 제작까지AI 에이전트와 함께 1인 시스템을 만들어가는 과정을 씁니다.

189 구독자

오직 멤버십 구독자만 볼 수 있는,
이 작가의 특별 연재 콘텐츠

  • 최근 30일간 15개의 멤버십 콘텐츠 발행
  • 총 35개의 혜택 콘텐츠
최신 발행글 더보기
카지노 게임의 이전글AI 벤치마크가 뭔지도 모르면서 뭐가 더 좋다고 떠들면