2026 All-Day-Project (139/365)
당근메일/AI 시대의 평가 방법 을 읽고
2023년 하버드와 BCG가 758명의 컨설턴트를 대상으로 진행한 실험은 자주 인용된다. AI를 활용했을 때 하위 성과자의 생산성이 43% 향상되었고, 상위 성과자도 17% 향상되었다는 그 수치다. AI가 지식 노동의 하한선을 끌어올렸다는 가장 강력한 증거 중 하나다.
그러나 이 연구가 정작 발견한 풍경은 그 한 줄짜리 요약보다 훨씬 음울하다. 연구진은 AI가 만들어내는 지형을 "들쭉날쭉한 기술 프런티어(jagged technological frontier)"라고 불렀다 — 어떤 과제는 AI가 강력하게 끌어올리지만, 겉으로는 비슷해 보이는 다른 과제는 AI 능력의 경계 바깥에 있어서 오히려 결과가 나빠진다는 것이다. 이 경계 바깥의 과제에서 AI 사용자는 비사용자보다 무려 19%포인트 더 못한 결과를 냈다.
더 충격적인 것은, 사람들이 어디서 AI가 도움이 되고 어디서 해가 되는지를 잘 분별하지 못한다는 점이다. 연구진은 이를 "잘못 보정된 신뢰(mis-calibrated trust)"라 불렀다.
요컨대 AI는 모두에게 페라리를 쥐여줬지만, 그 페라리에는 곳곳에 보이지 않는 함정이 패여 있다. 누구나 평탄한 직선 도로에서는 빠르게 달릴 수 있다. 그러나 그 도로의 어디에 구멍이 있는지 아는 사람과 모르는 사람의 격차는 오히려 더 벌어진다.
여기서 "평균이 소멸한다"는 말은 사실 두 가지 다른 메커니즘이 동시에 일어나는 풍경을 가리킨다. 첫째, 생산의 하한선이 올라가면서 "그럭저럭"의 시장가치가 빠르게 0에 수렴한다. 둘째, 어디에 함정이 있는지를 분별하는 판단력에서 사람 간의 차이가 더 결정적이 된다. 페라리는 평준화되었지만, 그것을 언제 밟고 언제 들어야 하는지에 대한 감각은 오히려 더 희소해졌다.
그러나 페라리를 잘 모는 능력과, 그 페라리를 타고 돈을 버는 일은 다른 문제다. 누가 1등으로 결승선을 통과하든, 트랙을 가진 사람은 입장료를 챙긴다. 이 글이 가려는 진짜 풍경은 그쪽에 있다.
이런 풍경 속에서 "보여주는 것(Show)"과 "증명하는 것(Prove)"이 갈라진다. 그럴듯한 슬라이드, 매끈한 문서, 깔끔한 코드 — Show의 영역은 거의 무료에 가까워졌다. 문제는 Prove다.
그 결과물이 진짜 가치를 만들어냈는지, 의도한 지점에 도달했는지 입증하는 일은 여전히 비싸고 느리고, 무엇보다 운에 깊이 노출되어 있다.
전통적으로 우리는 학위, 온라인 게임 경력, 자격증으로 Prove를 대신해왔다. 이 통화들의 신호 가치가 빠르게 하락 중이라는 것은 이미 모두가 안다. 학위 과정보다 더 싸고 빠르게 고급 지식을 익힐 수 있고, AI가 잠식한 영역에서는 온라인 게임 경력의 의미가 줄어든다.
그렇다면 무엇이 새로운 Prove의 통화가 될 것인가? 몇 가지 후보가 떠오른다.
하나는 트랙 레코드의 시간성이다. AI는 결과물을 즉시 만들 수 있지만, "지속적으로 옳은 판단을 내려온 이력"은 시간을 압축할 수 없다. 10년에 걸쳐 다섯 번 큰 결정을 옳게 내린 사람의 가치는, 오늘 다섯 개의 그럴듯한 분석을 만들어낸 사람의 그것과 종류가 다르다.
다른 하나는 취향(taste)이다. 좋은 결과물을 만드는 것이 아니라, 좋은 결과물을 알아보는 능력. AI가 백 개의 변형을 만들어낼 때 그중 살릴 만한 것을 골라내는 안목. 모방하기 가장 어렵고, 동시에 측정하기 가장 어려운 영역이다.
세 번째는 문제 정의력이다. AI는 주어진 문제를 푸는 데는 강하지만, 어떤 문제가 풀 가치가 있는지는 결정하지 못한다. 이는 시장의 빈틈을 보는 사업가적 감각과 닮아 있다.
마지막은 바카라임을 졌던 경험이다. Skin in the game. 실제로 잃을 것이 있는 결정을 내려본 사람과, 안전한 자리에서 분석만 해본 사람은 다르다.
그러나 — 그리고 이 글의 핵심으로 들어가는 길목이 여기다 — 이 네 가지 후보에는 한 가지 공통점이 있다. 그것이 통화로 통하려면, 누군가가 그것을 통화로 인정해줘야 한다는 것이다 평가 권력이 중요하다.
여기서 한 가지를 분명히 하고 가야 한다.
평가는 AI 시대에 새롭게 등장한 권력이 아니다. 평가는 늘 권력이었다.
대학이 학위를 발급하는 권한. 신문사가 어떤 기사를 1면에 놓을지 정하는 권한. 비평가가 어떤 작품을 "작품"이라 부르고 어떤 것을 그렇게 부르지 않을 권한. 투자자가 어떤 회사를 "유망하다"고 판단할 권한. 채용 담당자가 어떤 이력서를 통과시킬 권한. 알고리즘이 어떤 콘텐츠를 추천할 권한. 인류 역사상 평가가 권력이 아니었던 적은 없다.
오히려 평가는 가장 오래된 권력 형태 중 하나다. 만드는 사람보다 판단하는 사람이 늘 위에 있어왔다. 만드는 일은 분산되어도, 판단하는 일은 늘 집중되어왔다. 길드의 장인 자격, 과거 시험의 합격, 학술지의 게재 결정 — 모두 평가의 권력이 자본과 제도를 통해 어떻게 응결되는지의 역사다.
그러므로 "이제 평가가 중요해진다"는 말은 정확하지 않다. 더 정확히는, 늘 결정적이었던 평가가 이제 더 노골적으로 결정적이 되었다. 그동안은 생산의 어려움이 평가 권력의 모습을 가려주는 휘장 역할을 했다면, AI가 그 휘장을 걷어버린 것이다.
여기서 비유를 한 층 더 밀어붙여야 한다. 페라리를 빠르게 모는 능력으로 레이스에서 이길 수는 있다. 그러나 그 레이스가 열리는 트랙을 가진 사람은 누가 1등을 하든 입장료를 챙긴다. AI가 만든 풍경의 진짜 구조는 이쪽에 있다.
흔한 낙관론을 점검해보자. AI가 생산을 민주화하니 작은 개인도 거대 조직과 경쟁할 수 있다는 이야기. 1인 기업이 100명짜리 조직과 맞먹는 결과물을 낸다는 이야기. 부분적으로는 맞다. 그러나 그것은 경주의 출발선만 본 이야기다.
생산이 쉬워질수록, 선별이 결정적이 된다. 1만 개의 그럴듯한 결과물이 시장에 쏟아질 때, 그중 어떤 것이 살아남는지를 결정하는 권력은 더 무거워진다. 그리고 이 선별의 권력은 — 유통 채널, 플랫폼 알고리즘, 자본의 베팅, 게이트키퍼의 평판 — 거의 예외 없이 이미 권력을 가진 쪽에 있다.
플랫폼 경제의 구조가 이 트랙의 정체를 잘 보여준다. 아마존에서 바카라을 출판하는 일은 누구나 할 수 있게 되었지만, 어떤 바카라이 추천 알고리즘에 노출되는지는 아마존이 결정한다. 누구나 앱을 만들 수 있지만, 어떤 앱이 앱스토어 상단에 오르는지는 애플이 결정한다.
누구나 영상을 만들 수 있지만, 어떤 영상이 추천되는지는 유튜브가 결정한다. 그리고 누가 베스트셀러가 되든 아마존은 수수료를 받고, 누가 1위 앱이 되든 애플은 30%를 가져가고, 누가 천만 조회수를 올리든 유튜브는 광고비를 챙긴다. 생산의 진입장벽이 무너진 자리에 평가의 진입장벽이 더 높게 다시 세워지고, 그 자리에서 지대(地代)가 발생한다.
AI는 이 구조를 약화시키지 않는다. 강화한다.
조직 내부로 시선을 좁혀도 비슷한 일이 벌어진다. 측정 가능한 것이 측정 불가능한 것을 늘 압도해온 역사가 있다. 과거에는 "근무 시간"이었다. 다음으로는 "키보드 입력 수"였고, 그 다음에는 "커밋 횟수"였다. 이제는 "토큰 사용량"이 그 자리를 차지할지도 모른다.
AI에게 주어지는 토큰은 사고의 연료이고, 복잡한 추론에서는 많은 토큰을 쓸수록 더 나은 결과가 나오는 경향이 있다. 그러면 자연스러운 서사가 따라온다 — "많은 토큰을 투입한 사람이 더 열심히 일한 사람"이라는 서사. 야근한 사람이 반드시 더 생산적이지 않듯, 많은 토큰을 쓴 사람이 반드시 더 나은 판단을 내린 것은 아니다. 그러나 측정의 용이함은 늘 진실을 압도해왔다.
핵심은 이것이다. 토큰 추적은 측정 가능한 것을 측정하면서, 측정 불가능한 것을 평가에서 조용히 배제한다. 그리고 무엇을 평가의 대상으로 삼고 무엇을 배제할지를 결정하는 행위 — 그것이 바로 평가 권력의 본체다.
여기서 가장 곤란한 질문이 등장한다. 그렇다면 새로운 세대는 어떻게 이 구조를 돌파하는가?
전통적인 답은 명료했다. 좋은 학위를 받고, 좋은 회사에 들어가고, 좋은 트랙 레코드를 쌓아라. 이 경로는 느렸지만 정해져 있었다. 그러나 학위의 신호 가치는 약해지고, AI가 대체한 영역에서 신입 직무는 빠르게 줄어들고 있다. 사다리의 아래쪽 단들이 사라지는 중이다.
새로운 통화들 — 트랙 레코드, 취향, 문제 정의력, 바카라임의 경험 — 은 매력적이지만 한 가지 잔인한 특성이 있다. 이것들은 모두 이미 위치를 점한 사람에게 유리하다. 트랙 레코드는 시간이 필요하다. 취향은 노출이 필요하고, 노출에는 자본이 든다. 문제 정의력을 보여주려면 풀어볼 만한 문제를 누가 던져줘야 한다. 바카라임의 경험은 바카라임질 자리에 먼저 앉혀줘야 가능하다.
그리고 무엇보다 — 이 새로운 통화들 중 어느 것이 진짜 통화인지를 결정하는 것조차 기존 평가자들이다. 어떤 트랙 레코드가 인정받는지, 어떤 취향이 "좋은 취향"으로 간주되는지, 어떤 문제 정의가 "예리하다"고 평가받는지 — 이 메타-기준은 이미 평가의 자리에 앉아 있는 사람들이 정한다.
이전 시대에는 학위, 자격증, 정규 경력 같은 공식적이고 비교 가능한 통과 의례가 있었다. 그것들이 완벽하지는 않았지만, 적어도 명시적인 규칙이 있었고 누구나 그 규칙을 향해 노력할 수 있었다. 지금은 그 통과 의례조차 모호해진 상태에서, 평가자의 직접적이고 사적인 안목에 의존해야 한다. 우회로가 줄어든 것이다.
모두가 페라리를 타고 출발선에 섰다는 이미지는 매혹적이다. 그러나 트랙은 그들의 것이고, 결승선과 채점표도 그들의 것이고, 누가 1등을 하든 입장료가 그들의 주머니로 들어가는 것도 그들의 설계다. 어쩌면 이것은 새로운 봉건제의 조용한 윤곽인지도 모른다 — 생산의 농노가 아니라, 평가의 영주를 둔.
이 풍경 앞에서 두 가지 잘못된 결론이 가능하다.
하나는 패배주의다. "어차피 평가는 그들의 것이니 시도해봐야 소용없다." 이것은 자기 충족적 예언이 된다.
다른 하나는 순진한 양산주의다. "더 많이 ship하라, 더 많이 시도하라." 시도 비용이 낮아진 시대에 이 조언 자체는 옳다. 그러나 누가 채점하느냐를 묻지 않은 시도는, 결국 기존 평가자에게 더 많은 데이터를 갖다 바치는 일에 그칠 수 있다.
진짜 전략은 둘 사이에 있다. 많이 시도하되, 그 평가 루프를 자기 손에 가져오는 것이다. 직접 작은 시장을 만들고, 그 시장에서 직접 피드백을 받고, 그 피드백으로 다음 시도를 다듬는다. 기존 게이트키퍼의 채점을 기다리지 않는다. 자기만의 작은 스트라이크존을 그리고, 그 안에서 통계를 쌓는다.
이것이 "천 명의 진짜 팬", 직접 구독 모델, 인디 해커, 독립 출판 같은 운동들이 가진 정치적 의미라고 본다. 그것들은 단순히 생산의 도구가 아니라 평가의 도구다. 평가의 권력을 작게라도 자기 손에 쥐기 위한 시도들이다.
그리고 그 작은 스트라이크존의 누적이 일정 임계점을 넘는 순간 — 그때서야 기존 평가자들도 그 사람을 재평가할 수밖에 없게 된다. 이것이 이 시대에 새로운 세대가 가진 거의 유일한 우회로가 아닐까 생각한다.
평가는 늘 권력이었고, AI 시대에 그 권력은 약해지지 않는다. 오히려 더 단단해진다. 이 사실을 직시하지 않은 채로 "AI가 모든 것을 민주화한다"는 서사를 받아들이는 것은, 출발선이 평등해졌다는 환상에 속는 일이다.
그러므로 "평가의 자리를 지킨다"는 말은 두 가지 의미를 동시에 가진다.
하나는 — 이미 평가의 자리에 앉아 있는 사람들에게 — 그 권력을 AI에게 위임하지 말라는 의미다. 정량적 측정의 편리함에 굴복하지 말고, 무엇이 진짜로 좋은 결과인지에 대한 판단을 끝까지 자기 몫으로 남기라는 뜻이다.
다른 하나는 — 평가의 자리 바깥에 있는 사람들에게 — 그 자리를 향해 가는 길이 막혔다면, 작은 평가의 자리를 직접 만들라는 의미다. 자기 작품의 첫 평가자가 되고, 자기 시장의 첫 큐레이터가 되고, 자기 기준의 첫 옹호자가 되라는 뜻이다.
모두가 페라리를 탄다. 그러나 그 페라리가 달리는 트랙은 여전히 누군가의 것이고, 이 시대의 가장 큰 부는 자동차에서가 아니라 트랙에서 나오고 있다.
그 트랙 위에서 빨리 달리는 것만으로는 충분하지 않다. 어디선가, 작게라도, 자기 트랙을 그릴 수 있어야 한다. 그것이 이 시대에 평가의 권력에 대해 우리가 할 수 있는 가장 정직한 응답이라고 생각한다.