2026 All-Day-Project (138/365)
6장. 수확은 해석이다 (이 글)
한 농부가 시험 파종한 이랑 앞에 서 있습니다.
한 달 전, 그는 새 품종을 한 이랑에만 심었습니다. 이 장의 모든 이야기 — "여러 씨앗을 고르고, 모순을 분리하고, 가정을 심문하고, 적정 장비로, 가장 싸게 틀려라"의 모든 가르침 — 을 충실하게 따랐습니다. 그리고 지금 그 앞에 섰습니다.
열매가 달렸습니다.
그런데 열매가 작습니다. 예상보다 작습니다. 잎도 조금 노랗습니다. 하지만 완전히 망한 것도 아닙니다. 이랑의 절반에서는 작지만 튼실한 열매가 열렸고, 나머지 절반에서는 거의 맺지 못했습니다.
농부가 묻습니다. "이게 성공인가, 실패인가?"
답은 열매의 크기에 있지 않습니다. 답은 왜 그렇게 되었는지에 있습니다.
열매가 작았던 이유가 토양의 산도 때문이라면, 내년엔 이 품종을 다른 이랑으로 옮기면 됩니다. 품종은 좋습니다. 날씨 때문이라면, 다른 해에 다시 시도해봐야 압니다. 올해의 결과로는 아무 결론도 낼 수 없습니다.
씨앗 자체가 이 지역과 맞지 않아서라면, 이 품종은 버려야 합니다. 다른 이랑으로 옮겨도 결과는 같을 것입니다.
세 가지 해석은 완전히 다른 다음 행동을 지시합니다. 옮긴다, 기다린다, 버린다. 그리고 이 세 가지 중 하나를 고르는 일은 열매를 들여다본다고 답이 나오지 않습니다. 이랑의 맥락 전체를 읽어야 가능합니다.
PM의 실험도 같습니다. 실험이 끝나면 숫자가 나옵니다. 클릭률 3.7%. 가입 전환 12%. 주간 리텐션 22%. 숫자는 보입니다. 그런데 그 숫자가 성공인지 실패인지는, 숫자 자체가 말해주지 않습니다. 누군가가 읽어내야 합니다. 그리고 그 사람이 누구인지, 어떻게 읽는지에 따라 같은 숫자에서 다른 결론이 나옵니다.
이 장에서 이야기할 것은 그것입니다. 수확은 해석이고, 해석에는 구조가 필요합니다. 구조가 없으면 해석은 PM의 기분과 팀의 분위기와 시니어의 한 마디에 좌우됩니다. 그리고 그렇게 내린 결정은, 6개월 뒤에 "왜 그런 결정을 했더라?"라는 질문에 답할 수 없습니다.
Eric Ries는 The Lean Startup에서 실험 이후의 선택지를 세 개로 정리했습니다. Persevere(계속 간다), Pivot(방향을 튼다), Kill(접는다). 세 개는 각각 다른 조건에서 나옵니다.
Persevere는 핵심 가설이 데이터로 지지될 때 선택합니다. 방향은 맞고, 이제 필요한 건 최적화입니다. "사람들이 이걸 원한다"가 확인됐으니, 더 잘 만들기만 하면 됩니다. 가장 덜 극적이지만, 가장 자주 선택되는 답입니다.
Pivot은 핵심 가설이 틀렸지만, 실험에서 얻은 학습이 새로운 방향을 가리킬 때 선택합니다. Ries가 피벗을 정의하면서 강조한 건 "단순한 방향 전환"이 아니라는 점입니다. 피벗은 "이전의 학습을 버리지 않으면서 새로운 근본 가설을 테스트하는 구조화된 변경"입니다. 잃은 것이 없는 방향 전환이 아니라, 얻은 것 위에 세우는 방향 전환입니다.
Kill은 학습조차 새로운 방향을 지시하지 않을 때 선택합니다. 계속 투자해도 다른 결과가 나올 근거가 없을 때. 이 선택이 세 개 중 가장 어렵습니다. 그리고 어려운 이유는 숫자가 애매해서가 아니라, 사람의 머리가 어떻게 작동하는지 때문입니다.
Kill을 방해하는 건 외부 환경이 아니라 인지 편향입니다. 세 개를 구분해서 보겠습니다.
첫 번째 덫, 확증 편향(Confirmation Bias).
1998년 Raymond Nickerson은 Review of General Psychology에 발표한 리뷰 논문에서 확증 편향을 이렇게 정의했습니다.
"기존의 믿음, 기대, 또는 손에 쥔 가설에 부합하는 방향으로 증거를 찾거나 해석하는 경향."
이 편향은 PM의 회의실에서 네 가지 모습으로 나타납니다.
선택적 데이터 수집: 가설을 지지하는 지표만 모으고, 반대 지표는 "노이즈"로 치부.
해석 왜곡: 같은 데이터를 보고도 원하는 방향으로 읽기. "활성 사용자 수는 적지만, 남은 사용자의 만족도는 높다."
질문 프레이밍: "이 기능이 유용하다고 느끼셨나요?"라는 유도 질문으로 원하는 답만 끌어내기.
그룹 수준의 확증 편향: "우리 모두 이게 맞다고 생각하잖아"라는 분위기로 번지는 그룹싱크.
확증 편향의 가장 무서운 점은, 본인은 자기가 편향에 빠졌다는 걸 거의 느끼지 못한다는 것입니다. 합리적인 분석을 하고 있다고 믿으면서 편향에 빠집니다. 이 편향을 이기는 방법은 결국 실험 전에 기준을 정하는 것 한 가지입니다. 5장의 Experiment Card가 "성공 기준은 반드시 실험 전에"를 그렇게 강조한 이유입니다. 데이터를 본 다음에 기준을 만들면, 그 기준은 결과에 맞춰 움직입니다.
두 번째 덫, 매몰 비용 오류(Sunk Cost Fallacy).
이미 쓴 비용은 되돌릴 수 없습니다. 되돌릴 수 없는 비용은 미래의 결정에 영향을 주지 말아야 합니다. 경제학 교과서의 기본 원칙입니다. 그런데 사람의 뇌는 이렇게 작동하지 않습니다.
Kahneman과 Tversky의 연구가 말해주듯, 잃는 것의 심리적 고통은 같은 크기의 얻는 것의 기쁨보다 약 두 배 강합니다. 이미 투자한 것을 "잃는다"고 느끼면, 뇌는 자동으로 그 손실을 피하는 선택을 찾습니다. 그리고 가장 쉬운 회피는 "조금 더 해보는 것"입니다.
PM 맥락에서 이렇게 들립니다. "2억 원 썼고 18개월 걸렸어요. 경쟁사가 더 좋은 걸 더 싸게 출시했지만, 여기까지 왔는데 그냥 버릴 순 없잖아요. 1억만 더 넣고 반 년만 더 해봅시다." 이런 말이 나오면, 이미 판단은 매몰 비용이 하고 있습니다. 사람이 아닌 비용이요.
이 덫에서 빠져나오는 단 하나의 질문이 있습니다.
"만약 지금 이 상황에서 제로에서 새로 시작한다면, 이 프로젝트에 지금과 같은 투자를 하겠는가?"
과거 투자를 모두 지우고, 현재 상황과 현재 데이터만으로 판단하는 질문입니다. 답이 "아니오"라면, 지금 이 순간 Kill입니다. 답이 "예"라면, 계속 갑니다. 이 질문 하나가 18개월의 감정적 애착을 건너뛰게 해줍니다.
세 번째 덫, 결과주의(Resulting).
Annie Duke는 Thinking in Bets에서 이 편향에 "Resulting"이라는 이름을 붙였습니다.
"Resulting은 결과(outcome)의 질로 결정(decision)의 질을 판단하는 경향이다."
Duke는 프로 포커 플레이어 출신입니다. 포커에서는 좋은 결정이 나쁜 결과를 낳고, 나쁜 결정이 좋은 결과를 낳는 일이 아주 흔합니다. 확률이 80%인 손을 들고 올인해도 20%의 가능성이 실현되면 집니다. 그럴 때 "내 결정이 틀렸다"고 바꾸면, 장기적으로 돈을 잃습니다.
PM도 같은 함정에 빠집니다.
지표가 올랐다 → "좋은 결정이었다" → 행운을 실력으로 착각.
실험이 실패했다 → "나쁜 결정이었다" → 합리적 판단을 실행 실패로 착각.
실험의 결과와 결정의 질은 다른 것입니다. 외부 변수, 운, 시기, 실행의 품질이 모두 결과에 영향을 줍니다. 결과가 좋아도 결정이 나쁠 수 있고, 결과가 나빠도 결정이 좋을 수 있습니다. 이 둘을 분리하지 못하면, 팀은 계속해서 "결과만 맞혀라"라는 압박을 내면화하게 됩니다. 그리고 그 압박이 다시 확증 편향과 매몰 비용 오류를 강화합니다.
Resulting을 막는 방법은 단 하나입니다. 결정 당시의 정보와 맥락을 기록해두는 것. 그래야 사후에 "그때 그 정보로는 그 결정이 합리적이었다"를 평가할 수 있습니다. 이것이 의사결정 로그가 필요한 이유입니다.
6개월 후에 "왜 그 결정을 했더라?"라고 물으면, 팀의 기억은 거의 항상 재구성됩니다. 기억은 기록이 아닙니다. 현재의 결과가 과거의 근거를 덮어씁니다. 결과가 좋으면 "우리가 다 알고 있었어"가 되고, 결과가 나쁘면 "그때는 다들 좀 이상하다고 생각했는데"가 됩니다. 둘 다 사실이 아닙니다.
의사결정 로그는 4장에서 이야기한 ADR(Architecture Decision Record)의 제품 버전입니다.
기록 항목은 이렇습니다.
짧아도 괜찮습니다. 한 페이지, 혹은 반 페이지. 중요한 건 당시의 정보가 보존되는 것입니다. 특히 반대 의견 칸을 비워두지 마세요. "모두 찬성했다"가 기록된 결정은 거의 항상 그룹싱크가 숨어 있습니다. 반대 의견이 없는 결정은 의사결정이 아니라 그저 합의일 뿐입니다.
그리고 재검토 시점이 가장 중요합니다. "3개월 후에 이 결정을 다시 본다"라고 적어두면, 그 시점이 오면 자연스럽게 돌아와 로그를 열게 됩니다. 그때 "예상 결과"와 "실제 결과"를 비교합니다. 일치하면 결정이 좋았거나 운이 좋았던 것입니다(둘을 구분해야 합니다). 불일치하면 뭘 잘못 예측했는지, 그것이 결정의 문제인지 실행의 문제인지를 가립니다.
이 습관이 팀에 자리 잡으면, 몇 달 뒤부터 결정의 질이 눈에 띄게 올라갑니다. 왜냐하면 사람은 기록되는 것을 더 신중하게 하기 때문입니다.
결정을 혼자 내리면 빠르지만, 그룹싱크에 빠지기 전에 먼저 오만에 빠집니다. 합의로 내리면 오만은 없지만 느리고, 합의 자체가 또 다른 그룹싱크입니다. 사이에 길이 있습니다.
DACI는 그 길의 첫 번째 도구입니다.
Intuit에서 시작해 Atlassian이 널리 보급한 의사결정 역할 구분 프레임워크입니다.
Driver: 이해관계자를 모으고, 정보를 정리하고, 기한까지 결정이 이루어지게 하는 사람. 보통 PM.
Approver: 최종 결정권자. 한 명, 혹은 극소수.
Contributor: 결정에 필요한 전문 지식을 제공하는 사람. 엔지니어, 디자이너, 데이터 담당.
Informed: 결정 결과에 영향받지만 결정 과정에는 참여하지 않는 사람. 유관팀, 경영진.
DACI의 핵심은 Driver와 Approver가 같을 수 있지만 명시적으로 구분돼야 한다는 것입니다. 그리고 Contributor의 수를 의도적으로 제한해야 합니다. Contributor가 10명이면 결정은 거의 항상 합의 마비에 빠집니다. "소수의 전문가"가 원칙입니다. Informed는 결정 후에 알립니다 — 결정 과정에 넣으려 하지 않습니다.
두 번째 도구는 Amazon의 Disagree and Commit입니다. Bezos의 2016년 주주 서한에 나옵니다.
"이봐요, 우리가 이 점에 대해 의견이 다르다는 걸 압니다.
그래도 저와 함께 한 번 걸어보시겠어요? Disagree and commit?"
Bezos의 사례는 Amazon Studios의 한 오리지널 작품에 대한 결정이었습니다. 그는 그 작품에 반대했습니다. 팀은 강하게 추진을 원했습니다. Bezos가 한 말은 이것이었습니다. "나는 반대하지만, 함께 하겠다. 이것이 우리가 만든 것 중 가장 많이 시청되길 바란다."
이 구조가 하는 일은 두 가지입니다. 첫째, 의견 불일치 상태에서도 전진할 수 있게 해줍니다. 둘째, 의견 불일치를 공식적으로 기록해둡니다. 누가 반대했고 왜 반대했는지가 명시됩니다. 이건 나중에 의사결정 로그의 "반대 의견" 칸과 연결됩니다.
Bezos가 덧붙인 중요한 원칙 하나는 이것입니다. "70% 정보로 결정하라." 90%를 기다리면, 대부분의 결정이 너무 느려집니다. 빠르게 잘못된 결정을 인식하고 수정할 수 있는 팀이라면, 틀리는 비용은 생각보다 작습니다. 그러나 느린 비용은 확실히 비쌉니다.
Instagram — Zoom-in Pivot의 교과서.
Kevin Systrom이 처음 만든 건 Instagram이 아니었습니다. Burbn이라는 위치 기반 체크인 앱이었습니다. 위스키 이름을 딴 앱이었고, 장소 체크인 + 사진 공유 + 친구와 계획 세우기를 모두 담았습니다. 기능이 많았습니다.
출시 3개월 후, 사용자 100명에서 정체됐습니다. 성장이 멈췄습니다. Systrom이 데이터를 열었을 때, 한 가지 패턴이 보였습니다. 사람들은 체크인은 거의 안 하고, 사진 공유만 계속 하고 있었습니다.
그는 결정했습니다. 다른 기능을 전부 잘라내고, 사진 공유만 남긴다. 8주 동안 처음부터 다시 개발. 그리고 그 과정에서 그의 아내가 "내 사진이 다른 사람 것만큼 좋아 보이지 않아서 올리기 불편하다"고 말했을 때, 그날 저녁 첫 필터 X-Pro2를 만들었습니다.
2010년 10월 6일 Instagram 출시. 2012년 Facebook에 10억 달러에 인수.
Instagram의 교훈은 단순합니다. 데이터가 말해주는 것을 들을 준비가 돼 있었다는 것. Systrom은 "내가 만들고 싶었던 것"(Burbn)이 아니라 "사용자가 실제로 하는 것"(사진 공유)을 선택했습니다. 기능을 추가한 게 아니라 잘라낸 것이 핵심입니다. Zoom-in Pivot의 정석입니다.
Slack — Kill이 연 다른 문.
Tiny Speck이라는 게임 회사가 있었습니다. Stewart Butterfield는 Glitch라는 온라인 게임을 만들고 있었습니다. 2011년 출시했지만, 사용자 확보에 실패했습니다. 2012년 말, 게임은 종료됩니다.
그런데 한 가지가 남아 있었습니다. 팀이 게임 개발 중에 내부 커뮤니케이션용으로 만든 도구. 팀원들은 게임이 종료되는 와중에도 "이것만은 계속 쓰고 싶다"고 했습니다. Butterfield는 이걸 제품화하기로 결정했습니다.
2013년 Slack 출시. 2020년 Salesforce에 277억 달러에 인수.
Slack의 교훈은 Instagram보다 한 층 더 깊습니다. Kill 결정 그 자체가 새로운 기회를 열었습니다. 게임이라는 "보이는 제품"을 포기해야 커뮤니케이션 도구라는 "숨은 가치"가 드러났습니다. Kill은 끝이 아니라, 다른 시작의 전제 조건이었습니다. 게임을 포기하지 못하고 1년 더 버텼다면, Slack은 없었을 것입니다.
YouTube — "데이터 없음"도 데이터다.
YouTube는 처음에 비디오 데이팅 사이트로 시작했습니다. 2005년 2월 14일, 발렌타인 데이에 론칭. Craigslist에 "매력적인 여성분들, 동영상을 올려주세요. 100달러 드립니다"라는 광고까지 냈습니다.
5일이 지났습니다. 아무도 비디오를 올리지 않았습니다. 0건.
창업자들은 빠르게 결정했습니다. 데이팅 목적을 버리고, 범용 비디오 공유 플랫폼으로 전환. 4월에 "Me at the zoo"라는 첫 비디오가 올라갔습니다. 12월에 하루 800만 조회를 기록했습니다. 2006년 Google이 16.5억 달러에 인수했습니다.
YouTube의 교훈은 날카롭습니다. "0건 업로드"는 완벽하게 명확한 신호입니다. 애매하지 않습니다. 데이터가 없는 것도 데이터입니다. 그리고 빠른 Kill + Pivot이 가능했던 건 아직 투자가 적었기 때문입니다. 매몰 비용이 작을 때 Kill이 가장 쉽습니다. 그래서 5장의 "가장 싸게 틀려라"가 중요한 겁니다. 싸게 틀릴 수 있어야 빠르게 틀릴 수 있습니다.
Quibi — Kill을 늦춘 대가.
반대편의 사례를 하나 더 보겠습니다. 3장에서 이미 다룬 Quibi입니다. Jeffrey Katzenberg와 Meg Whitman, 17억 5천만 달러 투자. 2020년 4월 출시.
데이터가 곧바로 나왔습니다.
출시 1주 후: 무료 앱 순위 50위 밖으로 추락.
5월 초: 125위.
3분기: 71만 구독 가구. 목표였던 700만의 약 10%.
모든 숫자가 같은 방향을 가리켰습니다.
그리고 2020년 10월, 출시 6개월 만에 Quibi는 서비스를 종료했습니다. Katzenberg는 이렇게 말했습니다.
"계속해봤자 다른 결과가 나올 근거가 없었다. 계속하는 것은 투자자들에게 무바카라임한 일이었다."
이 말 자체는 용기 있는 판단입니다. 17.5억 달러의 매몰 비용 앞에서 Kill을 선택한 것은 쉬운 일이 아닙니다. 그런데 교훈은 여기서 갈라집니다. Quibi는 더 일찍 Kill할 수 있었습니다. 3장에서 봤듯, 출시 전의 시장 조사와 파일럿 데이터에서 이미 위험 신호들이 있었습니다. Kill Criteria가 사전에 정해져 있었다면, 6개월과 17.5억 달러를 모두 쓰기 전에 멈출 수 있었습니다.
Quibi의 교훈은 두 줄로 요약됩니다. Kill을 잘 하는 것과 빨리 하는 것은 다릅니다. 그리고 Kill Criteria 없는 실험은, 결국 매몰 비용이 Kill을 결정하게 됩니다.
지금 팀에서 진행 중이거나, 최근에 끝난 실험 하나를 꺼내봅니다. 그리고 다음을 해봅니다.
"새로 시작한다면"을 물어봅니다. 과거 투자를 전부 지우고, 지금의 정보만으로 판단하면 이 프로젝트에 계속 투자할 것인가? 답이 "예"면 Persevere, "아니오"면 Kill, "다른 방향으로 가겠다"면 Pivot. 30초면 되는 질문이지만, 30분의 회의보다 정직합니다.
Kill Criteria를 사후에라도 적어봅니다. 이미 진행 중인 실험이라면, "어떤 숫자가 나오면 Kill할 것인가?"를 지금 정해봅니다. 그리고 현재 숫자와 비교합니다. 이미 Kill 조건이 충족됐는데 계속 가고 있다면, 그건 데이터가 아닌 다른 것이 판단을 하고 있는 것입니다.
의사결정 로그 한 페이지를 씁니다. 진행 중인 프로젝트 중 중요한 결정 하나를 골라, 위의 8개 항목을 채워봅니다. 특히 "반대 의견"과 "재검토 시점"을 비워두지 마세요. 이 한 페이지가 6개월 뒤 "그때 우리가 왜 이랬지?"의 답이 됩니다.
Pre-mortem을 30분 돌립니다. 3장에서 다뤘던 도구를 이번엔 결과 해석에 씁니다. "1년 뒤 이 실험이 잘못된 결론을 낳았다고 가정하자. 뭐가 틀렸을까?" 팀원들이 각자 씁니다. 놓친 해석의 각도가 드러납니다.
Resulting을 한 번 점검합니다. 최근 1년 동안 팀에서 "결과가 좋았으니 좋은 결정"이라고 평가받은 프로젝트와, "결과가 나빴으니 나쁜 결정"이라고 평가받은 프로젝트를 각각 하나씩 꺼내봅니다. 그리고 결정 당시의 정보로 돌아가, 그 판단이 합리적이었는지를 다시 봅니다. 답이 달라지는 경우가 의외로 많습니다.
이 다섯 단계 중 단 하나만 해도 괜찮습니다. 중요한 건 해석에 구조가 들어오는 것입니다. 구조 없는 해석은 편향의 그릇입니다.
이 시리즈는 한 문장에서 출발했습니다.
"문제가 뭔지는 알겠어요. 그럼 이거 하면 되겠네요."
그 한 문장 뒤로, 여섯 장이 이어졌습니다.
첫 장에서는 씨앗이 하나여선 안 된다고 말했습니다.
첫 아이디어는 거의 언제나 인지적 고착의 결과이고, 여러 봉지를 펼쳐봐야 자기 밭에 맞는 것이 보입니다.
두 번째 장에서는 모순은 숙명이 아니라고 말했습니다. 빠르게와 제대로, 개인화와 프라이버시, 확장과 보호는 타협하는 것이 아니라 분리하는 것입니다. 시간, 공간, 조건, 규모 — 네 개의 축 중 하나가 거의 항상 문을 엽니다.
세 번째 장에서는 확신이 클수록 가정은 많다고 말했습니다. 다섯 가지 렌즈로 가정을 꺼내고, 매핑으로 순서를 세우고, Pre-mortem으로 놓친 것을 주워야 합니다. Quibi는 이 한 시간을 건너뛰고 17.5억 달러를 썼습니다.
네 번째 장에서는 기술 결정에 맥락을 제공하는 자리가 PM의 자리라고 말했습니다. 코드를 짤 필요는 없지만, 일방통행 문과 양방향 문을 구분하고, 의도적 부채와 무모한 부채를 구분하고, 삽과 포크레인을 구분할 수 있어야 합니다.
다섯 번째 장에서는 가장 싸게 틀리라고 말했습니다. MVP는 작은 제품이 아니라 학습 도구이고, 가설에 필요한 최소한만 만들면 됩니다. 한 이랑만 잃는 농부가 되는 법입니다.
그리고 이번 장에서는, 수확 앞에서 숫자가 스스로 말하지 않는다고 말했습니다. PM이 읽어내는 것이고, 읽어내는 데에는 구조가 필요합니다. 확증 편향과 매몰 비용과 Resulting이라는 세 개의 덫을 피하기 위해, 그리고 피하지 못한 날에도 스스로를 구할 수 있는 기록을 남기기 위해.
여섯 장을 관통하는 하나의 문장은 어쩌면 이것입니다.
좋은 PM은 정답을 많이 아는 사람이 아니라,
좋은 질문을 제때 던지는 사람입니다.
"이것 말고 다른 씨앗은 없을까?"(1장), "이 모순을 어느 축으로 나눌까?"(2장), "우리가 당연하다고 여기는 가정은 뭘까?"(3장), "이 결정 되돌리는 데 얼마나 드나?"(4장), "이걸 가장 싸게 검증하는 방법은?"(5장), "지금 새로 시작한다면 같은 결정을 할까?"(6장). 이 여섯 질문이 농부의 일 년입니다.
해결바카라의 단계는 여기서 닫힙니다. 그러나 농사는 한 시즌에서 끝나지 않습니다. 수확이 끝나면 이듬해의 토양이 다시 기다립니다. 그때 우리는 또 첫 장으로 돌아갑니다. 새로운 문제, 새로운 가설, 새로운 이랑. 그리고 이번엔 작년의 기록을 들고 시작합니다.
"Resulting is our tendency to equate the quality of a decision with the quality of its outcome." — Annie Duke, Thinking in Bets
도넛을 사는 농부의 밭갈이는 끝났습니다. 추수감사절의 식탁이 눈앞에 있습니다. 이번 해의 열매를 나누며, 농부는 작은 일지 하나를 펼칩니다.
어떤 씨앗을 심었고, 어떤 모순을 풀었고, 어떤 가정을 심문했고, 어떤 장비를 빌렸고, 어떻게 가장 싸게 틀렸고, 수확 앞에서 어떻게 판단했는지. 이 일지가 내년의 농부를 가르칩니다.