2026 All-Day-Project (253/365)
가설과 배팅 에 이어서
우리는 지금까지 PM이 세운 가설이 어떻게 배팅이 되고, 그 배팅이 어떻게 의사결정으로 이어지며, 그 결정의 결과를 어떻게 학습해야 하는지를 살펴보았습니다. 빈도 환상에서 시작해 Skin in the Game, 타입 1과 타입 2 결정의 구분, 베이지안 업데이트, 그리고 무작위성에서 운과 실력을 분리하는 기술까지. 이 모든 이야기는 결국 한 가지 질문으로 귀결됩니다. "우리는 진짜로 배우고 있는가, 아니면 우리가 배웠다고 착각하고 있는가?"
이 질문에 답하기 위해 우리는 이제 한 걸음 더 멀리 나아가야 합니다. 우리의 학습을 가로막는 또 다른 장애물들, 바로 다양한 인지적 편향들을 직시하는 것입니다. 이 편향들은 우리가 데이터를 보고, 결과를 해석하고, 교훈을 도출하는 모든 순간에 개입합니다. 그리고 그중에서도 가장 교묘하고 위험한 것이 바로 생존 편향(Survivorship Bias)입니다.
제2차 세계대전 당시, 연합군은 전투기 장갑을 어디에 강화해야 할지 고민했습니다. 귀환한 비행기들의 탄흔을 분석한 결과, 동체와 날개에 가장 많은 총격 흔적이 발견되었습니다. 당연히 그곳을 강화해야 한다고 생각했습니다. 하지만 통계학자 에이브러햄 월드(Abraham Wald)는 반대의 제안을 했습니다. "장갑은 탄흔이 없는 곳, 즉 엔진과 조종석에 추가하십시오."
그의 논리는 간단했습니다. 귀환한 비행기들은 살아남은 비행기들입니다. 엔진과 조종석에 맞은 비행기들은 돌아오지 못했을 것입니다. 우리가 보는 것은 생존자들의 데이터일 뿐, 죽은 자들의 데이터는 보이지 않는 것입니다. 이것이 바로 생존 편향의 핵심입니다. 우리는 살아남은 것들만 보고, 사라진 것들은 보지 못함으로써 왜곡된 결론에 도달합니다.
PM에게 생존 편향은 어디서나 발견됩니다. 우리는 성공한 제품들의 사례를 분석하며 교훈을 얻으려 하지만, 똑같은 전략을 썼지만 실패한 제품들은 조명되지 않습니다. 우리는 롱런하는 스타트업의 창업자들을 인터뷰하며 그들의 결정적 순간들을 듣지만, 그와 똑같이 행동했지만 망한 수많은 창업자들의 이야기는 묻힙니다. 우리는 살아남은 사용자들의 피드백에 집중하지만, 이미 이탈한 사용자들의 목소리는 들리지 않습니다.
성공한 기업의 사례를 분석할 때 우리는 자연스럽게 그 성공을 '탁월한 전략'이나 '뛰어난 실행력'으로 설명합니다. 하지만 우리가 보지 못하는 것은 그와 동일하거나 더 나은 전략을 가졌지만 운이 따르지 않아 사라진 기업들입니다.
생존 편향은 우리로 하여금 성공에 과도한 의미를 부여하고, 실패에서 배울 기회를 박탈합니다.
이를 극복하기 위해 PM은 의도적으로 '보이지 않는 데이터'를 찾으려 노력해야 합니다. 실패한 제품들의 사례를 연구하고, 이탈한 사용자들과의 인터뷰를 진행하며, 경쟁사가 시도했다가 포기한 기능들을 분석하는 것입니다. 살아남은 자들의 이야기만으로는 진실을 알 수 없습니다. 죽은 자들의 침묵 속에 더 큰 진실이 숨어 있습니다.
생존 편향과 밀접하게 연결된 또 다른 함정은 후견 편향(Hindsight Bias)입니다. 어떤 결과가 발생한 후, 우리는 그 결과가 처음부터 당연했다고 믿게 됩니다. "나는 처음부터 알았어"라는 말이 바로 후견 편향의 전형적인 표현입니다.
제품이 성공하면 "사용자들이 이 기능을 원한다는 게 분명했어"라고 말합니다. 제품이 실패하면 "애초에 이 시장은 준비되지 않았어"라고 말합니다. 하지만 그 결정을 내리던 당시에는 그렇게 명확하지 않았습니다. 우리는 결과를 알고 난 후, 그 결과를 향해 과거의 불확실성을 재구성합니다.
후견 편향은 학습을 가장 치명적으로 방해합니다. 왜냐하면 우리가 실제로 결정을 내렸을 때의 불확실성과 고민을 지워버리기 때문입니다.
모든 것이 당연하게 보이면, 우리는 그 결정이 얼마나 어려운 것이었는지, 얼마나 많은 대안들이 있었는지 망각하게 됩니다. 그리고 그 결과, 다음 번에도 같은 실수를 반복할 가능성이 높아집니다.
후견 편향을 피하는 유일한 방법은 결정 당시의 사고 과정을 기록하는 것입니다. 우리가 앞서 이야기한 '배팅 저널'이 바로 그 역할을 합니다. 결정을 내릴 때의 확신도, 고려했던 대안들, 우려했던 위험 요소들을 모두 기록해두면, 결과가 나온 후에 과거의 내가 얼마나 불확실했는지를 되돌아볼 수 있습니다. 그리고 그 기록은 후견 편향이라는 안개를 걷어내는 강력한 도구가 됩니다.
우리가 분석하는 데이터는 결코 중립적이지 않습니다. 선택 편향(Selection Bias)은 우리가 어떤 데이터를 수집하고, 어떤 데이터를 무시하는지에 따라 결론이 완전히 달라질 수 있음을 경고합니다.
온라인 설문조사에 응답하는 사람들은 일반 사용자들과 다른 특성을 가질 가능성이 높습니다. 앱 스토어 리뷰를 작성하는 사용자들은 극단적인 경험을 한 사람들일 확률이 높습니다. 우리가 인터뷰하기로 동의한 사용자들은 우리 제품에 이미 관심이 있는 사람들일 수 있습니다.
이 모든 것은 선택 편향의 다양한 얼굴들입니다.
PM은 자신이 분석하는 데이터가 어떻게 수집되었는지, 어떤 과정을 통해 걸러졌는지를 항상 의식해야 합니다. 그리고 그 데이터가 전체 사용자 집단을 대표하는지, 아니면 특정 세그먼트에 치우쳐 있는지를 끊임없이 질문해야 합니다. 데이터는 결코 거울이 아닙니다. 데이터는 특정한 조명 아래에서 특정한 각도로 비친 그림자일 뿐입니다.
우리는 첫 번째 글에서 확증 편향을 잠시 언급했습니다. 하지만 이제 우리는 그것을 더 깊이 이해할 필요가 있습니다. 확증 편향은 단순히 '자신에게 유리한 정보만 찾는 경향'이 아닙니다. 그것은 우리의 사고방식 자체를 규정하는 더 근본적인 것입니다.
칼 포퍼(Karl Popper)는 과학의 경계를 '반증 가능성(falsifiability)'으로 정의했습니다. 진정한 과학은 자신의 이론이 틀릴 수 있는 조건을 명시하고, 그 조건을 찾으려 노력합니다. 반면 비과학은 자신을 지지하는 증거만을 수집하고, 반대 증거는 무시하거나 재해석합니다.
PM에게 이는 아주 실용적인 원칙이 됩니다. 우리가 세운 모든 가설에 대해, 가장 먼저 해야 할 질문은 이것입니다. "이 가설이 틀렸다는 것을 어떻게 알 수 있을까?" 만약 이 질문에 답할 수 없다면, 당신의 가설은 검증 가능한 과학적 가설이 아니라 그저 '예쁜 생각'에 불과할 수 있습니다.
확증 편향에서 벗어나려면, 우리는 의식적으로 반대 증거를 찾는 태도를 훈련해야 합니다. 매주 팀 회의에서 '데블스 어드보킷' 역할을 만들거나, 가설 수립 단계에서 '이 가설이 틀렸을 경우의 시나리오'를 의무적으로 상상하는 것입니다. 이는 불편한 작업이지만, 그 불편함이 바로 우리를 편향에서 구해냅니다.
게임스톱 편향(遊戲停止 偏向, Gamestop Bias)은 덜 알려졌지만 PM에게 매우 위험한 편향입니다. 어떤 프로젝트나 전략에 이미 많은 자원을 투입한 후, 그 투입한 자원 때문에 계속 밀어붙이는 현상을 말합니다. 흔히 '매몰 비용의 오류(Sunk Cost Fallacy)'라고도 불립니다.
PM은 자신의 가설에 깊이 빠져들수록, 이미 투입한 시간과 자원이 많을수록 그 가설을 포기하기 어려워집니다. "우리가 여기까지 왔는데, 이제 와서 그만둘 순 없지"라는 생각이 합리적인 판단을 가로막습니다. 하지만 과거에 쓴 자원은 돌아오지 않습니다. 중요한 것은 미래의 수익과 비용일 뿐입니다.
게임스톱 편향을 극복하려면, 우리는 각 의사결정을 처음부터 다시 시작하는 자세로 바라봐야 합니다. "만약 오늘 이 프로젝트가 처음 제안되었다면, 지금의 정보를 바탕으로 다시 시작하겠는가?"라는 질문이 도움이 됩니다. 이 질문은 매몰 비용을 제거하고, 현재의 증거만으로 판단하게 해줍니다.
이 모든 편향들을 넘어서기 위해 PM에게 필요한 것은 결국 통계적 사고의 태도입니다. 이는 어려운 수학 공식을 외우거나 복잡한 통계 패키지를 다루는 것이 아닙니다. 그것은 세계가 확률적으로 작동한다는 사실을 겸허히 받아들이는 태도입니다.
우리는 확실성을 갈망하도록 진화했습니다. 불확실성은 우리 뇌를 불편하게 만듭니다. 그래서 우리는 우연에도 의미를 부여하고, 무작위성에서 패턴을 발견하며, 노이즈에서 시그널을 만들어냅니다. 하지만 좋은 PM은 이 본능을 의식적으로 억제합니다. 그는 불확실성을 견디는 법을 배우고, 확률적으로 생각하며, 백분율로 말하는 습관을 기릅니다.
구체적으로, 통계적 태도는 다음과 같은 질문들을 일상화하는 것입니다.
"이 패턴이 우연히 발생할 확률은 얼마인가?"
"이 결과의 신뢰구간은 어느 정도인가?"
"내가 본 이 데이터는 전체의 몇 퍼센트에 해당하는가?"
"이 가설이 맞을 조건부 확률은, 반대 증거를 고려하면 어떻게 변하는가?"
이런 질문들은 우리의 확신을 상대화하고, 편향을 투명하게 만듭니다. 그리고 그 과정에서 우리는 점점 더 겸손해집니다. 완벽한 확신보다는 '현재 증거로 볼 때 가장 그럴듯한 가설'에 만족하게 되고, 그 가설이 언제든지 새로운 증거에 의해 뒤집힐 수 있음을 받아들이게 됩니다.
결국, PM의 진짜 무기는 도구나 방법론이 아니라 태도입니다.
과학자와 같은 태도, 즉 자신의 가설을 기꺼이 기각하려는 태도, 증거가 바뀌면 생각도 바꾸려는 태도, 불확실성을 편안히 받아들이는 태도가 바로 그것입니다.
이 태도는 세 가지 정신으로 요약될 수 있습니다.
첫째, 반증의 정신입니다. 당신의 가장 소중한 가설조차도, 그것이 틀렸다는 증거가 나타난다면 기꺼이 버릴 준비가 되어 있어야 합니다. 당신의 자존심이 아닌, 증거가 판사입니다.
둘째, 회귀의 정신입니다. 통계학에는 '평균으로의 회귀(Regression to the Mean)'라는 개념이 있습니다. 극단적인 결과는 시간이 지나면 평균으로 돌아갑니다. 오늘의 폭발적 성장이 내일도 지속되리라 기대하지 마세요. 오늘의 처참한 실패가 영원히 지속되리라 생각하지 마세요. 모든 것은 평균으로 회귀하며, 그 과정을 겸허히 관찰하는 것이 PM의 역할입니다.
셋째, 확률의 정신입니다. 삶은 확률적입니다. 완벽한 예측은 없고, 확실성은 환상입니다. 우리가 할 수 있는 최선은 각 결정의 기대값을 계산하고, 그 기대값이 가장 높은 방향으로 배팅하는 것입니다. 그리고 그 배팅이 틀렸다면, 그것이 '실패'가 아니라 '새로운 사전 확률'임을 받아들이는 것입니다.
우리는 다섯 편의 글을 통해 PM이라는 직업이 얼마나 많은 인지적 함정으로 가득한지 살펴보았습니다. 빈도 환상, 확증 편향, 생존 편향, 후견 편향, 선택 편향, 게임스톱 편향. 이 편향들은 우리의 가설을 왜곡하고, 의사결정을 흐리고, 학습을 방해합니다.
하지만 이 모든 편향들을 하나하나 외우고 대비하는 것이 목표일까요? 아닙니다. 진짜 목표는 이 편향들이 존재한다는 사실을 인식하고, 그럼에도 불구하고 더 나은 판단을 내리려는 태도를 기르는 것입니다.
편향에서 완전히 자유로워질 수는 없습니다. 우리는 인간이고, 우리의 뇌는 그렇게 진화했습니다. 하지만 우리는 우리의 한계를 인식할 수 있고, 그 한계를 보완하기 위한 시스템과 습관을 설계할 수 있습니다. 그것이 바로 저널을 쓰는 이유이고, 데블스 어드보킷을 두는 이유이며, 베이지안 업데이트를 하는 이유입니다.
결국 좋은 PM은 자신이 틀릴 수 있다는 사실을 편안히 받아들이는 사람입니다. 그는 자신의 가설을 사랑하지만, 그 가설에 갇히지 않습니다. 그는 성공에도, 실패에도 일희일비하지 않고, 그 너머의 학습에 집중합니다. 그리고 그는 이 모든 과정이 끝없는 여정임을 알고 있습니다.
오늘도 우리는 묻습니다. "내가 지금 믿고 있는 이 진실은, 어떤 편향이 만들어낸 그림자는 아닐까?" "이 성공의 이면에, 내가 보지 못하는 죽은 자들의 데이터는 없을까?" "만약 내가 지금 가진 정보만으로 다시 결정을 내려야 한다면, 똑같이 행동할까?"
이 질문들을 품고 살아갈 때, 우리는 편향의 숲을 헤쳐 나갈 작은 등불을 얻게 됩니다.
완벽하지는 않지만, 그래도 앞으로 나아갈 수 있는, 그런 등불을 말입니다.