2026 All-Day-Project (252/365)
내 가설이 예뻐보이는 이유 글에서 이어서
PM으로 일하다 보면 가끔 이런 순간이 옵니다. "이 가설, 완벽한데? 사용자들은 분명 이렇게 반응할 거야!" 이런 확신은 강력한 추진력이 되기도 하지만, 때로는 한 걸음 물러서서 생각할 필요도 있습니다. 혹시 보이지 않는 힘에 이끌려 내 가설만 유독 예뻐 보이는 건 아닐까요?
오늘은 PM이 자주 빠지기 쉬운 '빈도 환상'에 대해 이야기해보고, 이 착각이 어떻게 우리의 의사결정을 왜곡하는지, 그리고 그로부터 벗어나 현명하게 '배팅'하는 PM이 되기 위해 무엇을 고민해야 하는지 함께 살펴보겠습니다.
'빈도 환상'은 어떤 것에 관심을 가지면 그게 갑자기 자주 보이는 현상을 말합니다. 특정 자동차 모델을 사고 싶다고 마음먹으면 길에서 그 차가 유독 많이 보이는 경험, 누군가를 알게 된 후 그 사람의 이름이 어디서나 들리는 듯한 느낌, 바로 그런 것입니다.
PM 업무에서도 이 현상은 똑같이 나타납니다. 특정 가설을 세우고 의식적으로 관찰하기 시작하면, 그 가설을 뒷받침하는 데이터나 사용자 반응이 더 자주 눈에 띄는 경험을 하게 됩니다. 실제로는 빈도가 늘어난 게 아니라, 내 관심이 집중되었기 때문일 가능성이 큽니다.
예를 들어 "사용자들은 개인화된 추천 기능을 원할 거야"라는 가설을 세우면, 사용자 인터뷰에서 개인화가 좋다는 이야기가 더 크게 들리고, 경쟁사의 유사 기능 출시에 대해서도 "역시 내 생각이 맞았어!"라고 느끼게 됩니다. 하지만 이는 객관적인 데이터가 아니라 내 마음속 필터가 만들어낸 착시일 뿐입니다.
우리 뇌는 특정 가설에 집중할 때, 관심이라는 스포트라이트를 그 주제에만 비추게 됩니다. 그러면서 다른 정보는 쉽게 무시되고, 자신이 옳기를 바라는 마음 때문에 가설을 지지하는 정보만 선택적으로 기억하고 강조하게 됩니다. 이것이 바로 확증 편향입니다. 빈도 환상과 확증 편향이 만나는 순간, 내 가설은 현실보다 훨씬 더 그럴듯하고 예뻐 보이기 시작합니다.
빈도 환상에 제대로 빠지면 PM의 행동에서 몇 가지 패턴이 관찰됩니다.
내 가설에 유리한 데이터만 강조하고, 불리한 데이터는 무시하거나 축소합니다. 가설에 부합하는 소수 사용자의 의견을 마치 전체 사용자의 목소리인 양 확대 해석하기도 합니다. 경쟁사의 모든 움직임을 내 가설의 타당성을 입증하는 증거로 여기게 되고, 팀 회의에서는 다른 의견을 수용하지 않은 채 자기 가설을 고집하게 됩니다. 결국 충분히 검증되지 않은 가설로 중요한 결정을 내려 제품 실패로 이어지는 상황까지 벌어집니다.
역사적으로도 이런 사례는 많습니다. 구글 글래스는 "사용자들은 항상 연결되어 있기를 원할 것이다"라는 가설 아래 추진되었지만, 개발자와 기술 애호가들의 열정적인 피드백이 전체 시장의 니즈로 오인되었습니다.
일반 사용자들은 프라이버시 침해 우려와 실용성 부족을 문제 삼았고, 결국 구글은 소비자 시장에서 철수할 수밖에 없었습니다. 펩시의 크리스탈 펩시도 마찬가지였죠. 테스트 참가자들의 호기심을 실제 구매 의도로 착각한 결과, 시장은 냉담한 반응을 보였습니다.
이런 실패들은 모두 '내가 본 데이터'가 '전체 진실'이라고 착각한 데서 비롯됩니다.
여기서 우리는 한 걸음 더 깊이 들어가야 합니다. 빈도 환상이 단순히 '생각의 착각'으로 끝난다면야 큰 문제가 아닐 것입니다. 하지만 PM에게 가설은 생각에서 그치는 것이 아닙니다. 가설은 곧 의사결정이고, 의사결정은 곧 배팅입니다.
우리가 세우는 모든 가설은 결국 누군가의 시간, 누군가의 예산, 누군가의 커리어, 그리고 회사의 운명까지 걸린 내기입니다. "사용자들은 이 기능을 좋아할 거야"라는 가설은, 실제로는 "우리 엔지니어 3명이 2주 동안 이 기능을 만드는 데 쏟는 시간과 자원, 그리고 그 기회비용을 나는 건다"는 의미입니다.
나심 니콜라스 탈레브가 말한 'Skin in the Game' 개념은 PM에게 아주 날카로운 질문을 던집니다.
"당신은 자신의 가설에 실제로 무엇을 걸고 있습니까?"
진짜 '건' 것이 있다면 당신의 의사결정은 훨씬 더 날카로워집니다. 자신이 건 시간과 자원을 의식하기 때문에 가설을 더 냉철하게 검증하게 되고, 배팅의 크기가 클수록 반대 의견을 더 적극적으로 청취하게 됩니다. '내가 틀릴 경우의 손실'을 진지하게 계산하고, 그 손실을 최소화할 백업 플랜을 준비하게 되죠.
반대로, 아무것도 걸지 않은 채 가설만 던지는 PM은 지더라도 자신의 피부가 타지 않기 때문에 가설을 예쁘게 포장하고, 반대 증거는 무시하고, 데이터를 취사선택하는 일이 벌어집니다. 빈도 환상이 가장 위험한 순간은 바로 '건 것이 없는 가설'에 과도한 확신을 가질 때입니다.
여기서 한 가지 중요한 통찰이 더 있습니다. 빈도 환상에 빠진 PM의 가장 큰 특징은 '확신의 크기'와 '실제 배팅의 크기'가 일치하지 않는다는 점입니다.
"이 가설은 90% 확률로 맞을 거야!"라고 외치면서, 정작 그 가설을 검증하는 데 투입하는 자원은 터무니없이 적은 경우가 있습니다. 이는 일종의 '공짜 확신'입니다. 빈도 환상이 만들어낸 허상에 취해 있지만, 실제로는 배팅을 꺼리는 것이죠. 이런 PM은 회의실에서는 열정적으로 이야기하지만, 막상 실행 단계에서는 뒷걸음질칩니다.
반대로 더 위험한 경우도 있습니다. "음, 이 가설 확실하진 않은데... 일단 해보죠"라고 말하면서 엄청난 자원을 투입하는 경우입니다. 확신을 제대로 평가하지 않은 채 '일단 저질러보자'는 식의 모험이죠. 빈도 환상이 아니라 행동 편향과 만나면 더 큰 재앙을 낳습니다.
건강한 PM의 모습은 이 둘을 일치시키는 데 있습니다. 확신이 매우 높은 가설에는 큰 배팅을, 확신이 보통인 가설에는 중간 배팅을, 확신이 낮은 가설에는 작은 배팅을 하는 것입니다. 여기서 핵심은 확신을 숫자로 정량화하는 습관입니다. "이 가설이 맞을 확률은 몇 퍼센트인가?"라고 스스로 묻고, 그 숫자에 근거해 배팅의 크기를 조절하는 것이죠. 이 간단한 습관이 빈도 환상이 만들어내는 과도한 확신을 현실로 끌어내리는 데 큰 도움을 줍니다.
그런데 모든 배팅이 동일한 방식으로 접근되어야 할까요? 분명히 아닙니다. PM이 마주하는 의사결정은 그 성격과 회복 가능성에 따라 완전히 다른 전략을 요구합니다. 바로 제프 베조스가 유명하게 만든 타입 1과 타입 2 의사결정의 구분이 그것입니다.
타입 1 의사결정은 되돌릴 수 없는, 문을 영원히 닫아버리는 결정입니다. 한 번 내리면 돌이킬 수 없고, 만약 틀렸다면 회사가 큰 대가를 치르게 됩니다. 핵심 비즈니스 모델의 변경, 기존 사용자 데이터베이스의 마이그레이션, 수년간 쌓아온 브랜드 포지셔닝의 전환 같은 것들이 여기에 속합니다.
반면 타입 2 의사결정은 언제든지 번복할 수 있는 결정입니다. 잘못됐다 싶으면 문을 다시 열고 원점으로 돌아갈 수 있습니다. 피처 플래그 하나 꺼두면 롤백할 수 있고, 작은 사용자 그룹에게 먼저 노출해볼 수도 있으며, 잘못됐다는 신호가 포착되면 다음 스프린트에서 바로 수정할 수 있습니다.
베조스는 이 둘을 명확히 구분하고, 타입 2 결정은 속도와 실험을 중시하되 타입 1 결정은 신중하고 체계적으로 접근할 것을 강조했습니다.
그런데 여기서 빈도 환상이 가장 교묘하게 개입하는 지점이 바로 이 경계선입니다. 우리는 타입 2 결정인 줄 알았던 것을 어느 순간 타입 1처럼 대우하기 시작합니다. 내 가설에 확신이 쌓이고 그 확신이 빈도 환상에 의해 부풀려질수록 모든 결정이 타입 1처럼 느껴집니다. "이건 중요한 결정이야. 신중하게 해야 해." 하지만 실상은 그저 롤백이 가능한 A/B 테스트 결과에 불과할 때가 많습니다.
반대로 진짜 타입 1 결정 앞에서는 오히려 너무 가볍게 접근하기도 합니다. "내 가설이 틀릴 리가 없어"라는 생각이, 필요한 만큼의 반대 증거 탐색과 시나리오 플래닝을 생략하게 만듭니다.
빈도 환상은 타입 2 결정을 타입 1처럼 무겁게 만들고, 타입 1 결정을 타입 2처럼 가볍게 만듭니다.
둘 다 위험한 왜곡입니다.
이 구분을 배팅 관점에서 다시 정리해보면 답이 명확해집니다.
타입 2 결정은 작은 배팅, 빠른 배팅, 그리고 많은 배팅이 정답입니다. 여기서는 확신이 50%도 채 되지 않더라도 일단 실행하고 결과를 관찰하는 게 더 낫습니다. 실패하더라도 잃는 것이 적고, 오히려 실패를 통해 다음 배팅의 사전 확률을 높일 수 있기 때문입니다.
타입 2 결정 앞에서는 일부러 '덜 확신하는 척'할 필요도 있습니다.
그럼으로써 더 많은 실험을 하고, 더 자주 배울 수 있습니다.
반면 타입 1 결정은 큰 배팅, 늦은 배팅, 그리고 극소수의 배팅이 정답입니다. 여기서는 확신이 90% 이상으로 올라갈 때까지 기다려야 합니다. 반대 증거를 의도적으로 수집하고, 최악의 시나리오를 여러 각도에서 검토하며, 결정을 최대한 늦추는 전략이 필요합니다.
빈도 환상에서 자유로운 PM은 가설을 '고정된 진리'가 아니라 '계속 업데이트되는 확률 분포'로 봅니다.
이를 베이지안 사고방식이라고 합니다.
어떤 가설을 세울 때, 먼저 "내가 이 가설에 대해 현재 얼마나 확신하는가?"를 솔직하게 숫자로 적어봅니다. 이것이 사전 확률입니다. 이렇게 숫자로 적어두는 순간, 당신의 가설은 '예쁜 생각'에서 '검증 가능한 배팅'으로 변신합니다.
그리고 새로운 증거가 들어올 때마다 자신의 확신을 갱신합니다. 긍정적 증거가 들어오면 확신을 올리고, 부정적 증거가 들어오면 확신을 내립니다. 이 과정에서 빈도 환상은 자연스럽게 무력화됩니다. 확신을 숫자로 관리하고, 증거가 들어올 때마다 의무적으로 갱신해야 하기 때문입니다.
베이지안 업데이트의 가장 큰 가치는 '언제 가설을 포기할지'를 명확히 해준다는 점입니다. 초기 확신이 60%였는데, 세 차례의 사용자 테스트를 거치면서 55% → 48% → 39%로 계속 하락한다면 이는 분명한 신호입니다. 빈도 환상에 빠진 PM이라면 "아직 증거가 충분하지 않아"라며 미루겠지만, 베이지안 PM은 "이 가설에 대한 내 확신은 지속적으로 하락 중이며, 현재 39%다. 이 정도면 배팅을 접을 때가 되었다"라고 결정합니다.
가설을 폐기하는 것도 하나의 훌륭한 의사결정입니다.
빈도 환상의 또 다른 함정은 '올인'입니다. 특정 가설에 너무 매료되어 다른 모든 가능성을 배제하고 한 가지에만 몰빵하는 것이죠. 하지만 현명한 PM은 배팅의 포트폴리오를 구성합니다.
확신이 높은 단 하나의 가설에 모든 자원을 쏟기보다는, 확신이 중간 정도인 2~3개의 가설에 각각 적절한 크기로 배팅하는 병렬 배팅 전략을 생각해볼 수 있습니다. 이렇게 하면 하나가 실패하더라도 다른 하나가 성공할 수 있고, 실패한 가설에서 얻은 인사이트는 다음 배팅에 활용됩니다.
계단식 배팅도 효과적입니다. 한 번에 큰 배팅을 하지 말고, 작은 배팅으로 시작해 결과를 확인하며 점진적으로 배팅 크기를 키워나가는 방식입니다. 사용자 인터뷰에서 시작해 프로토타입 테스트, 제한적 A/B 테스트, 그리고 전체 출시로 이어지는 단계를 거치면서 각 단계마다 가설을 갱신하고 다음 단계로 갈지 말지를 결정하는 것입니다.
만약 내 가설이 틀렸을 때의 손실이 너무 크다면, 그 위험을 분산시킬 헤지 전략도 함께 준비해야 합니다. 새로운 기능 A에 올인하기보다는 기능 A와 함께 기능 B를 부분적으로 준비하거나, 롤백이 쉬운 아키텍처를 선택하거나, 파일럿 그룹을 지정해 두는 것입니다.
빈도 환상에서 벗어나는 마지막 단계는 '진 손실'을 어떻게 바라볼 것인가입니다.
대부분의 조직은 실패를 숨기거나 축소하려 합니다. 하지만 진정한 학습 조직은 실패한 배팅을 '나쁜 결정'이 아닌 '유료 교육'으로 봅니다. 중요한 것은 손실에서 자본을 회수하는 기술입니다.
일반적인 사후 분석은 "왜 우리는 틀렸을까?"라는 방어적이고 변명 중심의 질문을 던집니다.
하지만 성장형 사후 분석은 "이 배팅에서 우리는 무엇을 샀는가?"라고 묻습니다.
"우리는 개인화 추천 기능이 이탈률을 줄일 것이라고 배팅했지만, 실제로는 오히려 복잡도만 증가시켰다. 하지만 이 과정에서 우리는 사용자들이 개인화보다는 '투명한 필터링'을 더 원한다는 사실을 발견했다. 이 인사이트는 다음 배팅의 사전 확률을 높여주는 자산이다."
이렇게 바라보면, 실패한 배팅도 결코 낭비가 아닙니다. '피가 되는 학습 자본'으로 재탄생합니다.
모든 주요 의사결정을 기록하는 '배팅 저널'을 작성하는 것도 큰 도움이 됩니다. 그 결정 당시의 확신도, 그 확신의 근거가 된 데이터와 가정들, 배팅의 크기, 실제 결과, 그리고 그 결과로부터 얻은 교훈까지 함께 기록해두면 시간이 지날수록 당신만의 의사결정 교과서가 되어 줍니다.
재무적 ROI만큼이나 중요한 것이 '러닝 ROI'입니다. 즉, "이 배팅을 통해 우리 팀은 얼마나 성장했는가?"를 측정하는 것입니다. 실패한 배팅도 러닝 ROI가 높다면 충분히 가치 있는 배팅이었다고 평가할 수 있습니다.
우리는 지금까지 빈도 환상이라는 인지적 함정을 탐험하고, 그 함정에서 벗어나기 위해 가설을 배팅으로 바라보는 관점을 살펴보았습니다. 그리고 그 배팅을 타입 1과 타입 2로 구분하여 각각 다른 전략으로 접근해야 한다는 점, 베이지안 방식으로 끊임없이 확신을 갱신하고, 포트폴리오처럼 배팅을 분산하며, 실패에서도 학습 자본을 회수하는 방법들도 알아보았습니다.
결국 이 모든 논의가 궁극적으로 말하는 것은 이것입니다.
완벽한 예측자는 존재하지 않습니다. 하지만 현명한 배팅자는 존재합니다.
PM의 삶은 끊임없는 가설의 수립과 검증의 연속입니다. 가설에 대한 열정과 확신은 제품을 앞으로 나아가게 하는 원동력입니다. 하지만 그 열정이 스스로의 눈을 가리는 장막이 되어서는 안 됩니다.
빈도 환상은 우리가 '모르는 것'보다 '아는 것'에 더 위험하게 반응한다는 사실을 일깨워줍니다. 진정으로 좋은 PM은 자신의 가설을 향한 애정과 동시에, 그 가설이 틀릴 수 있다는 가능성을 항상 품고 사는 사람입니다.
오늘도 우리는 묻습니다.
"내가 지금 보고 있는 이 패턴은 진짜일까, 아니면 내 마음이 만들어낸 환상일까?" "지금 내가 내리려는 이 결정은 정말 타입 1인가, 아니면 내 확신 때문에 타입 1으로 보이는 것인가?" "이 가설을 사랑하지만, 만약 그 가설이 틀렸다면 나는 무엇을 배울 수 있을까?"
이 질문들을 품고 살아갈 때, 우리는 빈도 환상이라는 유혹에서 조금 더 자유로워질 수 있습니다. 타입 2 결정에서는 과감하게, 타입 1 결정에서는 겸손하게. 그리고 어떤 결정이든 내 확신이 착시 효과로 부풀려지고 있지는 않은지 늘 의심하는 태도를 놓지 않는 것입니다.
여러분의 다음 배팅은 무엇인가요? 그리고 그 배팅에 여러분은 진정한 Skin을 걸고 있나요? 그 질문에 답할 수 있다면, 여러분은 이미 빈도 환상의 절반은 벗어난 것입니다.
좋은 제품은 끊임없는 질문과 성찰 속에서 탄생합니다.
그리고 그 질문과 성찰은 결국 우리 자신의 가설과 의사결정을 향한 끝없는 대화에서 시작됩니다.
오늘도 우리는 그 대화를 이어갑니다.
더 나은 배팅을 위해, 더 나은 제품을 위해, 더 나은 PM으로 성장하기 위해.