2026 All-Day-Project (181/365)
빈도 환상에 관한 글을 좀 더 고민해보기
1. 들어가며: 가설은 왜 그렇게 예뻐 보일까
PM으로 일하다 보면 이런 순간이 옵니다. 특정 가설을 세우고 나면, 그 가설을 뒷받침하는 증거들이 갑자기 세상 어디에나 있는 것처럼 느껴집니다. 사용자 인터뷰에서는 비슷한 답변이 반복해서 들리고, 경쟁사는 우리와 같은 방향으로 움직이며, 데이터 대시보드에서도 눈에 띄는 지표는 하나뿐입니다.
이것은 비단 PM만의 경험이 아닙니다. 특정 자동차 모델을 사고 싶다고 마음먹으면 길에서 그 차가 유독 많이 보이는 경험, 누군가를 알게 된 후 그 사람의 이름이 자주 눈에 띄는 경험, 모두 같은 현상입니다. 심리학에서는 이를 '빈도 환상(Frequency Illusion)' 또는 '베이더-마인호프 현상(Baader-Meinhof Phenomenon)'이라고 부릅니다.
그러나 PM에게 이 현상은 단순한 호기심거리를 넘어, 제품 결정에 치명적 영향을 미칠 수 있는 인지적 함정입니다. 오늘은 이 빈도 환상이 PM의 의사결정을 어떻게 왜곡하는지, 그리고 이 환상에서 벗어나 논리적이고 견고한 의사결정을 내리기 위해 어떤 프레임을 가져야 하는지 이야기해보고자 합니다.
2. 빈도 환상, PM에게 왜 위험한가
2.1. 인지심리학적 기제: 관심이 만드는 스포트라이트
빈도 환상이 발생하는 이유는 단순합니다. 우리는 특정 가설에 관심을 가지면, 그와 관련된 정보를 포착하는 인지적 필터가 활성화됩니다. 이 필터는 관련 정보를 의식적으로 집중시키는 동시에, 관련 없는 정보는 자연스럽게 배제합니다.
문제는 이 과정이 의식적이지 않다는 점입니다. 우리는 자신이 '정보를 선택적으로 보고 있다'는 사실을 인지하지 못한 채, 마치 정보의 실제 빈도가 증가한 것처럼 느낍니다. PM이 특정 가설을 세우면, 그 가설에 유리한 사용자 반응은 더 크게 들리고, 불리한 데이터는 무의식적으로 축소되는 식입니다.
2.2. 논리적 오류: 귀납의 비약과 기저율의 망각
빈도 환상이 단순한 착시가 아니라 PM에게 위험한 이유는, 그것이 논리적 추론의 두 가지 기본 규칙을 위반하기 때문입니다.
첫째, 표본의 대표성 착오(Selection Bias)입니다. 내가 관심을 갖고 집중적으로 바라보는 순간, 그 정보는 '무작위 표본'의 지위를 잃고 '의도적 표본'으로 전환됩니다. 그런데 PM은 이 과정을 인지하지 못한 채, 편향된 표본에서 도출된 패턴을 사용자 전체의 트렌드로 일반화합니다. 논리적으로, 편향된 표본에서 도출된 귀납은 그 결론의 타당성을 상실합니다.
둘째, 기저율(Base Rate)의 무시입니다. PM은 가설을 지지하는 사건의 절대적 빈도만 기억하고, 그 사건이 발생할 전체 분모(전체 사용자 피드백, 전체 시장 데이터)는 망각합니다. 가설을 지지하는 인터뷰어 5명을 기억하지만, 인터뷰를 거부하거나 중립적이었던 95명의 존재는 의식에서 배제됩니다. 논리적으로, 지지 사건의 절대량이 아닌 지지율(비율)만이 의사결정의 유효한 근거인데, 빈도 환상은 이 비율 계산 자체를 봉쇄합니다.
2.3. 확증 편향과의 공생 관계
빈도 환상은 확증 편향(Confirmation Bias)과 맞물려 더욱 강력해집니다. 우리는 자신이 옳기를 바라는 마음 때문에, 가설을 지지하는 정보는 선택적으로 강조하고, 반대되는 정보는 무시하거나 축소합니다. 이 두 편향이 결합되면, PM은 충분히 검증되지 않은 가설에 대해 점점 더 강한 확신을 갖게 되고, 그 확신은 팀 회의에서의 아집, 데이터의 편향적 해석, 그리고 결국 잘못된 제품 결정으로 이어질 수 있습니다.
3. 빈도 환상, 극복의 논리
3.1. '발견'과 '검증'의 맥락 분리
빈도 환상을 극복하는 가장 논리적인 방법은, PM의 사고 과정을 '발견의 맥락(Discovery)'과 '검증의 맥락(Verification)'으로 완전히 분리하는 것입니다. 이 두 맥락을 논리적으로 혼동할 때 빈도 환상은 해로운 착각이 되고, 철저히 분리할 때 빈도 환상은 유익한 통찰의 디딤돌이 됩니다.
발견의 맥락에서는 빈도 환상을 적극 활용하세요. 내 관심이 집중된 덕분에 남들은 못 본 미세한 신호를 포착할 수 있습니다. 자주 보이는 현상은 무시할 수 없는 신호이며, 가설을 세울 합법적 근거가 됩니다. 이 단계에서는 직관과 집중이 자산입니다.
그러나 검증의 맥락에 들어섰다면, 발견 맥락에서 쌓인 모든 '예쁜 신호'를 일시에 괄호 치기(Bracketing)해야 합니다. 검증 단계에서는 오직 반증 가능성과 기저율만이 유일한 판단 기준이 되어야 하며, 이전에 내가 얼마나 확신했는지는 논리적으로 전혀 영향력을 행사해서는 안 됩니다.
3.2. 반증 가능한 가설 설계
칼 포퍼가 강조했듯이, 진정한 과학적 태도는 가설을 '검증'하려는 것이 아니라 '반증'하려는 데 있습니다. PM도 마찬가지입니다.
검증 단계에서 가설을 계속 이야기하는 순간, 회의는 "이 가설이 맞을까?"라는 객관적 검증에서, "이 가설이 왜 맞을지 같이 생각해보자"라는 집단 확증의 장으로 변질됩니다. 이런 논리적 오염을 막으려면, 검증 회의에서는 가설 자체를 의제에서 배제하는 것이 가장 강력한 해결바카라입니다.
구체적으로는 다음과 같은 논리적 장치를 고려해볼 수 있습니다.
- 조건부 확률의 역전: 내가 가설(H)을 세우고 증거(E)를 관찰했을 때, 나는 P(H|E), 즉 '증거가 주어졌을 때 내 가설이 맞을 확률'에 집중합니다. 그러나 빈도 환상은 이 확률을 과대평가하게 만듭니다. 극복을 위해선 의도적으로 P(E|~H), 즉 '내 가설이 틀렸을 때 이 증거가 관찰될 확률'을 계산해보세요.
- 선택적 제거 전략: 내 가설이 맞는지 보려고 애쓰지 말고, "대안 가설들(H2, H3)이 틀렸음을 보여주는 데이터는 무엇인가?"로 질문을 바꾸세요. 이렇게 하면 내 가설을 예쁘게 보는 것이 아니라, 경쟁 가설을 논리적으로 제거하는 방향으로 인지 자원이 이동합니다.
3.3. 조작적 정의와 객관적 기준
빈도 환상은 추상적인 개념(예: '사용자 만족')을 다룰 때 극대화됩니다. 추상적일수록 내 마음대로 해석할 여지가 커지니까요.
극복을 위해선 모든 핵심어를 '측정 가능한 행동'으로 치환하는 논리적 강제를 걸어야 합니다. "사용자가 원한다"는 "3일 이내에 2회 이상 재방문하여 특정 버튼을 클릭한다"로 번역하세요. 조작적 정의가 명확해지면, 내가 관찰하는 '빈도'가 더 이상 주관적 느낌이 아닌 객관적 이벤트 로그로 환원됩니다.
4. 실천적 규율: 언어와 루틴의 힘
논리적 프레임이 아무리 훌륭해도, 이를 현장에 적용하지 않으면 무용지물입니다. 다음은 빈도 환상에서 벗어나기 위한 실천적 규율들입니다.
4.1. 언어적 규율
- 탐색 단계에서는: "이 가설에 대해 어떻게 생각하나요?" (가설을 주제로 삼음)
- 검증 단계에서는: "이 실험 설계(지표/샘플/기간)에 대해 어떻게 생각하나요?" (가설을 언급하지 않음)
검증 회의의 의제에 '가설'이라는 단어 자체를 기입하지 않는 것이 가장 강력한 해결바카라입니다.
4.2. 강제 반전 루틴
가설을 세운 직후, 의무적으로 그 가설을 정면으로 뒤집은 반대 가설을 2개 이상 적어보세요.
- 예: "개인화 추천이 매출을 올린다" → "개인화 추천은 오히려 사용자 선택 피로도를 높여 이탈을 유도한다."
이렇게 적어놓고, "과연 내가 반대 가설을 입증하기 위해 어떤 데이터를 봐야 할까?"라고 질문하는 습관이 빈도 환상의 첫 번째 방어벽입니다.
4.3. 부정 지표 우선 열람
데이터를 볼 때, 긍정 지표와 동일한 눈높이로 부정/중립 지표를 먼저 펼쳐놓고 보는 습관을 들이세요. 가설에 불리한 데이터를 의무적으로 가장 먼저 보는 것이 핵심입니다.
5. 마치며: '제로 디폴트' 사고방식
가장 중요한 논리적 태도는 이것입니다. 검증 버튼을 누르는 순간, 나는 그 가설에 대해 100% 무지한 상태로 돌아가야 합니다. 마치 내가 그 가설을 세운 적 없는 것처럼, 오직 리포트에 찍히는 숫자만 바라봐야 합니다.
내가 이전에 얼마나 많이 그 가설을 이야기했는지는, 결과물이 나온 후에야 비로소 '맞힌 이야기' 또는 '틀린 이야기'로 평가받을 자격이 생깁니다. 결과가 나오기 전까지 그 가설은 그저 '죽은 상태'로 보관하는 것이 논리적으로 가장 올바른 태도입니다.
빈도 환상은 자연스러운 인지 현상입니다. 문제는 이 현상을 의식하지 못할 때 발생합니다. 자신의 가설이 유독 예쁘게 보일 때, 혹은 모든 증거가 한 방향으로 흐르고 있다고 느껴질 때, 그것이 진정한 시장의 목소리인지, 아니면 내가 만든 스포트라이트의 그림자인지 의심하는 습관.
좋은 제품은 끊임없는 질문과 성찰 속에서 탄생합니다. 그리고 그 질문은 '내가 틀렸을 수도 있다'는 겸허한 인식에서 출발합니다. 그것이 바로 빈도 환상이라는 심리적 함정을 넘어서는, PM이 가져야 할 가장 강력한 논리적 무기입니다.