AI에게 답을 묻기 전에, 문제를 다시 보라 【14편】

— PART 4. 가설을 세우고 검증하라 · 첫 편 —

"측정할 수 없는 것을 관리할 수 없다는 말은 틀렸다. 중요한 것 대부분은 측정하기 어렵고, 그래도 우리는 결정해야 한다."

— 더글러스 허버드 (Douglas Hubbard)

같은 회의를, 세 번 했습니다

어느 회사의 회의록을 그대로 옮겨 보겠습니다. 날짜만 보십시오.

3월 12일 팀장 "이탈 고객이 늘고 있습니다. 원인 파악이 필요합니다."

3월 12일 참석자 "데이터가 부족합니다. 자료부터 좀 모아 봅시다."

5월 20일 팀장 "이탈률이 또 올랐습니다. 지난번 그 안건입니다."

5월 20일 참석자 "설문을 돌려야 할 것 같습니다. 표본이 너무 적습니다."

8월 4일 팀장 "상반기 이탈이 작년 대비 두 배입니다."

8월 4일 참석자 "정확한 데이터가 없으면 섣불리 판단하기 어렵습니다."

세 번의 회의. 다섯 달. 참석자 연인원 스물한 명.

그 다섯 달 동안 실행된 것은 아무것도 없었습니다.

그리고 한 가지가 더 있었습니다.

같은 기간, 경쟁사는 이탈 고객 재방문 쿠폰을 두 차례 시험하고 두 번째 방식을 전사 적용했습니다. 그들에게 더 좋은 데이터가 있었던 것이 아닙니다.

그들은 데이터가 없는 상태에서 "틀릴 수도 있는 한 가지"를 정하고 2주를 써 봤습니다.

이 차이가 다섯 달의 차이를 만들었습니다.

우리는 자료가 부족할 때 신중함을 택합니다. 그 신중함은 대개 정직한 마음에서 나옵니다. 틀린 판단으로 조직에 손해를 입히고 싶지 않다는 마음입니다.

그런데 신중함에는 비용이 있습니다. 눈에 보이지 않아서 아무도 청구서를 받지 않는 비용입니다.

결정하지 않는 것도 결정입니다. 다만 그 결과에 대해 아무도 바카라임지지 않는 형태의 결정입니다.

1. "데이터가 없다"는 말의 세 가지 정체

회의에서 이 말이 나올 때, 실제로 뜻하는 바는 셋 중 하나입니다. 그런데 셋의 해법이 완전히 다릅니다.

첫째 — 정말로 없는 경우

한 번도 측정한 적이 없는 항목입니다. 신규 서비스의 재구매율, 아직 없는 제도의 효과 같은 것들. 이 경우는 솔직히 없는 것이 맞습니다.

해법은 만드는 것입니다. 작게, 빨리, 틀려도 괜찮은 규모로.

둘째 — 있는데 찾지 않은 경우

제 경험으로는 이 경우가 가장 많습니다. 회사 안에 흩어져 있습니다. 상담 기록, 결재 이력, 출입 로그, 퇴사 면담 메모. 한 곳에 모여 있지 않기 때문에 "없다"로 처리됩니다.

해법은 모으는 것입니다. 12편에서 다룬 내부 자료 연결이 바로 이 작업입니다.

셋째 — 확신이 없는 경우

가장 흔한 진짜 이유입니다. 자료가 없는 게 아니라, 내가 틀렸을 때 혼자 바카라임지게 될 것 같은 상황입니다. 그럴 때 "데이터가 부족합니다"는 가장 안전하고 가장 전문적으로 들리는 문장입니다.

저도 써 봤습니다. 여러 번 썼습니다. 그 말이 입에서 나올 때의 안도감을 기억합니다.

해법은 자료가 아닙니다. 틀려도 되는 범위를 먼저 정하는 것입니다.

2주, 한 팀, 예산 0원. 이 조건이면 틀려도 조직은 흔들리지 않습니다. 그리고 그 조건에서는 누구도 나를 탓하지 않습니다.

데이터가 부족해서 못 하는 일은 생각보다 적습니다. 틀릴 범위를 정하지 않아서 못 하는 일이 훨씬 많습니다.

2. 가설은 생각이 아니라 문장입니다

검증을 못 하는 가장 큰 이유는 데이터가 아닙니다. 가설이 검증할 수 없는 형태로 적혀 있기 때문입니다.

"고객 만족도가 떨어진 것 같다"는 가설이 아닙니다. 느낌입니다. 이걸 가지고는 어떤 결과가 나와도 맞았다고도 틀렸다고도 할 수 없습니다.

검증 가능한 가설의 다섯 요소

마지막 줄이 핵심입니다. 반증 조건이 없는 가설은 가설이 아니라 신념입니다. 조직 안에서 몇 년씩 살아남는 주장들은 대개 이 줄이 비어 있습니다.

실제로 바꿔 보기

회의에서 자주 나오는 문장 세 개를 다시 써 보겠습니다.

① 가설 다시 쓰기

✗ 검증 불가 "요즘 직원들이 회사에 애정이 없는 것 같다."

✔ 검증 가능 "입사 2년 차 이하 직원의 조기 퇴사는 업무량이 아니라 사수 부재 때문이며, 사수를 지정하면 6개월 내 면담 요청이 절반으로 줄 것이다."

→ 달라진 점 대상(2년 차 이하)·원인(사수 부재)·크기(절반)·기간(6개월)이 들어가 2주 뒤부터 확인 가능

② 가설 다시 쓰기

✗ 검증 불가 "마케팅 효율이 떨어지고 있다."

✔ 검증 가능 "신규 유입 감소는 광고비가 아니라 랜딩 페이지 첫 화면 때문이며, 첫 화면을 바꾸면 2주 내 체류시간이 20% 이상 늘 것이다."

→ 달라진 점 원인을 한 곳으로 좁혀 광고비 증액 없이 2주 안에 판정 가능

③ 가설 다시 쓰기

✗ 검증 불가 "현장에서 제도를 잘 안 따른다."

✔ 검증 가능 "규정 미준수는 의지 부족이 아니라 절차가 7단계라서 이며, 3단계로 줄이면 한 달 내 미준수 건수가 30% 이상 줄 것이다."

→ 달라진 점 사람의 태도가 아니라 절차 수라는 바꿀 수 있는 변수를 지목

세 가지 모두 공통점이 있습니다. 원래 문장은 누구의 잘못인지를 말하고 있었고, 바뀐 문장은 무엇을 바꿔 볼지를 말하고 있습니다.

가설을 다시 쓰는 일은 비난을 실험으로 바꾸는 일입니다.

3. 데이터 대신 쓸 수 있는 다섯 가지

완벽한 데이터는 없습니다. 그런데 가설의 방향이 맞는지 틀렸는지를 가르는 데는 완벽한 데이터가 필요하지 않습니다.

필요한 것은 "이 방향이 아니다"를 알려 줄 최소한의 신호입니다. 그 신호를 구하는 다섯 가지 길이 있습니다.

대체 근거 다섯 가지

세 번째 줄, 기존 기록 재해석을 주목하십시오. 가장 저평가되는 방법입니다. 이미 가진 자료를 다른 질문으로 다시 세어 보는 것만으로 답이 나오는 경우가 꽤 있습니다.

예를 들어 퇴사 면담 기록은 보통 사유별로 집계됩니다. 그 자료를 입사 연차별로 다시 세면 다른 그림이 나옵니다. 부서별로 세면 또 다릅니다. 같은 자료, 다른 질문입니다.

새 데이터를 기다리기 전에, 가진 데이터에 아직 묻지 않은 질문이 있는지부터 보십시오.

4. 48시간 최소 검증 실험 네 가지

여기서부터는 바로 쓸 수 있는 것들입니다. 네 가지 모두 이틀 안에, 예산 없이, 허가 없이 할 수 있습니다.

① 다섯 명 인터뷰

무엇을 묻는가 원인이 내가 지목한 그것인가

48시간 방법 같은 질문 세 개를 다섯 명에게. 답을 유도하지 말고 적기만 함

드는 비용 두 시간

판단 기준 다섯 명 중 세 명 이상이 같은 원인을 말하면 방향 유지

② 한 시간 관찰

무엇을 묻는가 실제로 그 일이 일어나고 있는가

48시간 방법 현장에 가서 한 시간 앉아 있으면서 횟수만 셈. 말 걸지 않음

드는 비용 한 시간

판단 기준 예상 횟수의 절반도 안 나오면 가설 폐기

③ 역질문 테스트

무엇을 묻는가 내 가설의 반대도 설명이 되는가

48시간 방법 가설을 뒤집어쓴 문장을 만들고, 같은 자료로 그것도 설명되는지 확인

드는 비용 30분

판단 기준 반대 가설도 똑같이 설명되면 아직 가설이 아님

④ 한 팀 선행 적용

무엇을 묻는가 작게 하면 효과가 보이는가

48시간 방법 가장 협조적인 한 팀에만 2주 먼저 적용. 전사 공지 없이 진행

드는 비용 2주 · 0원

판단 기준 2주 뒤 지표가 한 방향으로도 안 움직이면 전사 확대 중단

③번 역질문 테스트는 30분이면 됩니다. 그런데 이 30분에서 가설이 깨지는 경우가 가장 많습니다. 다음 편에서 본격적으로 다룰 내용이기도 합니다.

검증이란 맞다는 증거를 찾는 일이 아니라, 틀렸다는 증거를 먼저 찾아보는 일입니다.

5. AI를 쓰는 지점은 따로 있습니다

여기까지 읽으면서 눈치채셨을 것입니다. 인터뷰도 관찰도 사람이 하는 일입니다. AI가 대신해 줄 수 없습니다.

AI가 잘하는 지점은 다른 곳입니다. 가설을 검증 가능한 문장으로 쪼개는 일, 실험을 설계하는 일, 그리고 내가 피하고 싶은 반증 조건을 끄집어내는 일입니다.

프롬프트 1 — 가설 분해

내 가설은 이렇다: [한 문장]

이 가설을 검증 가능한 형태로 다시 써라. 다음 다섯 요소가

모두 들어가야 한다.

대상 / 원인 지목 / 방향과 크기 / 기간 / 반증 조건

그리고 내 원래 문장에서 빠져 있던 요소를 지적해라.

애매한 단어(요즘, 전반적으로, 많이)는 전부 숫자나

범위로 바꿔라.

프롬프트 2 — 48시간 실험 설계

가설: [위에서 다시 쓴 문장]

조건: 예산 0원, 기간 48시간, 결재 없이 가능, 담당자는 나 혼자

이 조건에서 가설의 방향이 맞는지 틀렸는지만 가릴 수 있는

최소 실험을 세 가지 제안해라. 각각에 대해 적어라.

무엇을 측정하는가 / 어떻게 측정하는가 /

몇 개를 모아야 판단 가능한가 /

어떤 결과가 나오면 가설을 버려야 하는가

완벽한 검증은 요구하지 마라. 방향만 가리면 된다.

프롬프트 3 — 반증 조건 강제

내 가설: [문장]

내가 생각하는 근거: [근거들]

먼저, 내 근거를 쓰지 않고 이 가설의 반대 주장을 세워라.

같은 상황을 설명하는 다른 원인 세 가지를 제시해라.

그다음, 내 가설이 틀렸다면 반드시 관찰될 현상을

구체적으로 세 가지 적어라.

마지막으로, 그 세 가지 중 48시간 안에 확인할 수 있는

것이 무엇인지 골라라.

세 번째 프롬프트를 권합니다. 가장 불편하고 가장 유용합니다.

우리는 가설을 세울 때 이미 답을 알고 있다고 믿습니다. 그 믿음을 흔드는 작업을 스스로 하기는 어렵습니다. AI는 그 일을 감정 없이 해 줍니다.

6. 검증처럼 보이지만 아닌 것들

검증한다고 하면서 실제로는 확인 도장만 받는 경우가 있습니다. 네 가지를 조심하십시오.

⚠ 확증 수집 — 맞는 사례만 모으는 것

내 가설에 맞는 사례 열 개를 모았다 → 검증이 아닙니다.

틀린 사례를 찾아봤는데 세 개뿐이었다 → 이것이 검증입니다.

구분법: 반대 증거를 찾는 데 쓴 시간이 절반 이상인가

⚠ 동의 수집 — 설문으로 포장된 찬성 투표

"이 제도가 필요하다고 생각하십니까" → 대부분 그렇다고 답합니다.

"지난달에 이 문제를 몇 번 겪으셨습니까" → 이것이 데이터입니다.

구분법: 질문이 의견을 묻는가, 경험한 횟수를 묻는가.

⚠ 사후 설명 — 결과를 보고 가설을 고치는 것

실험 결과가 예상과 달랐는데, 가설을 수정해 다시 맞다고 함.

반증 조건을 실험 전에 적어 두지 않으면 반드시 이렇게 됩니다.

구분법: 판단 기준을 적은 문서의 작성 날짜가 실험 전인가.

⚠ 무한 보류 — 기준 없는 추가 검증 요구

"표본이 더 필요합니다"가 몇 개부터 충분한지 없이 반복됨.

처음부터 "몇 개 모이면 결정한다"를 합의해야 멈춥니다.

구분법: 충분하다는 숫자가 문서에 적혀 있는가.

네 가지 모두 제가 조직에서 반복해 본 장면입니다. 나쁜 의도로 생기는 일이 아닙니다. 틀리고 싶지 않은 마음이 만드는 함정입니다.

공바카라 한 권으로 지킨 도서관

몇 해 전, 지방의 작은 공공도서관에서 있었던 일입니다.

직원은 사서 한 분이었습니다. 장서는 만 권이 조금 안 됐습니다.

그해 가을, 통보가 왔습니다. 이용자 수가 기준에 미달해 다음 해 통폐합 검토 대상이라는 내용이었습니다. 자료에는 숫자 하나만 적혀 있었습니다. 연간 이용자 수, 3년 연속 감소.

그분은 그 숫자에 동의하지 않았습니다. 다만 반박할 자료가 없었습니다.

가진 것은 하나뿐이었습니다. 매일 창구에 앉아 사람들을 봐 온 눈이었습니다. 그 눈으로 본 것은 이것이었습니다.

"이용자가 줄어든 게 아니라, 올 수 있는 시간에 문이 닫혀 있다."

도서관은 오전 아홉 시에 열고 오후 여섯 시에 닫았습니다. 그 지역 사람들 대부분은 공장과 농장에서 일했습니다. 아이들은 학교와 학원에 있었습니다.

여섯 시는 모두가 아직 일하고 있는 시간이었습니다.

예산은 없었습니다. 설문을 돌릴 인력도 없었습니다. 통계 프로그램도 없었습니다.

그분이 한 일은 이것뿐입니다.

• 2주간 화요일과 목요일만 저녁 여덟 시까지 혼자 남았습니다.

• 문구점에서 산 공바카라에, 들어오는 사람을 한 명씩 손으로 적었습니다.

• 시간대와 나이대, 그리고 무엇을 하러 왔는지를 한 줄씩 썼습니다.

2주 뒤, 공바카라에는 이런 숫자가 남았습니다.

연장한 나흘, 저녁 여섯 시부터 여덟 시까지 두 시간 동안 들어온 사람이 낮 아홉 시간 동안 들어온 사람보다 많았습니다.

그분은 그 공바카라을 복사해 보고서 뒤에 붙였습니다. 앞장에는 한 줄만 적었습니다.

"이용자가 줄어든 것이 아니라, 열려 있는 시간이 맞지 않았습니다."

이듬해 도서관은 통폐합 명단에서 빠졌습니다. 운영 시간 조정 시범 기관으로 지정됐고, 주 2회 야간 개관 예산이 나왔습니다.

나중에 그분에게 어떻게 그 생각을 했는지 물었다고 합니다. 답은 이랬습니다.

"통계를 만들려고 한 게 아닙니다. 그 시간에 올 수 있었던 사람들이 있었다는 걸, 어딘가에 남겨 두고 싶었습니다."

데이터가 없다는 말은 대개 사실입니다.

그런데 그 말 뒤에 숨은 또 하나의 사실이 있습니다. 데이터가 없는 것이 아니라, 아직 아무도 세어 보지 않았다는 것입니다.

공바카라 한 권과 2주. 그것이 만 권의 바카라과 한 마을의 저녁을 지켰습니다.

그 도서관은 지금도 화요일과 목요일에 여덟 시까지 문을 엽니다.

완벽한 자료를 기다리는 사람과 불완전한 자료로 시작하는 사람. 1년 뒤 둘의 거리는 자료의 차이가 아니라 시작한 날짜의 차이입니다.

오늘 할 수 있는 한 가지

지금 다섯 달째 결론이 안 나는 안건이 하나쯤 있으실 것입니다.

그 안건을 꺼내서 종이에 한 문장만 써 보십시오.

"___은 ___ 때문이며, ___을 바꾸면 ___ 안에 ___이 ___만큼 달라질 것이다."

빈칸이 채워지지 않는다면, 부족한 것은 데이터가 아닙니다. 가설입니다.

채워졌다면 한 줄을 더 쓰십시오.

"무엇을 보면 내가 틀렸다고 인정할 것인가."

이 두 줄이 적힌 종이 한 장이, 다섯 달의 회의보다 멀리 갑니다.

데이터는 결정을 위해 모으는 것입니다. 모으는 일 자체가 목적이 되면, 그것은 결정을 미루는 가장 점잖은 방법이 됩니다.

◀ 전편 돌아보기

13편 「AI의 답변을 실제 업무 결과물로 바꿔라」에서는 아홉 시간을 들여 만든 열네 장 자료가 "그래서 뭘 하자는 겁니까" 한마디에 무너지는 장면으로 시작했습니다. 글과 결과물을 가르는 다섯 조건, 산출물 전환 카드 다섯 가지, 받는 사람별 형식 기준을 다뤘고, 스무 장짜리 요청서를 한 장으로 줄여 6분 만에 예산을 승인받은 슬롯복지사의 이야기로 PART 3을 마쳤습니다.

▶ 다음 편 예고

다음 15편 「AI에게 반대하게 하라」에서는 이번 편 ③번 역질문 테스트를 본격적으로 다룹니다. 내 가설을 가장 아프게 공격하도록 AI를 설계하는 방법, 반대 역할을 맡기는 프롬프트, 그리고 반대 의견이 나왔을 때 그것을 방어가 아니라 수정으로 받는 절차를 정리합니다. 가장 불편하고 가장 값싼 검증 도구입니다.

참고 문헌

1. Douglas Hubbard, How to Measure Anything (2014) — 측정 불가로 보이는 대상의 불확실성 축소 기법

2. Karl Popper, The Logic of Scientific Discovery (1959) — 반증 가능성을 가설의 성립 요건으로 제시

3. Eric Ries, The Lean Startup (2011) — 최소 기능 검증과 측정·학습 순환 구조

4. Daniel Kahneman, Thinking, Fast and Slow (2011) — 확증 편향과 사후 설명 경향에 관한 실험 근거

5. McKinsey & Company, "Decision Making in Uncertain Times" (2023) — 불완전 정보 환경에서의 의사결정 지연 비용

6. Anthropic, Claude for Hypothesis Testing (2025, claude.ai/docs) — 가설 분해와 반증 조건 설계 활용 사례

✦ ✦ ✦

이 시리즈는 Claude와 함께 세계를 읽고, 개인의 생존 전략을 설계하는 25편의 여정입니다.

① 구독을 위한 팔로우를 하시고 난 후 댓글, 하단에 ② 응원해 주시고, ③ 개인 메일을 남겨 주시면 클로드 글쓰기의 최고 전문가 마스터 시리즈와 메타프롬프트 자동화 생성기를 별도로 보내 드리겠습니다.