조사하지 말고
'검증 가능한 근거'를 찾아라

AI에게 답을 묻기 전에, 문제를 다시 보라 【11편】

— PART 3. AI를 검색창이 아니라 문제해결팀으로 만들어라 —

"모든 사람은 자기 의견을 가질 권리가 있다. 그러나 자기만의 사실을 가질 권리는 없다."

— 대니얼 패트릭 모이니핸 (Daniel Patrick Moynihan)

회의 도중에 보고서가 무너졌습니다

한 기획 담당자가 임원회의에서 시장 진출 제안을 발표하고 있었습니다.

자료는 충실했습니다. 시장 규모, 성장률, 경쟁 구도, 진입 장벽까지 빠짐없이 들어 있었습니다.

발표가 끝나갈 무렵, 한 임원이 슬라이드 한 장을 가리키며 물었습니다.

"이 성장률 17퍼센트, 어디서 나온 숫자입니까?"

담당자가 답했습니다. "업계 리포트에 있었습니다."

"어느 리포트요?"

"검색해서 찾은 자료인데... 정확한 출처는 다시 확인해 보겠습니다."

그 순간 회의의 성격이 바뀌었습니다.

나머지 숫자들에 대해서도 같은 질문이 이어졌습니다. 확실하게 답할 수 있는 것이 절반도 되지 않았습니다. 안건은 보류됐습니다.

나중에 확인해 보니 그 17퍼센트는 실제로 존재하는 수치였습니다. 다만 3년 전 자료였고, 대상 시장도 우리가 보려던 곳과 달랐습니다.

자료가 없어서 무너지는 경우는 드뭅니다. 대부분은 출처를 확인하지 않아서 무너집니다.

1. 조사와 근거 확보는 다른 일입니다

AI가 등장하면서 조사는 놀랍도록 쉬워졌습니다. 몇 초 만에 정리된 답이 나옵니다.

그런데 여기서 함정이 생깁니다.

조사가 쉬워질수록 검증은 어려워집니다

정리된 형태로 받기 때문입니다

직접 자료를 찾으면 어디서 왔는지 알 수 있습니다. 그런데 요약된 답으로 받으면 그 숫자가 어느 조사에서 나왔는지, 언제 것인지가 보이지 않습니다.

여러 출처가 섞여 있습니다

한 문단 안에 A기관 통계, B사 추정치, C 기사의 인용이 함께 들어 있을 수 있습니다. 매끄럽게 읽히기 때문에 구분이 안 됩니다.

확신의 어조로 전달됩니다

불확실한 추정치도 확정된 사실과 같은 어조로 나옵니다. 7편에서 다룬 사실·해석·가정 구분이 여기서도 필요합니다.

그래서 목표를 바꿔야 합니다

"자료를 찾는다"가 아니라 "인용해도 되는 근거를 확보한다"로.

이 차이는 작업 방식을 바꿉니다. 답을 받고 끝내는 대신, 그 답의 뿌리를 따라가게 됩니다.

2. 모든 출처가 같은 무게를 갖지는 않습니다

출처가 있다고 다 쓸 수 있는 것은 아닙니다. 등급을 나눠 두면 판단이 빨라집니다.

출처 신뢰 등급

네 번째 열이 중요합니다. A등급이라도 확인할 것이 있습니다. 공시 자료도 기준 시점과 집계 범위를 봐야 합니다.

C등급을 다루는 법

가장 자주 마주치는 등급입니다

실무에서 접하는 자료의 대부분이 C등급입니다. 언론 기사, 컨설팅 보고서, 업계 분석. 이것들은 그 자체로 인용하지 말고 원 출처를 찾아야 합니다.

작성 주체의 이해관계를 보십시오

시장 성장률을 발표한 곳이 그 시장에 설루션을 파는 회사라면, 숫자가 높게 나올 이유가 있습니다. 틀렸다는 뜻이 아니라 감안하고 읽어야 한다는 뜻입니다.

D등급도 쓸모가 있습니다

인용은 안 되지만 단서는 됩니다

커뮤니티 글이나 블로그에서 현장 감각을 얻을 수 있습니다. 다만 그것을 근거로 쓰지 말고, 확인해 볼 방향을 잡는 데만 쓰십시오.

3. 원 출처까지 따라가 보겠습니다

오프닝의 17퍼센트를 실제로 추적해 보겠습니다.

처음 본 것

AI 답변: "해당 시장은 연평균 17퍼센트 성장 중입니다"

1차 확인

인용된 곳: 경제지 기사 (2024년 3월)

2차 확인

기사가 인용한 곳: 해외 리서치사 보고서

3차 확인

보고서 원문: 2022년 조사, 북미 시장 기준

결론

우리가 보려던 국내 시장과 무관. 인용 불가

추적에 걸린 시간

20분이었습니다

세 단계를 따라가는 데 20분이 걸렸습니다. 그 20분을 쓰지 않아서 회의 안건이 보류됐고, 재작성에 일주일이 들었습니다.

추적이 항상 필요한 것은 아닙니다

판단 기준은 '이 숫자가 결정을 바꾸는가'입니다

배경 설명용 수치는 대략적이어도 됩니다. 그런데 투자 여부나 사업 방향을 가르는 숫자라면 반드시 원 출처까지 가야 합니다.

결정을 바꾸는 숫자는 반드시 뿌리를 확인하십시오.

4. 숫자를 볼 때 확인하는 다섯 가지

출처를 찾았다고 끝이 아닙니다. 그 숫자가 무엇을 재고 있는지 봐야 합니다.

숫자 점검 다섯 항목

가장 자주 걸리는 것은 범위입니다

같은 시장이라는 이름 아래 다른 것을 재고 있습니다

한 자료는 완제품만, 다른 자료는 부품까지 포함합니다. 한 자료는 국내만, 다른 자료는 수출까지. 두 숫자를 나란히 놓고 비교하면 엉뚱한 결론이 나옵니다.

두 자료의 숫자가 다를 때

어느 쪽이 맞는지 고르지 마십시오

먼저 왜 다른지를 확인해야 합니다. 대개 시점이 다르거나 범위가 다릅니다. 이유를 찾으면 둘 다 맞는 경우가 많습니다.

이유를 못 찾으면 둘 다 표시하십시오

보고서에 "A기관 12퍼센트, B기관 18퍼센트로 차이가 있으며 조사 범위 차이로 추정됨"이라고 쓰는 것이 하나만 골라 쓰는 것보다 훨씬 신뢰를 얻습니다.

5. 오늘 쓸 수 있는 근거 확보 프롬프트

이번 편의 실전 결과물은 출처가 붙은 근거 목록입니다.

검증 가능한 근거 요청 프롬프트

[C] 저는 [업종] 기업에서 [직무]를 담당하고 있습니다.

[주제]에 대한 시장 자료가 필요합니다.

이 자료는 임원 보고에 사용될 예정이며,

출처를 질문받을 가능성이 높습니다.

[R] 당신은 리서치 검증 전문가입니다.

[E] 아래 형식으로 정리해 주십시오.

각 항목마다:

- 수치

- 출처 기관명

- 조사 시점

- 조사 대상 범위

- 원 출처인지 2차 인용인지 표시

[T] 다음을 반드시 지켜 주십시오.

- 원 출처를 확인할 수 없는 수치는 '출처 미확인'으로 표시

- 추정치와 실측치를 구분

- 자료 간 수치가 다르면 모두 제시하고 차이 원인 추정

- 제가 인용하면 위험한 항목이 있다면 경고해 주십시오

출처 추적 프롬프트

이미 받은 자료를 검증할 때

아래 내용의 출처를 추적해 주십시오.

[검증할 문장 또는 수치]

① 이 수치가 처음 발표된 곳은 어디입니까

② 제가 본 자료는 원 출처입니까, 인용입니까

③ 인용이라면 몇 단계를 거쳤습니까

④ 원 출처의 조사 시점과 대상 범위는 무엇입니까

⑤ 인용 과정에서 맥락이 달라진 부분이 있습니까

확인이 불가능한 단계가 있다면 어디서 끊기는지 알려 주십시오.

반대 자료 탐색 프롬프트

같은 방향 자료만 모이고 있다면

제가 모은 자료가 모두 같은 방향을 가리키고 있습니다.

반대 관점의 자료를 찾아 주십시오.

제 잠정 결론: [결론]

제가 모은 근거: [요약]

① 이 결론과 상반되는 데이터나 사례가 있습니까

② 이 시장을 비관적으로 보는 분석이 있다면 무엇입니까

③ 제 자료들의 공통된 출처나 이해관계가 있습니까

반대 자료를 찾지 못했다면, 못 찾았다고 말씀해 주십시오.

억지로 만들지는 마십시오.

세 번째 프롬프트의 마지막 문장이 중요합니다.

반대 자료가 없는 것과 못 찾은 것은 다릅니다.

6. 찾는 순간에 기록하십시오

가장 흔한 실수는 나중에 정리하겠다고 미루는 것입니다.

나중에는 못 찾습니다

일주일 뒤 기억나지 않습니다

자료를 볼 때는 어디서 봤는지 기억할 것 같습니다. 그런데 보고서를 쓰는 시점에는 대부분 기억나지 않습니다. 그리고 다시 검색해도 같은 자료가 나오지 않습니다.

최소 기록 네 줄

수치·출처·시점·범위

이 네 가지만 그때그때 메모해 두면 됩니다. 링크까지 넣으면 더 좋습니다. 20초면 됩니다.

[수치] 국내 시장 규모 1조 2천억 원

[출처] 한국 OO협회 2025 산업통계

[시점] 2024년 실적 기준 (2025년 6월 발표)

[범위] 국내 매출만, 수출 제외

보고서에 남기는 방식

본문이 아니라 각주나 부록으로

본문에 출처를 길게 쓰면 읽기 어려워집니다. 각주나 마지막 페이지에 근거 목록을 붙이십시오. 질문이 나왔을 때 바로 펼칠 수 있습니다.

미확인 항목도 표시하십시오

확인 못 한 수치를 숨기지 마십시오. "확인 필요"라고 표시된 보고서가, 전부 확실한 척하는 보고서보다 신뢰를 얻습니다.

7. 숫자 하나를 끝까지 확인한 사람

몇 해 전, 한 지역 의료재단에서 있었던 일입니다.

재단은 지역 노인들을 위한 돌봄 사업을 준비하고 있었습니다. 예산이 한정돼 있어서 대상을 좁혀야 했습니다.

기획안에 이런 문장이 있었습니다. "해당 지역 독거노인 비율은 전국 평균 수준."

이 문장 때문에 사업 대상이 다른 지역으로 옮겨질 뻔했습니다. 더 시급해 보이는 곳이 있었기 때문입니다.

담당 실무자는 서른 살이었습니다. 입사 2년 차였습니다.

그 사람이 회의에서 손을 들었습니다. "그 통계, 제가 한 번 확인해 봐도 될까요?"

확인해 보니 그 수치는 시 단위 평균이었습니다. 시 전체로 보면 평균이었지만,

사업 대상으로 검토하던 동 지역만 따로 보면 전국 평균의 두 배가 넘었습니다.

범위가 달랐던 것입니다.

그 사람이 찾아낸 것은 여기서 끝나지 않았습니다. 통계청 자료를 더 들여다보니, 그 지역 독거노인 중 상당수가 연립주택 밀집 지역에 모여 있었습니다. 방문 돌봄의 이동 효율이 가장 높은 조건이었습니다.

사업은 원래 지역에서 진행됐습니다.

2년 뒤, 그 사업은 다른 지자체가 벤치마킹하는 사례가 됐습니다.

제가 이 이야기를 전해 들으며 오래 생각한 부분이 있습니다.

입사 2년 차가 회의에서 "그 통계, 제가 확인해 봐도 될까요"라고 말하는 데는 용기가 필요합니다. 선배들이 이미 검토한 자료였기 때문입니다.

나중에 그 사람이 이렇게 말했다고 합니다.

"틀렸다고 생각한 게 아니었어요. 그냥 어디서 나온 숫자인지 알고 싶었어요."

확인한다는 것은 누군가를 의심하는 일이 아닙니다.

숫자 뒤에 있는 사람들을 제대로 보려는 일입니다.

그 20분의 확인이, 그 동네 노인들의 다음 2년을 바꿨습니다.

"그냥 어디서 나온 숫자인지 알고 싶었어요." 이 마음이 있는 사람이 결국 더 나은 결정을 만듭니다.

다음 보고서에 한 줄만 추가해 보십시오

모든 수치를 추적하실 필요 없습니다.

다음 보고서를 쓸 때, 가장 중요한 숫자 하나만 고르십시오. 그 결정을 가르는 숫자 하나.

그 하나만 원 출처까지 따라가 보십시오. 대개 20분이면 됩니다.

그리고 보고서 마지막에 네 줄을 붙이십시오.

수치 · 출처 · 시점 · 범위

이 네 줄이 있으면 "어디서 나온 숫자입니까"라는 질문에 3초 만에 답할 수 있습니다.

그리고 그 3초가 여러분의 다음 안건을 통과시킵니다.

모든 사람은 자기 의견을 가질 권리가 있습니다. 그러나 자기만의 사실을 가질 권리는 없습니다.

◀ 전편 돌아보기

10편 「좋은 프롬프트보다 먼저 좋은 맥락을 만들어라」에서는 신입에게도 하지 않을 지시를 AI에게 하고 있다는 자각에서 출발했습니다. 맥락 깊이 4단계와 CREST 다섯 요소를 카드로 정리하고, 결과가 마음에 안 들 때 어느 칸을 고칠지 알려주는 증상별 처방표를 제시했습니다. 특수학급 선생님이 학생의 이탈을 '처리 용량 초과 신호'로 다시 보게 된 이야기로 마무리했습니다.

▶ 다음 편 예고

다음 12편 「회사 안의 자료와 밖의 정보를 연결하라」입니다. 외부 리서치와 내부 문서를 함께 읽는 방법을 다룹니다. 우리 회의록·메일·데이터 안에 이미 있는 답을 찾아내고, 그것을 외부 기준과 대조해 판단하는 절차를 실전 사례와 함께 정리합니다.

참고 문헌

1. Daniel Patrick Moynihan — '자기만의 사실을 가질 권리는 없다' 인용 원전

2. Darrell Huff, How to Lie with Statistics (1954) — 통계 오용의 전형적 패턴

3. Tim Harford, The Data Detective (2021) — 숫자를 의심하고 검증하는 열 가지 원칙

4. Nate Silver, The Signal and the Noise (2012) — 신호와 소음을 구분하는 방법론

5. 한국언론진흥재단, 팩트체크 가이드라인 (2024) — 출처 추적 및 2차 인용 검증 절차

6. Anthropic, Responsible Use of AI Outputs (2025, claude.ai/docs) — AI 생성 정보의 검증 필요성과 한계

✦ ✦ ✦

이 시리즈는 Claude와 함께 세계를 읽고, 개인의 생존 전략을 설계하는 25편의 여정입니다.

① 구독을 위한 팔로우를 하시고 난 후 댓글, 하단에 ② 응원해 주시고, ③ 개인 메일을 남겨 주시면 클로드 글쓰기의 최고 전문가 마스터 시리즈와 메타프롬프트 자동화 생성기를 별도로 보내 드리겠습니다.