AI에게 답을 묻기 전에, 문제를 다시 보라 【16편】

— PART 4. 가설을 세우고 검증하라 —

"숫자는 고문하면 무엇이든 자백한다. 중요한 것은 그 자백이 어디서 왔는 지다."

— 로널드 코스 (Ronald Coase)

그 보고서는 존재하지 않았습니다

몇 해 전, 제가 쓴 보고서 3페이지에 이런 문장이 있었습니다.
국내 중견기업의 73%가 향후 3년 내 인사제도 전면 개편을 검토하고 있는 것으로 나타났다.

— ○○경영연구원, 「중견기업 인사제도 실태조사」

숫자가 있었습니다. 기관명이 있었습니다. 조사 제목까지 있었습니다.

믿을 만했습니다. 저도 믿었습니다.

그런데 보고 일주일 뒤, 한 임원이 물었습니다. "그 73% 자료 좀 보내 주세요. 다른 데도 쓰려고요."

그때부터 추적이 시작됐습니다. 기록을 그대로 옮기겠습니다.

1단계 조사 제목으로 검색

결과 같은 제목의 보고서를 찾을 수 없음. 비슷한 제목 두 건은 다른 기관 발행

판정 보류 — 제목이 정확하지 않을 수 있음

2단계 기관명으로 검색

결과 유사한 명칭의 연구기관 세 곳 확인. 세 곳의 발행물 목록에 해당 조사 없음

판정 의심 — 기관과 문서가 연결되지 않음

3단계 가장 유사한 기관에 직접 문의

결과 담당자 답변: "저희는 그 주제로 실태조사를 한 적이 없습니다"

판정 확정 — 해당 보고서는 존재하지 않음

4단계 AI에 출처 재확인 요청

결과 "해당 보고서는 실재하지 않을 수 있으며 확인이 필요합니다"라는 답변

판정 처음부터 물었어야 할 질문

네 단계. 걸린 시간은 한 시간 반이었습니다.

문제는 그 한 시간 반을 보고서를 쓸 때 쓰지 않았다는 것입니다.

그 문장은 이미 임원 보고에 두 번 들어갔습니다. 그중 한 번은 외부 제안 자료에 그대로 실렸습니다.

저는 존재하지 않는 숫자를 근거로 설득을 했습니다.

그리고 더 불편한 사실이 있습니다.

73%라는 숫자는 실제와 크게 다르지 않을 수도 있습니다. 중견기업의 인사제도 개편 수요가 높다는 방향 자체는 현장에서 체감되는 이야기입니다.

문제는 그 숫자가 맞았는지 틀렸는지를 제가 모른다는 것입니다.

맞았다면 운이 좋았던 것입니다. 운으로 넘어간 보고는 반드시 다시 돌아옵니다.

AI가 만든 가장 위험한 문장은 틀린 문장이 아닙니다. 확인되지 않았는데 확인된 것처럼 생긴 문장입니다.

1. 없는 출처가 생기는 이유

이 현상을 이해하면 대응이 쉬워집니다. 세 가지가 겹쳐서 일어납니다.

첫째 — 형태를 배웠기 때문입니다

AI는 수많은 문서를 읽었습니다. 그 문서들에는 "○○연구원, 2024, 실태조사" 같은 인용 형식이 수없이 들어 있습니다.

그래서 AI는 출처가 어떻게 생겼는지를 정확히 알고 있습니다. 그 형태를 만들어 내는 일은 매우 잘합니다.

형태를 아는 것과 그 문서가 실제로 있는 것은 다릅니다.

둘째 — 빈칸을 비워 두지 않도록 배웠기 때문입니다

"잘 모르겠습니다"보다 "○○에 따르면 73%"가 더 도움이 되는 답처럼 보입니다. 질문에 답하려는 성질이 빈칸을 메우는 방향으로 작동합니다.

셋째 — 우리가 숫자를 요구하기 때문입니다

이 부분은 우리 바카라임입니다. "구체적인 수치를 넣어 달라"라고 요청하면 수치가 나옵니다. "출처를 붙여 달라"라고 하면 출처가 나옵니다.

요청한 대로 나온 것입니다. 그 요청에 "확인된 것만"이라는 조건이 빠져 있었을 뿐입니다.

출처를 지어내는 AI를 고치려 하기보다, 확인되지 않은 것을 확인되지 않았다고 말하게 만드는 쪽이 빠릅니다.

2. 모든 근거에 등급을 매기십시오

실무에서 가장 효과가 컸던 습관은 단순했습니다. 근거를 세 등급으로 나누고, 등급별로 쓸 수 있는 자리를 정해 둔 것입니다.

핵심은 3급의 처리 방식입니다. 3급 근거는 버리는 것이 아니라, 숫자를 지우고 방향만 남깁니다.

"중견기업 73%가 개편을 검토 중"은 3급입니다. 이것을 "중견기업의 인사제도 개편 수요가 높다는 지적이 있다"로 바꾸면 쓸 수 있습니다.

숫자를 지우는 것이 손해처럼 느껴지지만, 지우지 않으면 문서 전체가 위험해집니다.

문서에 들어간 숫자 하나가 틀리면, 읽는 사람은 나머지 모든 숫자를 의심합니다. 저는 그 자리에 앉아 본 적이 있습니다.

3. 출처를 물었을 때의 답변을 읽는 법

"출처가 어디입니까"라고 물으면 답이 돌아옵니다. 그 답의 모양을 보면 신뢰도를 거의 바로 판정할 수 있습니다.

답변 유형별 판정

네 번째 줄을 특히 기억하십시오. 같은 질문을 두 번 했을 때 출처가 달라지면,
그 숫자는 전체를 폐기하는 것이 맞습니다.

이것은 아주 간단한 검사입니다. 10초면 됩니다. 같은 질문을 두 번 하십시오.

"그 숫자의 출처를 다시 한번 정확히 알려 주십시오."

두 번째 답이 첫 번째와 다르면, 거기서 멈추면 됩니다.

4. 문서 제출 전 7가지 점검

보고서나 제안서를 올리기 전에 돌려 보는 목록입니다. 전부 확인하는 데 20분이면 충분합니다.

□ 문서에 들어간 숫자를 전부 표시했는가 — 표시하지 않으면 빠뜨립니다

□ 각 숫자에 1급·2급·3급 등급을 붙였는가 — 3급이 본문에 있으면 수정

□ 1급 숫자의 원본 문서를 실제로 열어 봤는가 — 제목만 보고 넘기지 않기

□ 그 원본의 발행 연도가 3년 이내인가 — 오래된 자료는 현재형으로 쓰지 않기

□ 원본의 조사 대상이 우리 상황과 같은가 — 대기업 자료를 중소기업에 적용하지 않기

□ 같은 주제의 반대 결론 자료를 한 건이라도 찾아봤는가 — 유리한 것만 모았는지 확인

□ 질문을 받으면 30초 안에 원본을 펼칠 수 있는가 — 펼칠 수 없으면 아직 준비 안 된 것

마지막 항목이 가장 실용적인 기준입니다. 회의에서 "그 자료 어디 있습니까"라는 질문은 반드시 나옵니다.

그 질문에 "찾아서 보내 드리겠습니다"라고 답하는 순간, 그 안건은 대개 다음 회의로 넘어갑니다.

근거를 확보한다는 것은 자료를 가지고 있다는 뜻이 아닙니다. 질문받은 그 자리에서 펼칠 수 있다는 뜻입니다.

5. 출처를 분리해 내는 프롬프트 세 가지

프롬프트 1 — 확인 가능성 분리

아래 주제에 대해 설명하되, 내용을 세 묶음으로 분리해 제시하라.

[확인 가능] 특정 기관의 공개 문서로 확인되는 내용

→ 기관명·문서명·발행연도를 함께 적어라

[일반적 통설] 널리 통용되지만 단일 출처를 지목할 수 없는 내용

→ 숫자를 쓰지 말고 방향만 적어라

[추정] 네가 추론한 내용

→ 추론의 근거가 된 전제를 적어라

주제: [질문]

확실하지 않은 것을 확인 가능으로 분류하지 마라.

출처가 떠오르지 않으면 통설이나 추정으로 내려라.

프롬프트 2 — 숫자 사용 금지 조건

다음 조건을 지켜 답하라.

1. 출처를 지목할 수 없는 숫자는 쓰지 마라.

퍼센트, 금액, 건수 모두 해당한다.

2. 숫자 대신 방향과 정도로 표현하라.

(늘고 있다 / 상당수 / 일부에서)

3. 숫자가 꼭 필요한 지점에는 이렇게 표시하라.

[확인 필요: 어떤 자료를 찾아야 하는지]

질문: [질문]

프롬프트 3 — 반대 자료 동시 요구

주장: [내가 쓰려는 주장]

두 가지를 동시에 제시하라.

A. 이 주장을 지지하는 자료

B. 이 주장과 반대되는 결론의 자료

A와 B의 개수를 같게 하라. B를 찾지 못했다면

찾지 못했다고 적고, 그 이유를 밝혀라.

마지막에 적어라. B의 자료들이 공통적으로 지적하는

내 주장의 약한 지점은 무엇인가.

두 번째 프롬프트를 가장 자주 씁니다. 숫자가 빠진 초안은 밋밋해 보이지만, 그 밋밋한 초안이 안전합니다.

숫자는 나중에 제가 직접 확인해서 넣습니다. 그 순서가 맞습니다.

6. 출처가 있어도 틀리는 세 경우

출처를 확인하면 끝일 것 같지만, 아닙니다. 출처가 실재하는데도 틀린 결론으로 이어지는 경우가 있습니다.

⚠ 시점 오류 — 과거 자료를 현재형으로 쓰는 것

2019년 조사 결과를 "현재 ○○%"로 인용하면 사실이 아닙니다.

그 사이 제도와 시장이 바뀌었을 가능성이 큽니다.

구분법: 문장에 조사 시점이 함께 적혀 있는가.

⚠ 대상 오류 — 다른 집단의 숫자를 가져오는 것

대기업 1,000곳 조사 결과를 50인 기업 판단에 쓰는 경우.

숫자는 진짜지만, 그 숫자가 설명하는 대상이 우리가 아닙니다.

구분법: 원본의 조사 대상 규모와 업종을 확인했는가.

⚠ 선별 오류 — 유리한 자료만 모으는 것

같은 주제에 반대 결론 자료가 있는데 지지 자료만 인용함.

개별 인용은 모두 사실인데 전체 결론이 왜곡됩니다.

구분법: 반대 결론 자료를 찾는 데 쓴 시간이 있는가.

세 번째가 가장 흔하고 가장 잡기 어렵습니다. 의도적인 왜곡이 아니라, 내 주장을 뒷받침하는 자료만 눈에 들어오기 때문입니다.

15편에서 다룬 반대 역할이 여기서 다시 쓰입니다. 자료를 모으는 단계에서부터 반대 자료를 같은 개수로 모으면, 선별 오류는 상당 부분 막힙니다.

한 줄의 숫자를 따라간 교사

몇 해 전, 어느 중학교에서 있었던 일입니다.

교육청에서 공문이 내려왔습니다. 지역 학교별 독서 지표 분석 자료였습니다. 그 표에 그 학교 이름이 있었고, 옆에 숫자가 하나 적혀 있었습니다.

학생 1인당 연간 독서량, 지역 평균의 54%.

표 아래에는 이런 문구가 있었습니다. "독서 지표 하위 학교에 대해 도서 예산 재배분을 검토함."

회의에서 분위기는 무거웠습니다. 숫자는 명확했고, 반박할 말이 없었습니다. 몇 사람은 "요즘 아이들이 바카라을 안 읽으니"라고 했습니다.

국어 교사 한 분이 손을 들었습니다. 질문은 하나였습니다.

"그 숫자는 무엇을 세서 나온 숫자입니까?"

아무도 답하지 못했습니다. 공문에는 결과만 있었고 산출 방식이 없었습니다.

그분은 그 숫자를 따라가기 시작했습니다. 추적은 사흘이 걸렸습니다.

• 교육청 담당자에게 산출 기준을 문의했습니다.

• 답은 이것이었습니다. 학교 도서관 전산 대출 기록 건수.

• 그 학교는 3년 전부터 학급문고 중심으로 운영하고 있었습니다.

• 교실마다 바카라장을 두고, 아이들이 자유롭게 꺼내 읽고 제자리에 두는 방식이었습니다.

• 대출 기록이 남지 않는 방식이었습니다.

그분은 2주 동안 각 학급 담임들과 함께 실제 이용 현황을 세었습니다. 학급문고 바카라별 손때, 반납함 기록, 교사 관찰 일지를 모았습니다.

결과는 반대였습니다. 그 학교의 실제 독서량은 지역 평균보다 높았습니다.

그분은 그 자료를 교육청에 제출했습니다. 예산 재배분 검토는 철회됐습니다.

나중에 동료가 물었다고 합니다. 사흘을 들여서 숫자 하나를 왜 그렇게 따라갔느냐고.

그분이 답했습니다.

"저는 우리 아이들이 바카라을 안 읽는다는 말을, 그 아이들이 듣게 하고 싶지 않았습니다."

숫자는 틀리지 않았습니다. 대출 기록은 정말 적었습니다.

틀린 것은 그 숫자가 무엇을 뜻하는지에 대한 해석이었습니다. 그리고 그 해석은 아이들에 대한 평가로 번지고 있었습니다.

근거를 따라가는 일은 정확성을 위한 작업처럼 보입니다. 그런데 때로 그 일은 누군가를 지키는 일이 됩니다.

이듬해 그 교육청의 독서 지표 양식이 바뀌었습니다. 학급문고 이용 항목이 추가됐습니다.

한 학교의 한 교사가 숫자 하나를 사흘간 따라간 결과였습니다.

출처를 확인하는 일은 내 문서를 지키는 일에서 시작하지만, 끝에서는 그 숫자에 이름이 적힌 사람들을 지키는 일이 됩니다.

오늘 할 수 있는 한 가지

지금 작업 중인 문서를 여십시오. 그리고 숫자가 들어간 문장만 찾아보십시오.

그 숫자 하나하나에 이 질문을 해 보십시오.

"이 숫자의 원본 문서를, 내가 직접 열어 봤는가."

열어 본 것은 그대로 두십시오.

열어 보지 않은 것은 두 가지 중 하나를 하십시오. 지금 열어 보거나, 숫자를 지우고 방향만 남기십시오.

숫자 하나를 지우는 일은 문서를 약하게 만드는 것 같지만, 실제로는 문서 전체를 지키는 일입니다.

확인되지 않은 숫자 하나가 무너지면, 읽는 사람은 나머지 전부를 의심합니다.

근거를 확보하는 일은 자료를 모으는 일이 아닙니다. 내가 모르는 것을 모른다고 적을 수 있는 용기입니다.

◀ 전편 돌아보기

15편 「AI에게 반대하게 하십시오」에서는 7분 간격으로 정반대 두 안을 물었더니 같은 AI가 둘 다 칭찬한 대화 기록으로 시작했습니다. AI가 반대하지 않는 구조적 이유, 반대 역할 네 가지, 공격 강도 3단계, 반대를 받을 때의 방어 반응 다섯 패턴을 다뤘습니다. 야간 교대 개편에 혼자 반대해 새벽 네 시의 어르신들을 지킨 요양보호사의 이야기와, 그 요양원이 반대 역할 좌석을 「새벽 네 시의 자리」라 부르게 된 이야기로 마무리했습니다.

▶ 다음 편 예고

다음 17편 「해결바카라을 고르는 자리에 감으로 앉지 마십시오」에서는 PART 4의 마지막으로 해결바카라 평가 매트릭스를 다룹니다. 세 가지 안 중 하나를 고를 때 무엇을 기준으로 삼아야 하는지, 효과와 비용 말고 반드시 들어가야 하는 네 번째 축은 무엇인지, 그리고 평가 결과가 내 직감과 다를 때 어느 쪽을 따라야 하는지를 정리합니다.

참고 문헌

1. Ronald Coase, Essays on Economics and Economists (1994) — 자료 해석과 인용의 바카라임에 관한 논의

2. Darrell Huff, How to Lie with Statistics (1954) — 참인 숫자가 거짓 결론으로 이어지는 구조

3. Tim Harford, How to Make the World Add Up (2020) — 통계를 접할 때의 열 가지 점검 원칙

4. Stuart Ritchie, Science Fictions (2020) — 출처 추적이 실패하는 지점과 재인용의 누적 오류

5. 한국언론진흥재단, 「인용 정확성 실태와 개선 방향」(2024) — 2차 인용 과정의 변형 사례 분석

6. Anthropic, Claude Model Limitations and Citation Practices (2025, claude.ai/docs) |— 출처 생성 현상과 확인 절차 권고

✦ ✦ ✦

이 시리즈는 Claude와 함께 세계를 읽고, 개인의 생존 전략을 설계하는 25편의 여정입니다.

① 구독을 위한 팔로우를 하시고 난 후 댓글, 하단에 ② 응원해 주시고, ③ 개인 메일을 남겨 주시면 클로드 글쓰기의 최고 전문가 마스터 시리즈와 메타프롬프트 자동화 생성기를 별도로 보내 드리겠습니다.