AI가 작성한 보고서 초안에 출처가 붙어 있습니다. 기관 이름과 문서 제목이 있고, 원문으로 연결되는 링크도 있습니다. 근거 없이 설명한 답변보다 믿음이 갑니다.
링크를 눌러봅니다. 실제 문서가 열립니다. 제목도 답변에 적힌 것과 같습니다.
여기까지 확인하면 검토를 마쳤다는 기분이 들 수 있습니다. 하지만 한 가지 질문이 남습니다.
이 문서는 답변의 어떤 주장을 뒷받침하고 있을까요.
출처가 존재한다는 사실과 그 출처가 답변을 지지한다는 사실은 구분해야 합니다. 원문이 실제로 있어도 AI가 내용을 잘못 해석하거나, 자료가 설명하는 범위를 넘어 결론을 붙였을 수 있습니다.
지난 글에서는 원하는 결과의 기준을 요청에 담는 방법을 살펴봤습니다. 이번에는 그 결과를 받아서 사용할 때, 무엇을 어떻게 확인해야 하는지 이야기해 보겠습니다.
가상의 보고서 초안에 다음 문장이 있다고 해보겠습니다.
지난해 매출과 이익이 각각 20% 증가했으며, 광고 확대가 성장을 이끌었다.
문장 끝에는 실적 자료의 링크가 붙어 있습니다. 원문을 열어 보니 매출 표가 실제로 있습니다. 숫자도 답변과 관련 있어 보입니다.
그렇다면 문장 전체를 사용해도 될까요.
이 문장에는 적어도 세 가지 주장이 들어 있습니다. 매출이 20% 늘었다는 것, 이익도 20% 늘었다는 것, 광고 확대가 성장의 원인이었다는 것입니다. 각각 필요한 근거가 다릅니다.
매출 표가 첫 번째 주장을 뒷받침하더라도 이익과 성장 원인까지 설명해 주지는 않을 수 있습니다. 링크 하나가 문장 끝에 붙어 있다는 이유로 모든 내용이 확인된 것은 아닙니다.
그래서 검증은 답변 전체를 한 번에 믿을지 결정하는 일보다, 문장 안의 주장을 나누어 확인하는 일에 가깝습니다.
가상의 원자료에 다음 두 값이 있다고 가정하겠습니다.
2024년 매출: 100
2025년 매출: 120
단위와 집계 범위가 같다면 매출 증가율은 직접 계산할 수 있습니다. 늘어난 값 20을 이전 값 100으로 나누면 20%입니다.
여기까지는 확인할 수 있습니다.
그런데 자료에 이익 수치가 없다면 이익 증가율은 알 수 없습니다. 광고비나 성장 원인을 분석한 자료가 없다면 광고가 성장을 이끌었다는 결론도 판단하기 어렵습니다.
이 경우 문장을 다음처럼 고칠 수 있습니다.
제공된 자료에서 매출은 전년 대비 20% 증가했다. 이익 변화와 성장 원인은 추가 자료가 필요하다.
처음보다 설명이 짧아졌습니다. 대신 어디까지 확인했는지 분명해졌습니다.
자료에 없는 내용을 빼는 과정에서 보고서가 빈약해 보일까 걱정할 수 있습니다. 그러나 근거가 부족한 부분을 남겨 두면 다음에 무엇을 조사해야 하는지 알 수 있습니다. 검증되지 않은 설명으로 빈칸을 채우면 그 질문 자체가 사라집니다.
숫자를 그대로 옮겼다고 해석까지 정확한 것은 아닙니다. 단위와 분모, 비교 기준을 함께 확인해야 합니다.
가령 만족도가 50%에서 60%로 올랐다고 해보겠습니다. 두 값의 차이는 10퍼센트 포인트입니다. 처음 값과 비교한 상대적인 증가율은 20%입니다.
“만족도가 10% 늘었다”라고만 쓰면 어떤 계산을 뜻하는지 모호해집니다. 같은 원자료를 보고도 독자가 떠올리는 변화의 크기가 달라질 수 있습니다.
매출처럼 보이는 숫자에도 확인할 조건이 있습니다. 월별 값과 연간 값을 비교하지 않았는지, 통화 단위가 같은지, 전체 사업과 일부 사업의 수치를 섞지 않았는지 살펴야 합니다.
계산기에서 답이 맞게 나오는 것과 비교 자체가 타당한 것도 구분해야 합니다. 서로 다른 대상을 나란히 놓고 계산하면 산술은 정확해도 결론은 잘못될 수 있습니다.
AI가 수치를 제시했을 때 숫자 옆의 작은 글씨까지 읽어야 하는 이유입니다. 표의 제목과 주석에 중요한 조건이 들어 있을 수 있습니다.
원문에 정말 같은 내용이 있는데도 답변이 현재 질문에 맞지 않을 때가 있습니다.
작년에 시행한 규정을 올해도 유효한 기준처럼 설명했을 수 있습니다. 특정 지역의 조사 결과를 전국의 상황으로 넓혔을 수도 있습니다. 일부 고객에게 제공한 혜택을 모든 고객이 받을 수 있다고 정리했을 수도 있습니다.
이런 오류는 문장과 원문을 대조하는 것만으로 끝나지 않습니다. 원문이 질문의 대상과 시점에 맞는지도 확인해야 합니다.
가상의 안내 자료에 “신규 가입 고객에게 적용”이라고 적혀 있는데, AI가 “모든 고객에게 적용”이라고 썼다면 적용 대상이 달라졌습니다. 행사 기간이 끝났는데 그 조건을 생략했다면 현재 사용할 수 없는 혜택을 안내하게 됩니다.
검토할 때는 주장 옆에 짧게 적어 볼 수 있습니다.
누구에게 적용되는가.
언제 기준인가.
어떤 조건에서 성립하는가.
답을 찾을 수 없다면 문장을 확정하기 전에 자료를 더 확인해야 합니다.
같은 내용을 설명하는 웹페이지가 여러 개면 신뢰가 높아 보입니다. 다섯 개의 링크에서 같은 수치를 발견하면 서로 확인해 주는 것처럼 느껴질 수 있습니다.
그러나 모두 같은 보도자료나 조사 결과를 인용했다면 근거의 출발점은 하나일 수 있습니다. 원자료의 오류가 여러 페이지에 반복되었다면 링크가 늘어나도 문제가 해결되지는 않습니다.
그래서 출처의 개수와 근거의 독립성을 구분할 필요가 있습니다.
기사나 요약 글에서 중요한 숫자를 발견했다면 원래의 조사나 보고서까지 찾아가 보는 편이 좋습니다. 원자료에서는 조건을 붙여 설명했는데 재인용하는 과정에서 그 조건이 빠졌을 수도 있습니다.
물론 모든 주장에 대해 끝없이 출처를 추적할 수는 없습니다. 틀렸을 때 의사결정이나 외부 안내를 바꾸는 핵심 주장부터 확인하면 됩니다. 중요한 수치와 적용 조건, 인용문에 먼저 시간을 쓰는 것입니다.
답변이 의심스러우면 AI에게 다시 확인해 달라고 요청할 수 있습니다. 그 과정에서 잘못된 계산이나 모순을 발견할 수도 있습니다.
다만 같은 답을 한 번 더 받았다는 이유만으로 검증이 끝났다고 생각하기는 어렵습니다. 이전의 잘못된 전제를 그대로 유지한 채 설명만 바꿀 수 있기 때문입니다.
재검토를 요청할 때는 무엇을 확인할지 구체적으로 지정해 볼 수 있습니다.
이 문장을 개별 주장으로 나누고, 각 주장이 제공된 자료의 어느 부분에 근거하는지 표시해 주세요. 자료에서 확인되지 않는 내용은 따로 구분해 주세요.
이 요청은 검토할 대상을 정리하는 데 도움이 됩니다. 이후에는 제시된 근거 위치를 직접 열어 보고 계산을 확인합니다. AI가 만들어 준 검토표도 원문을 대신하는 증거는 아닙니다.
특히 직접 계산할 수 있는 부분은 별도로 계산해 보는 편이 명확합니다. 답변을 만드는 과정과 검산하는 과정을 나누면, 같은 설명을 반복해서 읽는 것보다 오류를 찾기 쉬울 수 있습니다.
검토를 마친 뒤에는 무엇을 확인했는지 남겨 두면 좋습니다. 복잡한 양식이 없어도 됩니다.
매출 증가율 20%: 원문 표 2의 두 값을 대조하고 계산 확인.
이익 증가율: 자료 없음. 문장에서 제외.
광고의 성장 기여: 추가 분석 필요. 결론 보류.
이 정도의 기록만 있어도 다음 사람이 검토를 이어가기 쉬워집니다. 원자료가 바뀌었을 때 어떤 문장을 다시 확인해야 하는지도 보입니다.
‘검토 완료’라는 표시 하나에는 이런 정보가 담기지 않습니다. 어느 범위까지 확인했는지 남겨야 결과물을 사용할 사람도 판단할 수 있습니다.
검증은 틀린 답을 찾아내는 일과 함께, 확인한 내용을 안심하고 사용할 수 있게 만드는 일이기도 합니다.
출처가 붙은 답변은 검토를 시작하기 좋은 형태입니다. 어디로 가서 확인할지 단서가 있기 때문입니다. 그 단서를 따라가 원문과 주장을 연결하는 과정이 필요합니다.
다음에 AI가 출처가 많은 답변을 주면, 그중 중요한 문장 하나를 골라 보세요. 그리고 링크를 열어 물어보면 좋겠습니다.
이 자료가 실제로 말하는 범위와 내가 쓰려는 문장의 범위가 같은가.
숫자가 맞는지, 대상이 같은지, 시점이 유효한지 살펴봅니다. 확인할 수 없는 부분은 표시하고, 근거가 있는 문장부터 결과물에 남깁니다.
그렇게 검토하면 답변 전체를 막연하게 믿거나 의심하는 대신, 어떤 부분을 어디까지 사용할 수 있는지 설명할 수 있게 됩니다.
다음 글에서는 결과를 받기 전으로 시선을 돌려보겠습니다. AI에게 회사 자료를 건넬 때, 어떤 정보가 필요하고 어디까지 공유할 수 있는지 살펴보겠습니다.
참고 자료