AI의 답변을 읽다가 고개를 끄덕입니다. 설명이 자연스럽고, 내용도 순서대로 정리되어 있습니다. 어려운 말에는 예시가 붙어 있고 마지막에는 요약까지 있습니다.
그런데 알고 있는 사실 하나가 눈에 걸립니다. 날짜가 다릅니다. 다시 읽어 보니 숫자도 맞지 않습니다. 출처로 적힌 문서에서는 해당 내용을 찾기 어렵습니다.
틀린 부분을 발견하고 나면 답변 전체를 다시 보게 됩니다. 방금까지 믿을 만하다고 느꼈던 이유가 무엇이었는지 생각하게 됩니다.
내용을 확인해서였을까요. 아니면 설명이 매끄러워서였을까요.
앞선 글에서는 AI가 현재 참고하는 정보인 컨텍스트를 살펴봤습니다. 이번에는 그 정보를 바탕으로 만들어진 답변을 어떻게 읽어야 하는지 이야기해 보겠습니다.
우리는 일상에서 말과 글의 형식을 보고 신뢰를 판단합니다. 설명이 구체적이고 논리가 정돈되어 있으면 내용을 잘 아는 사람이라고 느끼기 쉽습니다. 주저함 없이 숫자와 날짜를 제시하면 근거가 있을 것이라고 기대합니다.
AI의 답변을 읽을 때도 같은 습관이 작동할 수 있습니다.
그러나 언어 모델이 자연스러운 문장을 만드는 과정이 모든 주장을 외부 사실과 대조하는 절차와 같지는 않습니다. 학습한 패턴과 현재 입력을 바탕으로 내용을 생성하는 과정에서, 사실과 다르거나 제공된 근거에 없는 설명이 나올 수 있습니다.
존재하지 않는 보고서를 인용하거나, 숫자를 잘못 제시하거나, 원문에 없는 조건을 덧붙이는 경우가 여기에 해당합니다. 이런 현상을 흔히 환각이라고 부릅니다.
답변만 보고 모델 내부에서 어떤 원인으로 오류가 발생했는지 정확히 확정하기는 어렵습니다. 다만 사용자에게 중요한 사실은 분명합니다. 자연스럽게 읽힌다는 이유만으로 내용의 정확성을 판단할 수는 없습니다.
가상의 회사 규정을 하나 살펴보겠습니다.
"정규 구성원은 주 2회 원격 근무를 신청할 수 있다. 수습 구성원에 대한 적용 여부는 별도 규정을 따른다.
이 문서를 제공한 뒤 원격 근무 기준을 물었는데, AI가 다음처럼 답했다고 가정합니다."
모든 구성원은 주 3회 원격 근무를 할 수 있으며, 수습 구성원도 동일하게 적용됩니다.
답변은 간단하고 명확합니다. 하지만 원문과 비교하면 문제가 여럿 보입니다.
‘정규 구성원’이 ‘모든 구성원’으로 넓어졌습니다. ‘주 2회’가 ‘주 3회’로 바뀌었습니다. 별도 규정을 확인해야 하는 수습 구성원에게도 같은 기준이 적용된다고 단정했습니다. ‘신청할 수 있다’는 표현도 ‘할 수 있다’로 바뀌어 신청 절차의 의미가 흐려졌습니다.
이 답변을 통째로 틀렸다고 표시하는 것보다, 주장을 나누면 무엇을 확인하고 고쳐야 하는지 구체적으로 드러납니다.
횟수는 원문과 불일치합니다. 수습 구성원의 적용 여부는 제공된 문서만으로 확인할 수 없습니다. 원격 근무를 신청할 수 있다는 것이 곧바로 승인된다는 의미인지도 추가 확인이 필요합니다.
한 문장을 읽을 때도 대상, 숫자, 조건, 행동을 따로 살펴볼 이유입니다.
이 사례에서 수습 구성원은 원격 근무를 할 수 없다고 결론 내려도 될까요.
그렇게 말할 근거도 아직 없습니다. 문서에는 별도 규정을 따른다고만 적혀 있습니다. 허용될 수도 있고, 다른 조건이 붙을 수도 있습니다.
현재 자료로 확인할 수 없다는 것과 사실이 아니라는 것은 다른 상태입니다.
AI의 오류를 고치는 과정에서도 이 구분이 필요합니다. 근거 없는 긍정을 근거 없는 부정으로 바꾸면 잘못된 단정이 하나 더 생깁니다.
이 경우에는 다음처럼 답할 수 있습니다.
"제공된 문서에 따르면 정규 구성원은 주 2회 원격 근무를 신청할 수 있습니다. 수습 구성원의 적용 여부는 별도 규정을 확인해야 합니다."
처음의 답변보다 덜 시원하게 느껴질 수도 있습니다. 하지만 어떤 부분이 확인되었고 무엇이 남아 있는지 알 수 있습니다. 업무에 사용할 답변이라면 이런 경계가 중요합니다.
이번에는 AI가 문서를 정확하게 요약했다고 가정해 보겠습니다. 문서에 있는 대상과 횟수, 예외를 빠짐없이 반영했습니다.
그러면 답변을 바로 사용해도 될까요.
문서가 작년 규정이고 올해 기준이 바뀌었다면 문제가 남습니다. AI는 제공된 자료에 충실했지만, 사용자가 알고 싶었던 현재 기준에는 맞지 않을 수 있습니다.
여기서는 두 가지 질문을 나누어야 합니다.
“이 답변은 제공된 자료와 일치하는가.”
“그 자료는 지금 이 질문에 적용할 수 있는가.”
첫 번째는 답변과 근거의 관계를 살펴봅니다. 두 번째는 근거의 날짜, 대상, 범위를 확인합니다. 어느 한쪽만 검토하면 다른 쪽의 오류를 놓칠 수 있습니다.
다른 사업장의 규정을 가져와 우리 사업장에도 적용된다고 설명하거나, 일부 상품의 조건을 전체 상품으로 확대하는 경우도 비슷합니다. 원문을 정확히 옮겼더라도 적용 범위가 다르면 잘못된 안내가 됩니다.
의심스러운 답변을 받으면 AI에게 다시 묻게 됩니다.
“정말 맞나요?”
이 질문이 답변을 다시 검토하게 하는 계기가 될 수는 있습니다. 하지만 같은 전제를 유지한 채 더 자세한 설명을 만들 수도 있습니다. 자신 있게 한 번 더 답했다고 새로운 근거가 생긴 것은 아닙니다.
다시 물을 때는 확인할 대상을 좁혀 볼 수 있습니다.
“주 3회라는 내용이 원문의 어느 문장에 있나요?”
“수습 구성원에게 적용된다고 판단한 근거를 보여주세요.”
“문서에서 확인되는 내용과 추가 확인이 필요한 내용을 나눠 주세요.”
이렇게 요청하면 답변의 어느 부분을 검토해야 하는지 찾기 쉬워집니다. 다만 AI가 제시한 인용문과 위치도 실제 원문과 대조해야 합니다. 검토를 돕는 답변 역시 확인의 대상입니다.
출처를 요청할 때도 같은 원칙이 적용됩니다. 문서 이름이나 링크가 붙어 있다는 사실에 머물지 않고, 그 자료의 어느 부분이 해당 주장을 뒷받침하는지 읽어야 합니다.
모든 문장을 같은 강도로 검토하려 하면 AI를 활용하는 일이 지나치게 무거워질 수 있습니다. 먼저 틀렸을 때 결과를 바꾸는 부분을 살펴보면 좋겠습니다.
안내문이라면 신청 대상과 기한, 필요한 서류가 중요할 수 있습니다. 보고서라면 수치와 단위, 비교 기간, 원인에 대한 해석을 확인해야 합니다. 업무 절차라면 선행 조건과 실행 순서, 예외 사항을 놓치지 않아야 합니다.
이런 항목을 분리하면 검토가 구체적인 작업이 됩니다. 날짜를 원문과 대조하고, 계산을 다시 해보고, 적용 대상을 확인하는 식입니다.
가상의 규정 답변도 그렇게 고칠 수 있습니다. 대상은 누구인지, 횟수는 얼마인지, 신청과 승인 중 무엇을 설명하는지, 별도로 확인할 조건은 무엇인지 순서대로 읽어 봅니다.
그 결과 남는 것은 답변에 대한 막연한 믿음이나 불신보다 쓸모 있는 정보입니다. 어느 부분은 확인했고, 어느 부분은 아직 판단할 수 없는지 알게 됩니다.
완성된 문서는 빈칸이 적을수록 보기 좋습니다. 질문에도 분명한 답이 돌아오면 편합니다. 그래서 ‘확인 필요’라는 표현은 미완성처럼 느껴질 때가 있습니다.
그러나 자료가 충분하지 않은 상황에서 단정적인 답을 채우면, 보기 좋은 결과물이 잘못된 판단의 근거가 될 수 있습니다.
확인되지 않은 부분을 남겨 두면 다음 행동을 정할 수 있습니다. 최신 규정을 찾거나, 담당자에게 문의하거나, 계산에 필요한 값을 추가로 구하면 됩니다. 무엇이 부족한지 드러나야 작업도 이어집니다.
AI를 활용할 때는 답변의 매끄러움과 함께 이런 빈칸을 볼 필요가 있습니다. 자료가 말해 주는 범위에서 멈췄는지, 알 수 없는 부분을 추정으로 채우지는 않았는지 살펴보는 것입니다.
다음에 잘 정리된 답변을 받으면 잠깐 멈추어 문장 하나를 골라 보세요.
이 문장에서 사실로 받아들이려는 주장은 무엇이고, 그것을 뒷받침하는 근거는 어디에 있을까요.
이 질문에 답하는 습관이 생기면 AI의 결과를 사용할 수 있는 범위도 더 분명해집니다.
지금까지 AI가 문장을 처리하는 방식과 현재 참고하는 정보, 그리고 그럴듯한 오답을 살펴봤습니다. 다음 글부터는 실제로 일을 맡기는 방법으로 넘어갑니다. 좋은 답변을 얻으려면, 먼저 우리가 원하는 일이 무엇인지 분명하게 정리해야 합니다.
참고 자료