얼마 전 제주 여행을 하면서 AI에게 맛집을 추천하도록 요청해보았다. 요즘은 검색 보다 AI에게 질문하는 게 더 편하다 (검색은 여러 번 찾아서 정리해야 하지만 AI는 스스로 정리를 해주므로). 설명도 꽤 구체적이었고, 내가 가려는 동선과도 잘 맞아서 별다른 의심 없이 찾아갔다. 그런데 막상 도착해 보니 그곳은 이미 폐업한 식당이었다. 순간 황당했다. AI가 나에게 잘못된 정보를 준 것은 분명한데, 그렇다면 AI가 나에게 거짓말을 한 것일까.
사람도 틀린 말을 한다. 어떤 사람은 사실을 알고도 일부러 다르게 말하고, 자신에게 유리한 상황을 만들기 위해 거짓말을 하기도 한다. 반면 어떤 사람은 자신이 틀렸다는 사실조차 모르면서 자신 있게 이야기하기도 한다. 알고도 속이는 것과 모르면서 우기는 것은 결과적으로 틀린 말을 한다는 점에서는 같지만, 우리는 둘을 똑같이 거짓말이라고 부르지는 않는다.
거짓말에는 보통 의도가 들어간다. 사실은 이것이라는 것을 알고 있으면서 상대에게는 다른 내용을 믿게 하려는 마음이다. “그 식당 아직 영업해”라고 말하면서 사실은 폐업한 것을 알고 있다면 거짓말이라고 할 수 있다. 반대로 그 사람이 정말로 폐업 사실을 모르고 그렇게 말했다면 잘못된 정보일 수는 있어도 거짓말이라고 단정하기 어렵다.
AI도 마찬가지다. AI가 사실과 다른 말을 했다는 이유만으로 그것을 곧바로 거짓말이라고 부르기는 어렵다. AI가 틀린 내용을 생성하는 현상은 흔히 ‘환각’이라고 부르는데, 그럴듯한 문장을 만들어내는 과정에서 실제 사실과 다른 내용이 나올 수 있다. 중요한 것은 AI가 그 내용이 거짓이라는 사실을 알고도 나에게 믿게 하려고 그렇게 말했느냐는 것이다.
문제는 우리가 그 답을 쉽게 알 수 없다는 데 있다. AI가 “그렇습니다”라고 자신 있게 말하고, 구체적인 설명까지 덧붙인다고 해서 그 뒤에 사람과 같은 확신이나 의도가 있다고 볼 수는 없다. 사람이 하는 말이라면 말하는 사람의 지식과 의도를 함께 생각하지만, AI가 만든 문장에서는 그 둘을 같은 방식으로 확인하기 어렵다.
제주에서의 경험을 다시 생각해 보면 더 분명해진다. AI에게 추천 받은 식당은 실제로 존재했던 곳이었고, AI가 완전히 없는 식당을 만들어낸 것도 아니었다. 다만 내가 찾아갔을 때는 이미 문을 닫은 뒤였다. AI가 가진 정보와 내가 필요로 했던 현재의 정보 사이에 시간차가 있었던 것이다.
이런 경우에는 AI가 나에게 거짓말을 했다고 하기 어렵다. AI가 그 식당이 폐업했다는 사실을 알고 있으면서도 일부러 나를 그곳으로 보낸 것은 아니기 때문이다. 과거의 정보가 현재에도 유효한 것처럼 답했을 뿐이라면, 이것은 거짓말이라기 보다 정보의 최신성에 관한 문제에 가깝다.
여행에서는 이런 차이가 꽤 중요하다. 여행지의 역사나 음식의 특징처럼 시간이 지나도 크게 달라지지 않는 정보를 찾을 때와, 오늘 영업하는 식당이나 현재 운영 중인 전시를 찾을 때는 필요한 정보의 성격이 다르다. 특히 식당의 영업 여부처럼 계속 바뀌는 정보라면 AI의 답변만 믿기보다 포털 지도나 공식 채널에서 현재 상태를 확인하는 편이 더 정확하다. AI가 모든 정보를 가장 최신 상태로 가지고 있다고 생각하면 안 되는 이유다.
그런데 이 경험에서 더 재미있는 것은 AI가 틀렸다는 사실보다 내가 AI의 말을 믿었다는 사실이다. AI는 “아마 이 식당이 좋을 것 같다”는 식으로 애매하게 말한 것이 아니라 꽤 자연스럽고 구체적으로 추천했다. 나는 그 말투와 설명을 보면서 AI가 그 식당을 제대로 알고 있다고 생각했다. 결국 AI의 말에서 우리가 믿는 것은 정보만이 아니라 그 정보를 전달하는 방식이기도 하다.
AI가 틀린 말을 했을 때 내가 가장 궁금한 것은 이것이다. AI는 자신이 틀렸다는 사실을 알고 있었을까. 사람이라면 어느 정도 판단할 수 있다. 내가 알고 있는 사실과 다르게 말했는지, 아니면 정말 그렇게 믿고 있었는지를 본인에게 물어볼 수도 있다. 물론 사람의 대답을 항상 믿을 수 있는 것은 아니지만 적어도 그 사람에게는 자신의 지식과 말 사이의 관계가 있다.
AI는 조금 다르다. AI에게 “너 지금 틀린 줄 알고도 그렇게 말한 거야?”라고 물으면 그럴듯한 설명을 내놓을 수 있다. “제가 가진 정보가 오래되었을 수 있습니다”라고 할 수도 있고, “확인하지 않고 답변한 것이 잘못이었습니다”라고 말할 수도 있다. 그런데 그 문장을 듣는다고 해서 AI가 정말 자신의 오류를 인식하고 있었다고 확인되는 것은 아니다.
여기서 4화에서 이야기했던 문제가 다시 나타난다. AI는 사람처럼 사과하고, 걱정하지 말라고 하고, 잘못을 인정한다. 우리는 그런 행동을 보면 자연스럽게 그 뒤에 생각과 의도가 있을 것이라고 추측한다. 하지만 사람처럼 행동한다는 것과 사람과 같은 방식으로 생각한다는 것은 같은 말이 아니다.
그래서 AI의 거짓말을 판단하려면 단순히 결과만 봐서는 안 된다. “AI가 틀린 말을 했다”는 사실과 “AI가 틀린 것을 알고도 나를 속였다”는 주장은 전혀 다른 수준의 이야기다. 전자는 우리가 대화 속에서 확인할 수 있지만, 후자는 AI의 내부 상태와 의도를 알아야 한다. 그리고 바로 그 지점에서 우리는 AI를 이해하는 데 한계를 만난다.
어쩌면 AI에게 “거짓말을 할 수 있느냐”고 묻는 것보다 먼저 사람에게 거짓말이 무엇인지 물어봐야 할지도 모른다. 사람도 모르면서 틀린 말을 하고, 기억이 잘못되어 사실과 다른 이야기를 하고, 자신의 말이 틀렸다는 것을 알면서도 우기기도 한다. 우리는 그 모든 상황을 똑같이 거짓말이라고 부르지 않는다. 결국 중요한 것은 말의 내용만이 아니라 그 말을 하는 사람이 무엇을 알고 있었고, 무엇을 의도했는가이다.
AI에게도 비슷한 구분이 필요하다. 존재하지 않는 정보를 만들어내는 것, 오래된 정보를 현재 정보처럼 말하는 것, 사용자의 말에 맞춰 잘못된 답을 이어가는 것, 특정 목적을 위해 의도적으로 사람을 속이도록 설계된 것은 서로 다른 현상이다. 겉으로 보기에는 모두 “AI가 거짓말했다”라고 말할 수 있지만, 그 안에서 일어난 일까지 같다고 볼 수는 없다.
그래서 제주에서 만난 폐업한 식당을 떠올리면 AI에게 화를 내기보다 한 가지를 더 생각하게 된다. AI가 틀렸다는 사실과 AI가 나를 속였다는 것은 같은 말이 아니다. AI에게 최신 정보가 필요한 질문을 던졌다면 나는 그 답을 확인할 바카라임도 있다. 특히 여행처럼 실제 행동으로 이어지는 정보라면 AI의 답변을 최종 확인이 필요한 초안으로 받아들이는 편이 안전하다.
그렇다면 다시 처음의 질문으로 돌아간다. AI는 거짓말을 할 수 있을까. 지금의 AI가 사실과 다른 말을 한다는 것은 분명하지만, 그것을 인간의 거짓말과 같은 의미로 부를 수 있는지는 여전히 별개의 문제다. 틀린 말을 하는 것과 거짓말을 하는 것은 다르다. 그리고 그 차이를 만드는 것은 어쩌면 ‘무엇을 말했는가’가 아니라 ‘왜 그렇게 말했는가’인지도 모른다.
[AI의 환각(Hallucination)이란?]
AI가 실제 사실과 다른 내용을 마치 사실인 것처럼 생성하는 현상을 말한다. 존재하지 않는 정보나 잘못된 내용을 그럴듯하고 자신 있게 설명하기도 한다. 중요한 것은 환각과 거짓말은 같지 않다는 것이다. 거짓말에는 일반적으로 사실과 다른 내용을 말하려는 의도가 필요하지만, AI의 환각은 의도적인 기만이라기보다 학습된 패턴과 주어진 맥락을 바탕으로 답을 생성하는 과정에서 발생하는 오류로 볼 수 있다.
따라서 AI가 틀린 말을 했다는 사실만으로 “AI가 거짓말했다”고 단정할 수는 없다.