대화창에 남아 있는 기록과 AI가 지금 참고하는 정보
AI와 함께 글을 고치다 보면 이런 순간이 찾아옵니다. 처음에 분명히 말했던 조건이 몇 번의 수정 뒤에 사라집니다.
“전문 용어는 줄여 주세요.”
“고객 이름은 넣지 마세요.”
“마지막에는 신청 방법을 안내해 주세요.”
처음에는 세 조건을 모두 반영했습니다. 그런데 문장을 짧게 만들고, 어조를 바꾸고, 제목을 수정하는 사이에 신청 방법이 빠졌습니다. 대화창을 위로 올리면 요청은 그대로 남아 있습니다.
그래서 이렇게 말하게 됩니다.
“아까 말했잖아요.”
사람과 대화할 때도 익숙한 말입니다. 다만 AI가 앞의 조건을 놓치는 이유를 이해하려면, 우리가 쓰는 ‘기억’이라는 말을 조금 나누어 볼 필요가 있습니다.
사람에게 대화 기록은 기억을 되살리는 단서입니다. 메신저를 위로 올리거나 회의록을 다시 열면 이전에 무엇을 논의했는지 확인할 수 있습니다. 그래서 AI도 대화창에 있는 내용을 언제든 다시 읽을 것처럼 느껴집니다.
하지만 서비스가 대화를 보관하는 일과 모델이 이번 응답에서 그 내용을 참고하는 일은 구분해야 합니다.
대화 기록은 애플리케이션에 저장될 수 있습니다. 모델이 답변을 만들 때는 서비스가 구성해 전달한 입력을 처리합니다. 여기에 어떤 과거 메시지를 얼마나 포함할지, 긴 기록을 요약할지, 필요한 내용을 다시 찾아 넣을지는 서비스의 구현에 따라 달라집니다. 따라서 화면에 오래된 메시지가 보인다고 해서 그 전체가 매번 같은 형태로 모델에 전달된다고 단정할 수는 없습니다.
이 구분을 알면 질문이 달라집니다. “왜 기억을 못 하지?”에서 “이번 답변에 필요한 정보가 지금도 제대로 제공되고 있을까?”로 옮겨갑니다.
모델이 현재 응답을 만들 때 참고하도록 제공되는 정보를 콘텍스트라고 부릅니다. 최신 질문뿐 아니라 작업 지시, 이전 대화 일부, 첨부 자료, 검색 결과 등이 포함될 수 있습니다.
바카라상 위에 펼쳐 놓은 작업 자료를 떠올려 보면 이해하기 쉽습니다. 서랍에 보관한 문서가 많아도 지금 일을 하면서 바로 참고하는 자료는 그중 일부일 수 있습니다.
이 비유에서 서랍에 자료가 있다는 사실과 바카라상 위에 자료가 펼쳐져 있다는 사실은 다릅니다. AI 서비스에서도 저장된 기록과 현재 입력에 들어온 정보를 구분할 필요가 있습니다.
물론 콘텍스트에 들어 있다는 것만으로 모든 조건이 정확히 반영되는 것은 아닙니다. 중요한 정보가 제공되었는데도 모델이 답변에서 놓칠 수 있습니다. 그러므로 자료를 잘 전달하는 일과 결과를 검토하는 일은 함께 필요합니다.
지난 글에서 살펴본 토큰 한도는 이 문제의 한 부분입니다. 긴 대화를 계속 이어가면 현재 작업에 필요한 정보와 이미 끝난 논의가 함께 쌓입니다. 한도가 충분하더라도 어떤 정보가 유효하고 중요한지 분명하게 유지하는 일이 남습니다.
AI를 이야기할 때는 서로 다른 기능을 ‘기억’이라는 한 단어로 부르곤 합니다.
모델이 학습 과정에서 형성한 패턴이 있고, 현재 요청에 포함된 대화 내용이 있습니다. 서비스가 별도로 보관하는 사용자 설정이나 메모도 있을 수 있습니다. 저장된 자료에서 관련 정보를 검색해 다시 제공하는 기능도 있습니다.
이들은 정보를 반영하는 방식과 시점이 다릅니다.
예를 들어 “앞으로 답변은 짧게 해 주세요”라는 요청이 현재 대화에 포함되어 작동하는 경우와, 서비스의 선호 설정으로 보관되어 이후 대화에 적용되는 경우는 같은 방식이 아닙니다. 어떤 서비스가 무엇을 저장하고 사용하는지는 해당 기능과 설정을 확인해야 합니다.
중요한 것은 우리가 기억되기를 바라는 정보가 어디에, 어떤 형태로 남아 있는지를 아는 것입니다. 저장 기능이 있다는 이유만으로 모든 결정과 제약이 자동으로 보존된다고 기대하면 작업 중에 빈틈이 생길 수 있습니다.
가상의 프로젝트를 생각해 보겠습니다.
처음에는 출시일을 10월 20일로 잡았습니다. 이후 일정이 바뀌어 11월 2일로 합의했습니다. 담당자는 민수로 정했지만 예산은 아직 승인되지 않았습니다.
대화 기록에는 두 날짜가 모두 남아 있습니다. 누군가는 이전 일정에 맞춰 작성한 계획표를 다시 붙여 넣었을 수도 있습니다. 최종 결정을 분명히 표시하지 않으면 현재 기준과 폐기된 안이한데 섞입니다.
이때 필요한 것은 단순히 대화를 짧게 요약하는 일이 아닙니다. 현재 유효한 결정이 무엇인지 구분하는 일입니다.
“일정과 담당자, 예산을 논의했다”는 요약은 짧지만 다음 작업에 충분하지 않습니다. 반면 다음 메모는 조금 더 구체적인 기준을 제공합니다.
출시는 11월 2일로 확정했다. 기존 10월 20일 일정은 폐기했다. 담당자는 민수이며, 예산은 승인 대기 중이다.
이 메모에서는 확정된 것과 미확정인 것이 구분됩니다. 날짜와 인물은 설명을 위한 가정이지만, 이런 구분은 실제 업무에서도 유용합니다.
대화가 길어졌다면 잠시 멈춰 현재 상태를 정리해 볼 수 있습니다. 새로운 대화를 시작할 때도 같은 메모를 활용할 수 있습니다.
메모에는 목적, 확정 사항, 제약, 남은 질문을 담습니다. 필요한 경우 근거 문서나 결정이 나온 위치도 함께 적습니다.
처음의 안내문 작업이라면 이렇게 정리할 수 있습니다.
목적은 신규 사용자의 신청을 돕는 안내문 작성이다. 전문 용어를 줄이고 고객 실명은 사용하지 않는다. 마지막에는 신청 방법을 넣는다. 신청 기한은 아직 미정이므로 임의로 작성하지 않는다.
이 메모가 긴 대화 전체를 대신하지는 않습니다. 다만 다음 응답에서 놓치면 안 되는 조건을 한 곳에 모아 줍니다.
여기서 특히 중요한 부분은 ‘미정’입니다. 날짜나 예산이 비어 있으면 결과물을 깔끔하게 만들고 싶은 마음에 그 빈칸을 지나치기 쉽습니다. 그러나 아직 정하지 않은 사항을 분명히 남겨야 추정이 결정처럼 보이는 일을 줄일 수 있습니다.
AI에게 인계 메모의 초안을 작성하게 할 수도 있습니다. 그 경우에도 실제 합의와 맞는지 확인해야 합니다. 요약 과정에서 폐기된 안이 살아나거나, 제안이 결정 사항으로 바뀔 수 있기 때문입니다.
현재 상태를 정리하다 보면 AI가 놓쳤다고 생각한 조건을 우리도 분명하게 정하지 않았다는 사실을 발견할 수 있습니다.
“이 방향도 좋겠네요”는 확정일까요, 검토 의견일까요. “다음 주쯤”은 마감일일까요, 희망 일정일까요. 대화할 때는 자연스럽게 넘어간 표현이 실행 계획에서는 모호한 조건이 됩니다.
AI와 긴 작업을 이어가는 과정은 이런 표현을 다시 확인하는 기회가 될 수 있습니다. 무엇을 결정했고, 무엇은 아직 열어 두었는지 정리하면 이후 요청도 더 분명해집니다.
새로운 결정이 생기면 메모도 고쳐야 합니다. 처음에 잘 작성한 메모라도 작업이 바뀐 뒤 그대로 사용하면 오래된 기준이 됩니다. 인계 메모는 완성해 두는 문서라기보다 현재 상태를 유지하는 짧은 작업 기록에 가깝습니다.
AI가 앞의 조건을 놓쳤을 때 모든 내용을 처음부터 다시 설명해야 하는 것은 아닙니다. 빠진 조건을 구체적으로 짚고, 현재 유효한 기준을 다시 제공할 수 있습니다.
“신청 방법이 빠졌습니다. 안내문의 마지막에 신청 방법을 넣되, 미정인 신청 기한은 추정하지 말아 주세요.”
이렇게 요청하면 무엇을 수정하고 무엇을 유지해야 하는지 확인하기 쉽습니다. 이후 결과에서 해당 조건이 실제로 반영되었는지도 읽어 봅니다.
대화 기록이 길어질수록 질문 하나를 더 해보면 좋겠습니다.
다음 답변을 만들기 위해 꼭 필요한 정보가 지금도 분명하게 정리되어 있을까요.
그 정보가 잘 정리되어 있어도 답변의 내용이 항상 맞는 것은 아닙니다. 때로는 자료에 없는 설명을 놀라울 만큼 자연스럽게 덧붙이기도 합니다.
다음 글에서는 그럴듯한 답변과 정확한 답변 사이의 차이를 살펴보겠습니다.
참고 자료