AI는 왜 이야기의 뒷부분을 망치는가

소설을 쓰다 보면 반드시 이런 순간이 온다.

앞에서 주인공이 왼쪽 다리를 다쳤는데, 50페이지 뒤에서 그가 오른발로 힘껏 땅을 박차고 달리는 장면을 쓰고 있는 자신을 발견하는 순간. 사람도 이러는데, 기계는 어떨까.

AI가 짧은 글을 쓰는 건 이제 놀랍지 않다. 문제는 길어질 때다. 2022년까지만 해도, LLM에게 단편 소설 분량의 이야기를 쓰게 하면 중반 이후부터 앞 내용을 잊기 시작했다. 등장인물의 이름이 바뀌고, 1장에서 죽은 캐릭터가 3장에서 살아 돌아오고, 처음에 왜 이야기를 시작했는지도 흐릿해졌다.

이유는 구조 문제다. LLM은 지금 이 단어 다음에 올 가장 자연스러운 단어를 예측하는 방식으로 글을 쓴다. 전체 이야기를 머릿속에 품고 쓰는 게 아니라, 앞으로만 나아간다. 글이 길어지면 앞에서 썼던 내용이 기억 창 밖으로 밀려나 버린다. 작가가 원고지 500장을 쓰는 동안 앞 내용을 까먹어 가는 것과 비슷하다. 다만 작가는 다시 돌아가 읽을 수 있지만, LLM은 그렇게 설계되어 있지 않았다.

설계도를 먼저 그려라

2022년, 버클리 대학교와 Meta AI 연구팀이 이 문제를 정면으로 다뤘다. 이들이 제안한 것은 새로운 AI를 만드는 것이 아니었다. 기존 AI를 어떻게 활용할 것인가에 대한 방법론이었다. 이름은 Re³(Recursive Reprompting and Revision), 직역하면 '반복 재주입과 수정'이다.

핵심 아이디어는 단순하다. 글을 쓰기 전에 먼저 전체 구조를 잡고, 매 단락을 쓸 때마다 그 구조를 다시 들여다보게 한다. 작가라면 낯설지 않은 방식이다.

과정은 네 단계다.

첫 번째는 계획(Plan)이다.

쓰기를 바로 시작하지 않는다. 전체 이야기의 뼈대를 먼저 만든다. 1막에서 무슨 일이 벌어지고, 2막에서 어떤 갈등이 생기고, 3막에서 어떻게 끝나는지를 잡아둔다. 이 뼈대가 이후 모든 단락 생성의 닻이 된다.

두 번째는 반복 재주입(Recursive Reprompting)이다.

이야기를 한 번에 쓰지 않고 단락 단위로 나눠서 쓴다. 매 단락을 쓸 때마다 세 가지를 동시에 참조하도록 한다. 처음에 만든 전체 뼈대, 지금까지 쓴 내용의 요약, 그리고 지금 이 단락이 달성해야 하는 목표. 소설가가 글을 쓰다 막힐 때마다 첫 페이지로 돌아가 전체 구상을 다시 읽는 습관과 비슷하다.

세 번째는 선별(Reranking)이다.

각 단락을 하나의 버전만 만드는 게 아니라 여러 버전으로 생성한 뒤, 전체 흐름과 가장 잘 맞는 버전을 고른다. 여러 가능성 중에서 가장 나은 것을 추리는 과정이 편집자의 역할과 닮아 있다.

네 번째는 교정(Editing)이다.

선택된 버전에서 사실적 오류를 자동으로 찾아 다듬는다. 앞에서 왼쪽 다리를 다쳤다면 오른발로 뛰는 장면을 잡아내는 것이다.

결과는 어떻게 나왔나

연구팀은 Re³ 방식으로 만든 이야기와, 같은 AI가 뼈대 없이 처음부터 끝까지 쭉 써 내려간 이야기를 나란히 사람들에게 보여줬다. 어느 쪽이 더 낫다고 생각하는지를 평가하게 했다.

결과는 분명했다. Re³로 만든 이야기는 "전체 플롯이 앞뒤로 잘 맞는다"는 평가에서 14%더 높은 점수를 받았다. "처음에 주어진 설정과 잘 연결된다"는 평가에서는 20% 차이가 났다. 뼈대를 쥐어주는 것만으로 이야기의 구조가 그만큼 단단해졌다는 뜻이다.

수치가 극적이지 않을 수 있다. 그런데 이 결과가 의미 있는 이유는 AI 자체를 더 좋은 것으로 바꾼 게 아니라는 점이다. 같은 AI를 다르게 쓴 것만으로 얻어낸 차이다.

그런데 한 가지 빠진 것이 있다

Re³의 평가 기준은 두 가지다.

일관성 : 앞뒤가 맞는가.

관련성 : 처음 설정과 연결되는가.

이 두 가지가 이 연구가 풀려고 한 문제의 전부였고, 실제로 그것을 잘 풀었다.

그런데 일관성 있는 이야기가 재미있는 이야기와 같은 말은 아니다. 앞뒤가 완벽하게 맞아떨어지는데 지루한 소설이 있고, 조금 허술해도 손에서 놓을 수 없는 소설이 있다. Re³는 전자를 만드는 데 집중했고, 그것을 잘 해냈다.

그러나 "이 이야기가 왜 흥미로운가"는 이 연구가 끝난 자리에 그대로 남아 있다.

Reference

Yang et al., "Re³: Generating Longer Stories With Recursive Reprompting and Revision", EMNLP 2022

필자 소개

박세영 Park Seyoung / KT 미디어본부 콘텐츠 AI 바카라임 연구원

엔씨소프트(NCSOFT)에서 8년간 AI 스토리텔링을 연구하며 창작자를 위한 콘텐츠 AI 서비스를 개발했다. 현재는 KT 미디어본부 콘텐츠 AI 바카라임 연구원으로 재직 중이다. 이화여자대학교 국어국문학과·광고홍보학과 졸업. 동대학원 융합콘텐츠학과 석사. 등단 시인이자 파인아트 작가로도 활동한다.

줄곧 기계에게 “좋은 이야기”를 가르치는 일을 해왔다. AI가 이야기를 척척 써주는 시대에, 정작 “이게 좋은 이야기인가”라는 질문은 왜 여전히 인간의 몫인지를 현장의 언어로 기록한다.

링크드인 바로가기