본격! AX 과정에서 가장 먼저 한 일

AI를 실무에 쓰기 시작한 지는 꽤 됐습니다. PRD 초안도 AI와 함께 쓰고, 기획안 검토도 AI에게 먼저 던져보는 식으로 조금씩 바꿔왔어요.

그런데 어느 순간 한계가 보였습니다. 빠르게 뽑아내는 건 되는데, 결과가 일관되지 않았어요. AI가 우리 제품의 맥락을 모른다는 게 더 정확한 표현이었습니다. 기획서를 줘도, 코드를 줘도, "왜 이렇게 만들어졌는지"는 어디에도 없었거든요.

그래서 근본적인 변화를 만들기 위한 첫 작업으로 선택한 게, 화려한 도구 도입이 아니라 정바카라서였습니다.

지금까지 느꼈던 빠른 속도로 커지는 회사들의 공통점

스타트업은 속도를 위해 많은 걸 포기합니다. 그중에서도 제일 먼저 뒷전으로 밀리는 게 정바카라서예요.

처음 제품을 만드는 과정은 이렇게 시작하죠. "이거 있으면 어떨까"라는 아이디어 하나가 과제가 되고, 과제가 기능이 되고, 기능이 쌓이면서 처음에 만들었던 정바카라과 흐름이 조금씩 바뀝니다. 그런데 기획서는 새로 쓰지만, 정바카라에 대한 부분은 그냥 묻혀버립니다.

그 결과, 시간이 지날수록 새로운 기획서 하나만 봐서는 코어한 포인트를 파악하기가 어렵습니다. 전반적인 UX 규칙이 뭔지 — 두 줄 이상의 설명은 지양한다든지, 취소 버튼은 동일해도 성공 버튼은 목표를 이루는 과정을 안내하는 문구여야 한다든지 — 이런 것들이 어딘가에 정의되어 있어야 지금 무엇을 만들었고 왜 이렇게 구성되어 있는지 빠르게 확인이 됩니다. 데이터 엔티티 정의도 마찬가지예요. 그리고 이런 과정에서 제품을 만드는 시간은 점점 더 느려져만 가고, 많은 창업자들이나 초기에 제품을 만들던 분들은 너무 늦어지는 속도에 한숨을 쉬기도 합니다.

그래서 기획서 또는 정바카라서는 PM 으로써는 언제나 가장 먼저 찾아보는 문서이기도 하고 가장 신뢰하지 않는 문서이기도 합니다. 그리고 그래서 가장 먼저 이것부터 해보면 어떨까 했었고요.

많은 회사들에서 발견했던 패턴

여러 회사를 다니면서 신기하게도 같은 패턴을 반복해서 봤습니다.

처음 서비스를 만들 때는 데이터 구성을 이쁘게 정의하고 문서로 잘 남깁니다; 어떤 곳에서는 PPT로 만들어진 실시 설계서를, 또 어떤 곳에서는 PRD라는 이름으로 새로운 기능을 정의하는 문서를,

그런데 기능이 하나씩 늘어날수록 기획서만 작성하고, 정바카라에 대한 부분은 점점 가려지게 됩니다. 그렇게 되면 처음 만들어진 내용과는 완전히 달라진 구성이 생기고, 문서와 제품 사이에 괴리가 발생합니다. 회사가 달라도, 규모가 달라도, 이 흐름만큼은 거의 예외가 없었어요.

이런 흐름들로 만들어진 진짜 문제들

가장 직접적으로 느끼는 건 반복 비용입니다. 새 기능을 기획할 때 "기존에 이 케이스 어떻게 처리하기로 했었죠?"라는 질문이 생기면, 기획서를 여러 개 뒤지거나 결국 사람한테 물어봐야 합니다. 확인에만 30분, 길면 반나절이 날아가요. 그리고 이 확인 과정이 없으면 이미 결정된 걸 또 결정하는 회의가 생깁니다. 팀이 성장할수록, 기능이 많아질수록, 이 반복 비용이 쌓입니다.

온보딩도 문제예요. 새로 들어온 사람이 맥락을 파악하려면 결국 사람한테 물어봐야 합니다. 문서가 있어도 최신이 아니니까요. 그 구두 전수가 다시 파편화되고, 시간이 지날수록 아는 사람과 모르는 사람의 간극이 커집니다.

그리고 이게 쌓이면 코드와 문서의 괴리가 기술 부채처럼 굳어집니다. 건드리기 두려운 영역이 생기고, "저 부분은 원래 왜 저렇게 만들어졌는지 아무도 몰라요"라는 말이 나오기 시작합니다.

저의 예를 들자면, 뉴스를 LLM을 기반으로 자동으로 요약해 주는 피처를 만든 적이 있어요. 그런데 QA에서 질문이 왔습니다. "어떤 글은 요약이 되고 어떤 글은 안 되는데, 그게 의도한 건지 버그인지 모르겠다."고요. 카테고리 기준인지, 글자 수 기준인지 — 저도 대답할 수 없었습니다. 어디에도 남아있지 않았거든요. 코드엔 구현만 있고, 왜 그 기준으로 만들어졌는지는 아무데도 없었습니다.

그런데 왜 관리를 안 했나

시간의 문제이기도 하고, 구조의 문제이기도 합니다.

정바카라이 변경될 때마다 문서를 눈으로 확인하고, 검수하고, 바꾸고, 버전 처리하는 것 자체가 리소스입니다. 특히 제품에 변곡점이 생긴 이후 (방향이 크게 바뀌거나 새로운 기능 군이 추가된 시점)의 작업이 제일 힘들어요. 그때 문서까지 같이 관리하는 건 현실적으로 우선순위에서 밀립니다.

AI 시대일수록 제품에 대한 정확한 설명이 존재하는 것이 더 중요해지는 이유

실무적으로 보면, 맥락이 정리되어 있는 조직과 그렇지 않은 조직의 차이는 AI를 쓸수록 벌어집니다.

"AI가 코드를 다 읽어주면 되는 거 아닌가요?"라는 질문을 종종 받는데, 코드를 AI에게 던지면 뭘 하는지는 말해줍니다. 그런데 왜 이렇게 만들었는지는 모릅니다. 취소 버튼 문구를 왜 저렇게 썼는지, 이 예외 케이스를 왜 허용했는지 — 코드엔 없습니다. 그게 정바카라이에요.

컨텍스트가 없으면 AI는 그냥 채워 넣습니다. 그럴듯하게. 정바카라이 없는 조직에서 AI를 쓸수록 일관성 없는 결과가 규모 있게 퍼지는 이유가 여기 있습니다.

기존엔 "저 분한테 물어보면 돼"가 통했어요. AI는 그게 안 됩니다. 사람은 구두로 컨텍스트를 전달할 수 있지만, AI는 명시된 것만 읽을 수 있거든요. 역설적으로, 정바카라서의 투자 대비 효과는 AI 시대에 올라갑니다. 잘 만들어둔 정바카라서 하나를 에이전트 열 개가 동시에 씁니다. 한번 투자의 회수 범위가 커지는 거죠.

그래서 바꾸기로 했다

해야 한다는 건 알면서도 계속 더 급한 일에 밀렸던 것들이 있습니다. 정바카라서가 딱 그랬어요.

다만, 이걸 혼자 손으로 다 바꾸는 건 처음부터 불가능하다고 생각했습니다. 쌓인 기간이 길수록 손댈 엄두가 안 나는 게 정바카라서예요. 그래서 방식을 달리했어요. AI와 함께 바꿔보기로 했습니다.

먼저 한 건 제품을 구성하는 도메인을 정리하는 것이었습니다. 어떤 영역들이 있고, 각 영역에서 정바카라이 필요한 부분이 무엇인지를 AI와 함께 분석하고 정의했어요. 뼈대가 잡혀야 채울 수 있거든요. 그 뼈대 위에서 기존 기획서들을 AI에게 읽히고, 정바카라서의 내용을 뽑아내게 한 다음, 제가 검토하고 보완하는 방식으로 진행했습니다.

다음 편에서는 실제로 어떻게 진행했는지를 공유합니다. 처음 시도했다가 막혔던 부분, 어떤 방식으로 전환했는지, 그리고 AI에게 어떤 프롬프트를 줘야 쓸 만한 결과가 나왔는지까지요. 세팅 과정에서 생각보다 시간이 걸렸던 것들도 그대로 담을 예정입니다. (라고 적고 헬파티라고 읽....)