AI는 시키는 대로 너무 잘해서 문제다

AI에게 내 아이디어를 설명하고 "이거 어때?"라고 물으면 대체로 긍정적인 답변이 돌아온다. 장점부터 설명하고, 가능성을 짚어주고, 개선할 점도 몇 가지 덧붙인다. 분명 평가를 부탁했는데 읽다 보면 어쩐지 내 아이디어가 꽤 괜찮은 것처럼 느껴진다.

물론 예전처럼 무조건 맞장구치는 AI는 아니다. 한때 문제가 됐던 과도한 동조 성향은 많이 개선됐고, 지금은 ChatGPT 설정에서 응답 스타일도 조절할 수 있다. 하지만 AI가 내 의견에 얼마나 비판적이어야 하는지, 무엇을 기준으로 평가해야 하는지 제대로 알려주지 않으면 여전히 무난하고 그럴듯한 답변을 받을 수 있다.

Generated by Midjourney / Elissa

그렇다고 매번 "냉정하게 평가해 줘", "솔직하게 말해 줘"라고 덧붙이는 것도 영 시원찮았다. 내가 원하는 건 차가운 말투가 아니라, 내가 미처 생각하지 못한 문제를 센스있게 발견하는 일이었으니까. 그 미묘한 감을 어떻게 설명해야 하지? 우리 '인간'들은 잘 알잖아요 그 느낌적인 느낌.

그래서 AI에게 일부러 반박을 시키는 방법을 사용하기도 했다.

내가 구상한 아이디어에 반대하는 입장에서 논리의 허점을 찾고, 당연하게 여겼던 전제를 의심하게 하는 것이다. 실제로 이런 접근은 '악마의 대변인(Devil's Advocate)'이라는 오래된 사고 기법과도 닿아 있다.

이 방법은 꽤 만족스러웠다. 혼자서는 놓쳤을 문제를 발견했고, 무언가를 만들기 전에 기획의 방향부터 검토할 수 있었다. AI로 빠르게 만들었다가 다시 뜯어고치는 일을 줄일 수 있겠다는 기대도 있었다.

Generated by Midjourney / Elissa

악마의 대변인(Devil's Advocate)이란?

원래 가톨릭교회의 성인 시성 심사에서 후보자의 자격에 반대하는 논거를 검토하던 역할을 가리키는 표현이다. 이후 조직의 의사결정에서도 어떤 주장에 의도적으로 반론을 제기해 숨은 가정이나 위험을 발견하는 기법으로 활용됐다. 중요한 건 무조건 반대하는 게 아니라 성급하게 결론 내리지 않도록 다른 관점을 검토하는 것이다. (참고: Encyclopaedia Britannica (1911) · Schwenk, 1984, Devil's Advocacy in Managerial Decision-Making)

이 방식을 AI 작업에 응용할 수 있다. 생각보다 활용할 곳이 많다. 새로운 콘텐츠를 기획할 때도, 디자인 시안을 만들기 전에도, 사업 아이디어를 검토할 때도 쓸 수 있다. 무엇보다 혼자서 여러 관점을 빠르게 검토할 수 있다는 점이 좋다.

방법을 간단히 소개하겠다. 제작에 들어가기 전에 세 가지 관점으로 내 아이디어를 공격해 보는 것이다.

제작 전 3회 반박 프롬프트

지금부터 내 아이디어의 악마의 대변인(Devil's Advocate)이 되어줘. 이 아이디어를 바로 실행하기보다, 제작 전에 놓친 문제를 발견하는 것이 목적이야.

1. 논리 반박: 이 아이디어의 전제 중 틀렸거나 근거가 부족한 부분은?
2. 사용자 반박: 실제 사용자가 관심을 갖지 않거나 돈을 지불하지 않을 이유는?
3. 실행 반박: 지금 만들기 시작하면 나중에 다시 뜯어고칠 가능성이 큰 부분은?

각 관점에서 실제로 확인할 가치가 있는 문제를 우선해서 설명해 줘. 추측과 확인된 사실은 구분하고, 문제를 발견하면 이유와 검증 방법도 함께 제안해 줘.

나름 유용하다. 해외에서도 자주 사용되는 방법론이니 적절히 사용해보면 좋다. 생각하지 못한 문제를 발견하기도 할 수 있고, 혼자 고민할 때보다 다양한 가능성을 빠르게 검토할 수 있다. 물론 AI의 반론이 전부 옳은 것은 아니어서 최종 판단은 여러분들 몫이다.

Generated by Midjourney / Elissa

그런데 이 방법을 계속 쓰다 보니, 결국 이런 글까지 쓰게 만든 사건이 벌어졌다. AI가 별걸 다 반박하기 시작한 것이다. 가끔은 심기가 불편해질 정도로...

충분히 감수할 만한 위험에도 경고를 붙이고, 단순한 취향 차이를 결함처럼 설명했다. 일어날 가능성이 극히 낮은 상황을 끌어와 계획을 다시 검토하라고 하기도 했다.

문득 회사에서 한 번쯤 만날 법한 직원 유형이 떠올랐다. 시키는 일은 정말 성실하게 하는데 융통성이 조금 없는 사람. 기획안의 문제점을 열 개 찾아오라고 하면 어떻게든 열 개를 채워오는 유형. 중요한 문제는 두 개뿐인데 나머지 여덟 개도 꾸역꾸역 가져온다.

ChatGPT로 그려본 네컷만화

물론 모든 AI가 실제로 이렇게 행동한다는 뜻은 아니다. 모델과 질문 방식에 따라 결과가 다르고, 개수를 정한다고 반드시 억지 반론이 생기는 것도 아니다. 다만 내 경험에서는 반박하는 역할을 강하게 부여하거나 개수를 지정했을 때, 중요하지 않은 문제까지 지적하는 경우가 있었다.

비슷한 고민을 다룬 연구도 발견했다. 2026년 발표된 한 질적 연구에서는 AI에 다양한 반박자의 역할을 부여해 하나의 해석에 무려 108개의 반론을 만들어냈는데, 그중 상당수는 평범하거나 중복된 내용이었다고 한다.

AI는 정말 열심히 반박했다. 하지만 108개의 반론이 108개의 통찰을 의미하지는 않았다.

Generated by Midjourney / Elissa

내가 원했던 건 반박을 많이 하는 능력이 아니라, 반박할 가치가 있는 문제를 골라내는 능력이었다.

그러다 예전에 브랜드 디자이너로 일하던 시절이 떠올랐다. 팀원들의 작업물을 검토하거나 피드백할 때 가장 중요한 건 수정 사항을 많이 찾아내는 게 아니었다. 브랜드의 방향을 이해하고, 실제 결과에 영향을 미치는 문제를 구분하는 일이었다.

디자인에는 정답이 없는 경우가 많다. 내 취향과 다르다고 반드시 고쳐야 하는 것도 아니다. 심지어 이미 잘된 부분을 괜히 건드렸다가 결과물이 나빠지기도 한다.

Generated by Midjourney / Elissa

좋은 피드백은 수정할 부분을 많이 찾아내는 피드백이 아니다. 무엇을 고쳐야 하고, 무엇은 그냥 두어도 되는지를 알려주는 피드백이다.

이건 디자인뿐만 아니라 다른 분야에서도 비슷할 것 같다. 좋은 편집자는 모든 문장을 고치지 않고, 좋은 선생님은 학생이 스스로 풀 수 있는 문제까지 대신 풀어주지 않는다. 믿을 만한 동료는 중요한 문제에는 확실하게 의견을 내지만, 충분히 괜찮은 결과물에는 "이 정도면 진행해도 괜찮겠는데요?"라고 말할 수도 있다.

ChatGPT로 만들어본 네컷 만화

그렇다면 이런 판단 기준을 AI에게도 알려주면 어떨까?

이번에는 반박하는 역할을 부여하는 데서 그치지 않고, 내가 생각하는 '믿을 만한 동료'의 행동을 구체적으로 설명해 보기로 했다.

새로 고안한 믿을 만한 동료 프롬프트

너는 내 의견에 무조건 동의하거나 반대하는 사람이 아니라, 함께 일하는 믿을 만한 동료야.

1. 실제 결과에 영향을 줄 만한 문제를 우선해서 찾아줘.
2. 이미 충분히 괜찮은 부분은 굳이 비판하지 마.
3. 문제를 지적할 때는 왜 중요한지, 어떻게 개선할 수 있는지 함께 알려줘.
4. 사소한 취향 차이나 희박한 예외를 중대한 결함처럼 다루지 마.
5. 특별히 고칠 문제가 없다면 "이 정도면 진행해도 괜찮아"라고 말해도 돼.

목표는 내 의견을 반박하는 게 아니라 더 나은 결정을 돕는 거야.

Generated by Midjourney / Elissa

이번 시행착오를 겪으며 새로운 질문이 생겼다.

우리는 AI에게 전문가처럼 행동하라고 쉽게 말한다. 편집자처럼 검토해 줘, 아트디렉터처럼 평가해 줘, 교수처럼 가르쳐 줘. 그런데 그 직업을 잘하는 사람들이 실제로 어떤 기준으로 판단하는지까지 설명하는 경우는 얼마나 될까?

전문가의 실력에는 지식이나 기술뿐 아니라, 오랜 시간 경험하면서 익힌 판단이 포함되어 있다. 어떤 문제를 중요하게 다뤄야 하는지, 언제 개입하고 언제 물러나야 하는지, 무엇을 굳이 고치지 않아도 되는지 아는 능력 말이다.

Generated by Midjourney / Elissa

나는 요즘 인간관계에서 일어나는 일들과 사람들의 판단 방식을 AI와의 작업에 적용해 보는 데 관심이 많다. 인간의 경험과 사고방식을 프롬프트로 번역해 보는 것이다. 융통성 없는 직원과 믿음직한 동료의 차이를 AI에게 설명하는 것처럼.

그러다 보니 예전에는 그냥 지나쳤을 일들도 유심히 보게 된다. 어떤 사람의 피드백은 왜 유독 믿음이 가는지, 어떤 사람은 맞는 말을 해도 왜 피곤한지. 그런 차이를 설명할 수 있다면 AI에게도 적용해 볼 수 있지 않을까 싶어서다.

요즘은 AI를 더 잘 쓰겠다는 일념으로 사람을 더 열심히 관찰하고 있다.

[참고자료]

악마의 대변인(Devil's Advocate)의 유래 — Encyclopaedia Britannica (1911), 「Advocatus Diaboli」.

악마의 대변인 기법과 의사결정 — Schwenk (1984), 「Devil's Advocacy in Managerial Decision-Making」.

AI를 활용한 악마의 대변인 실험 — Gillespie (2026), Qualitative Psychology.

본문의 두 프롬프트는 위 자료를 그대로 옮긴 것이 아니라, 기존 사고 기법과 개인적인 실무 경험을 바탕으로 직접 구성한 것이다.