AI를 여러 개 섞어 쓰면 더 잘할까

여러 모델을 합치면 똑똑해진다는 믿음

AI를 쓰다 보면 자연스럽게 드는 생각이 있다. 하나보다 여럿이 낫지 않을까. ChatGPT가 틀린 걸 클로드가 잡아주고, 클로드가 놓친 걸 제미나이가 보완해주면 전체적으로 더 좋은 결과가 나올 것 같다. 실제로 이런 방식을 오케스트레이션이라고 부르는데, 여러 AI 모델을 조합해서 서로의 약점을 보완하게 하는 구조다. 기업들도 이 방식을 꽤 진지하게 도입해왔다. 그런데 최근 연구 결과가 이 통념에 제동을 걸었다. 67개 AI 모델을 대상으로 분석한 결과, 모델을 많이 합친다고 해서 성능이 기대만큼 오르지 않는다는 게 확인됐다.

어려운 문제에서는 다 같이 틀린다

이유는 생각보다 단순하다. 어려운 문제 앞에서는 여러 모델이 동시에 틀리는 경우가 생각보다 훨씬 많다는 거다. 연구진은 이걸 공동 실패라고 불렀다. GPT, 클로드, 제미나이를 포함한 67개 모델을 수학 문제로 테스트했더니, 기존 방식으로 예측한 공동 실패 확률은 2.3%였는데 실제로 측정해보니 5.2%가 나왔다. 예상보다 2배 이상 자주 다 같이 틀린 셈이다. 과학 문제를 객관식 대신 서술형으로 바꾸자 공동 실패율은 12.7%까지 올라갔다. 서로 다른 모델을 섞는다고 해서 어려운 문제가 해결되는 게 아니라, 어려운 문제에서는 모든 모델이 비슷하게 막힌다는 이야기다. 여기에 다수결 방식도 문제가 있다. 성능이 다른 모델들을 다수결로 조합하면 오히려 평균 정확도가 약 10퍼센트포인트 떨어지는 경우도 나왔다. 성능이 낮은 모델들이 힘을 합쳐 정답을 내놓은 모델을 눌러버리는 것이다.

더 많이가 아니라 더 다르게

이 연구가 말하는 핵심은 결국 이것이다. 모델을 많이 모으는 것보다 서로 다른 방식으로 실수하는 모델을 조합하는 게 중요하다. 그리고 SQL 처리나 문서에서 정보를 뽑아내는 것처럼 정답이 명확한 작업에서는 여러 모델을 복잡하게 엮는 것보다 성능이 가장 좋은 모델 하나를 쓰는 게 대부분 더 효율적이라고 결론 냈다. AI를 도입하는 사람 입장에서 생각해볼 지점이 여기 있다. 도구를 많이 쌓는다고 결과가 좋아지는 게 아니라는 거다. 어떤 작업에 어떤 모델이 맞는지를 파악하고, 그 조합이 실제로 효과가 있는지 먼저 확인하는 것이 복잡한 시스템을 구축하는 것보다 먼저다. AI가 많아질수록 선택의 기준이 더 중요해진다.