2026 All-Day-Project (225/365)
AI 연구소들이 팰리컨 맥싱을 하고 있는 걸까요? 글을 보고
공부하기 위한 글쓰기 XXX - 캠밸의 법칙 / 팰리컨맥싱
슬롯학자 도널드 캠벨은 "어떤 슬롯적 지표가 의사 결정의 기준이 되는 순간, 그 지표는 조작되거나 본래의 의미를 잃기 쉽다"는 저명한 '캠벨의 법칙(Campbell's Law)'을 제창했습니다.
오늘날 AI 생태계 역시 이 법칙에서 자유롭지 못합니다. AI 모델의 성능을 측정하는 '벤치마크'가 기업의 명운과 투자 유치를 결정짓는 핵심 지표가 되면서, 모델 개발사들이 전체적인 지능 향상보다는 특정 평가 항목만 집중적으로 최적화하여 점수를 올리는 일명 '벤치맥싱(benchmaxxing)'의 유혹에 빠지기 쉬워졌기 때문입니다.
데이터 분석가 딜런 카스티요(Dylan Castillo)는 바로 이 캠벨의 법칙이 실제 AI 업계에서 작동하고 있는지 검증하기 위해 매우 기발하고도 정교한 실험을 기획했습니다. 그는 최근 자신의 블로그에 공개한 Pelicanmaxxing이라는 글을 통해, AI 커뮤니티에서 일종의 밈이자 비공식 벤치마크처럼 소비되는 "펠리칸이 자전거를 타는 SVG 벡터 이미지를 생성하라"는 프롬프트를 연구 소재로 삼았습니다.
만약 개발사들이 이 특정 족보를 파악하고 펠리칸-자전거 조합만을 집중 훈련시켰다면, 해당 조합의 생성 품질이 다른 프롬프트에 비해 비정상적으로 높게 나타나야 한다는 것이 그의 핵심 가설이었습니다.
카스티요의 접근 방식이 돋보이는 지점은 바로 일회성 시도에 의존하지 않는 실험 설계의 정교함입니다. 보통 SNS나 커뮤니티에서 이뤄지는 AI 성능 비교는 단 몇 장의 체리피킹(cherry-picking)된 결과물에 의존하여 자극적인 결론을 내리기 쉽습니다. 하지만 그는 가설을 입증하기 위해 주관적 인상을 배제하고, GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash 등 프론티어 상용 모델부터 오픈소스 모델에 이르기까지 당시 업계를 선도하던 주요 AI 모델 7종을 한데 모아 대규모 대조군 실험 환경을 구축했습니다.
실험의 핵심은 '펠리칸과 자전거'라는 조합이 가지는 특수성을 일반화된 대조군 속에서 고립시켜 관찰하는 것이었습니다. 이를 위해 카스티요는 펠리칸을 포함한 8가지 동물(코끼리, 개, 고양이 등)과 자전거를 포함한 6가지 탈것(외발자전거, 휠체어, 스케이트보드, 비행기 등)을 교차 매칭하여 총 48가지의 개별 프롬프트를 도출했습니다. 나아가 일시적인 출력 변동이나 우연성을 배제하고 결과의 재현성을 확보하고자 조합당 3회씩 반복 생성을 수행함으로써, 7개 모델에 걸쳐 총 1,008개의 SVG 코드 및 벡터 이미지를 수집했습니다.
이렇게 수집된 대량의 데이터셋을 정량적으로 측정하는 방식 또한 매우 세련되었습니다. 사람이 수천 개의 벡터 이미지를 눈으로 일일이 평가할 때 생길 수 있는 주관적 편향과 피로도를 방지하기 위해, 고성능 LLM을 객관적 심사위원으로 기용했습니다. 심사위원 모델은 생성된 SVG 문법의 구조적 유효성뿐만 아니라 프롬프트 준수율, 형태적 완성도, 그리고 요소 간의 자연스러운 구도적 결합을 다각도로 평가하여 정밀한 산술 점수로 수치화했습니다.
단순한 '예쁘다/안 예쁘다'의 호불호 평가를 넘어 표준화된 루브릭에 기반한 정량 데이터를 구축함으로써, 벤치맥싱 여부를 통계적으로 검증할 수 있는 강력한 기반을 마련한 셈입니다.
이 실험에서 가장 흥미로운 대목은 통계적 분석을 통해 기저 난이도를 통제한 방식입니다. 예를 들어 휠체어나 스케이트보드처럼 구조가 상대적으로 단순한 소재는 기본 점수가 높은 반면, 바퀴 살과 복잡한 프레임을 지닌 자전거는 소재 자체의 난이도가 높아 기본 평점이 낮을 수밖에 없습니다.
카스티요는 회귀 분석 모델을 도입하여 개별 동물과 탈것이 가진 고유의 표현 난이도를 통제(control)한 뒤, '펠리칸'과 '자전거'가 만났을 때만 발생하는 별도의 가산점, 즉 상호작용 항(interaction term)이 통계적으로 유의미한지 추적했습니다. 단순 비교에 그치지 않고 편향 요인을 제거하려 한 방법론적 엄정함이 돋보이는 대목입니다.
실험 결과는 예상과 달리 "유의미한 펠리칸맥싱의 증거는 없다"는 쪽으로 귀결되었습니다. 펠리칸의 평균 점수는 전체 동물 중 6위에 머물렀고, 자전거 역시 탈것 중 5위에 그쳐 족보에 해당하는 조합이 오히려 평균 이하의 성적을 기록했습니다. 분석 과정에서 Gemini 3.5 Flash 모델이 펠리칸-자전거 조합에서 $p < 0.05$ 수준의 통계적 유의성을 보인 순간이 있었으나, 카스티요는 수십 개의 프롬프트를 동시에 검정할 때 우연히 발생하는 1종 오류(False Positive) 가능성을 파악하고 본페로니 교정(Bonferroni correction)을 적용하여 이 점수마저 단순 오차 범위 내의 수치임을 명확히 판명해냈습니다.
나아가 그는 이미지의 구도와 시각적 요소 패턴을 분석하여 암기 여부를 추가 검증했습니다. 펠리칸-자전거 이미지들이 우측을 바라보거나 스카프, 해 등의 특정 요소가 자주 등장하는 현상이 관찰되었으나, 이는 펠리칸-자전거만을 위한 암기의 결과라기보다는 모델들이 SVG 코드를 생성할 때 기본적으로 가지는 전반적인 유도 편향(inductive bias)에 가까웠습니다. 다른 동물이나 탈것 조합에서도 똑같은 방향성과 배경 요소가 반복되었기 때문입니다.
딜런 카스티요의 이 실험은 AI 벤치마크 평가 방법론에 있어 매우 훌륭한 이정표를 제시합니다. 특정 벤치마크 왜곡 현상을 단순한 심증이 아닌 다중 가설 검정과 통계 모델링으로 입증하려 한 시도는 시사하는 바가 큽니다. 다만 그 역시 솔직히 인정하듯, 80달러 남짓한 예산 제약으로 인한 조합당 3회의 적은 샘플 수, 단일 LLM 심사위원 의존성, 그리고 '비행기(plane)' 같은 단어가 기하학적 평면으로 다의적으로 해석된 프롬프트의 한계 등은 아쉬움으로 남습니다.
하지만 이 글이 던지는 가장 강력한 시사점은 'SVG맥싱(SVGmaxxing)'이라는 대안적 해석입니다. 연구실들이 '펠리칸-자전거'라는 특정 족보 문제만 꼼수로 훈련시킨 것이 아니라, SVG 코드를 그려내는 근본적인 역량 자체를 끌어올리는 전체적 최적화를 진행했을 가능성입니다.
근본 체력이 강화되면 모든 조합의 점수가 함께 상승하므로 상대적 가산점을 찾는 실험 방식으로는 편법을 구분하기 어렵게 됩니다. 즉, 특정 족보를 암기한 편법과 모델 전체의 가시적 성능 향상을 통계적으로 단번에 구분하기 어렵다는 역설이 발생합니다.
결국 카스티요의 연구는 AI 개발사들이 아직까지는 당장의 족보 맞추기용 편법에 의존하기보다, 전반적인 이해 및 생성 능력을 기르는 건강한 방식으로 모델을 발전시키고 있음을 보여줍니다. 동시에 벤치마크의 신뢰성을 끊임없이 의심하고 과학적인 방법론으로 검증하려는 노력이 왜 필요한지 잘 일깨워줍니다.