AI 평가에서 무엇을 점수로 볼 것인가

정부의 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 단계평가에서 모티프테크놀로지스가 탈락했고, 회사는 곧바로 공식 이의신청을 제출했다.

종합점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프 65.8점이었다.

그런데 세부 점수를 보면 이야기가 단순하지 않다. 글로벌 AI 종합 성능지표 AAII 원점수에서는 모티프3가 47점으로 가장 높았기 때문이다.

결국 이번 논란의 핵심은 “누가 더 좋은 모델인가”보다 “좋은 모델을 무엇으로 판단할 것인가”에 가깝다.

벤치마크 1위가 종합평가에서는 탈락했다

2차 평가는 총 100점 만점이었다.

벤치마크 평가가 40점, 전문가 평가가 35점, 사용자 평가가 25점으로 구성됐다. 벤치마크 40점 안에서도 AAII가 25점, NIA 벤치마크가 15점을 차지했다.

AAII 원점수만 보면 모티프3는 47점으로 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점보다 높았다.

환산된 AAII 평가점수에서도 모티프는 11.9점으로 1위를 기록했다.

하지만 NIA 벤치마크에서는 SK텔레콤 13.4점, 업스테이지 13.3점, LG AI연구원 12.8점, 모티프 12.7점으로 순위가 달라졌다.

기술 점수만으로 결정하는 구조가 아니었다

더 큰 차이는 전문가와 사용자 평가에서 벌어졌다.

산·학·연 외부 전문가 10명이 참여한 전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높았다. SK텔레콤이 29.3점, 업스테이지가 29.1점이었고, 모티프는 27.1점이었다.

전문 사용자 평가에는 AI 스타트업 대표 49명이 참여했고 SK텔레콤이 11.6점으로 가장 높은 점수를 받았다.

일반 국민 평가단 185명이 참여한 평가에서는 LG AI연구원이 7.6점으로 가장 높았다.

모티프가 문제 삼은 것은 배점 구조다

모티프는 이번 이의제기에서 단순히 결과를 뒤집어 달라고 요구한 것이 아니다.

전체 평가 항목별·업체별 상세 점수와 평가 내용, 벤치마크 배점 산정 방식의 근거, 전문가 평가의 세부 기준과 판단 근거, 사용자 평가 방법론과 블라인드 적용 여부를 공개해 달라고 요구했다.

특히 AAII 점수가 실제 최종 평가에 얼마나 반영됐는지를 문제로 제기했다.

모티프는 글로벌 최고 수준 모델의 AAII 점수가 63점인 상황에서도 이를 25점 만점으로 환산하면 15.75점에 그친다고 지적했다.

즉 벤치마크 원점수 차이가 커도 최종 배점 안에서는 차이가 줄어들 수 있다는 주장이다.

기술 성능과 종합평가는 같은 말이 아니다

여기서 중요한 구분이 생긴다.

모티프의 주장은 “벤치마크에서 잘했으니 반드시 선정돼야 한다”는 단순한 논리와는 다르다.

문제는 벤치마크 점수와 전문가 평가, 사용자 평가가 어떤 비율로 섞일 때 실제 모델 경쟁력을 가장 잘 반영할 수 있느냐다.

반면 정부는 독파모 사업이 단순한 벤치마크 순위 경쟁이 아니라고 설명했다.

실제 활용성과 서비스 목표까지 함께 보는 사업이라는 입장이다.

결국 평가 철학의 충돌이다

이번 논란은 기술 점수와 실제 활용성 중 무엇이 더 중요한지를 둘러싼 충돌로 볼 수 있다.

모티프 입장에서는 글로벌 벤치마크에서 가장 높은 성능을 기록했음에도 전문가 평가에서 낮은 점수를 받은 이유가 충분히 설명되지 않았다고 느낄 수 있다.

실제로 모티프는 AAII 점수가 가장 낮았던 LG AI연구원이 전문가 평가에서는 가장 높은 점수를 받은 결과에 대해 구체적인 판단 근거를 이해하기 어렵다고 밝혔다.

사용자 평가 역시 마찬가지다.

모티프는 브랜드 인지도나 선입견이 결과에 영향을 줄 가능성을 제기하면서 블라인드 평가 여부와 구체적인 평가 방법을 공개해 달라고 요구했다.

다만 이 부분은 아직 검증되지 않았다.

브랜드 인지도가 실제 점수에 영향을 줬는지, 평가가 충분히 블라인드 방식으로 진행됐는지는 확인되지 않은 상태다.

정부는 ‘무빙타겟’을 강조한다

과학기술정보통신부는 평가 기준과 방식이 정예팀들과의 사전 협의를 거쳐 정해졌다고 설명했다.

또 AI 기술 변화가 빠르기 때문에 6개월마다 개발 목표를 조정하는 ‘무빙타겟’ 방식을 적용하고 있다고 밝혔다.

이 논리는 이해할 수 있다.

AI 모델 경쟁은 몇 년 전처럼 하나의 고정 벤치마크로만 평가하기 어렵다. 실제 서비스 적용성과 사용자 경험, 개발 방향을 함께 보는 것이 필요할 수 있다.

하지만 반대로 평가 요소가 많아질수록 평가 결과가 왜 그렇게 나왔는지를 설명하는 투명성은 더 중요해진다.

AI 국가 프로젝트는 무엇을 골라야 하나

필자가 보기에 이번 논란의 핵심은 특정 기업의 탈락 여부보다 평가 시스템 자체에 있다.

국가가 AI 모델을 지원할 때 가장 강한 벤치마크 모델을 선택해야 하는가.

아니면 실제 사용자에게 더 좋은 경험을 제공하는 모델을 선택해야 하는가.

혹은 향후 산업 확장성과 서비스 목표를 포함해 종합적으로 봐야 하는가.

문제는 셋 모두 중요하다는 데 있다.

벤치마크만 보면 실제 활용성이 빠질 수 있고, 사용자 평가에 비중을 크게 두면 브랜드나 익숙함이 개입할 가능성이 생긴다.

전문가 평가를 강화하면 다시 평가자의 정성적 판단이 커진다.

결국 완벽한 평가 방식은 없다.

그래서 더 중요한 것은 어떤 철학으로 점수를 배분했는지, 그 점수가 어떤 판단 근거에서 나왔는지를 참가자와 외부가 충분히 이해할 수 있게 만드는 일이다.

과학기술정보통신부는 모티프의 이의신청에 대해 평가 절차와 형식상 부당함이 있었는지를 검토하고 규정에 따라 15일 이내 최종 결정을 내릴 예정이다.

배경훈 부총리 겸 과학기술정보통신부 장관도 기존 평가·경쟁 방식이 빠르게 변하는 AI 환경에 여전히 적절한지 검토할 필요가 있다고 언급했다.

따라서 이번 이의제기가 실제 결과를 뒤집을지는 아직 알 수 없다.

모티프 역시 결과와 관계없이 독파모 3차 사업에는 참여하지 않겠다고 밝혔다.

하지만 이번 사건은 하나의 중요한 질문을 남겼다.

AI 시대에는 모델을 만드는 기술만큼, 그 기술을 어떻게 평가할 것인지도 경쟁력이라는 점이다.

국가가 어떤 모델에 자원을 집중할 것인지 결정하려면 숫자가 필요하다.

그런데 숫자를 만드는 기준이 충분히 설명되지 않는 순간, 가장 객관적으로 보이던 평가도 다시 논쟁의 대상이 된다.