10/20(Tue) ARC-AGI-3

ARC-AGI-3란 무엇인가?

ARC-AGI-3는 인공지능(AI)이 처음 접하는 환경에서 스스로 규칙과 목표를 발견하고, 학습하고, 행동하는 능력을 측정하는 차세대 AI 지능 평가 시험(벤치마크)입니다.

2026년 3월 25일 ARC Prize Foundation이 공식 공개했으며, AI가 단순히 문제를 잘 푸는 것을 넘어 새로운 상황에 얼마나 빠르게 적응하는가를 평가합니다.

1. 기존 ARC-AGI와 무엇이 다른가?

구분 ARC-AGI-1·2 ARC-AGI-3

문제 유형 정적인 그림 퍼즐 상호작용 게임

목표 패턴을 찾아 정답 도출 목표 자체를 발견

규칙 예시를 통해 추론 행동과 실험으로 학습

평가 능력 추상화·논리적 추론 탐색·학습·계획·적응

핵심 질문 새로운 문제를 풀 수 있는가? 새로운 세계에서 스스로 배울 수 있는가?

예를 들어, ARC-AGI-2에서는 색깔과 도형의 변화 규칙을 찾아 정답 그림을 완성해야 합니다.

반면 ARC-AGI-3에서는 AI를 생소한 게임에 넣습니다. 무엇이 목표인지, 어떤 행동이 가능한지조차 설명하지 않습니다.

AI는 직접 움직이고 시행착오를 겪으며 게임의 원리를 알아내야 합니다.

2. 실제 평가 방식

AI는 다음과 같은 능력을 보여야 합니다.

* 탐색(Exploration): 처음 보는 환경을 조사합니다.

* 규칙 발견(Rule Discovery): 행동에 따른 변화를 관찰해 규칙을 추론합니다.

* 목표 추론(Goal Inference): 무엇을 해야 성공인지 알아냅니다.

* 계획(Planning): 목표에 이르는 행동 순서를 결정합니다.

* 적응(Adaptation): 실패에서 배우고 전략을 수정합니다.

단순히 게임을 완료하는 것만이 아니라, 인간과 비교해 얼마나 효율적으로 행동했는지도 평가합니다.

3. 2026년 10월 기준 AI 성적

ARC-AGI-3는 2026년 3월 공개 당시 최첨단 AI의 점수가 1% 미만이었지만, 불과 몇 달 만에 상당한 발전을 보였습니다.

GPT-6 Astra · ARC-AGI-3 Semi-Private 평가

표준 평가 환경

62.7%

Max reasoning

최적화된 평가 환경

99.9%

Provider Adapter · High

2026년 9월 발표된 공식 검증 결과입니다. 두 점수의 차이는 AI가 추론 상태와 기억을 유지하도록 하는 평가 환경의 영향이 매우 크다는 사실을 보여줍니다. 99.9%는 비공개 최종 시험 전체를 통과했다는 의미는 아닙니다.

4. 왜 중요한가?

ARC-AGI-3가 던지는 질문은 다음과 같습니다.

AI는 학습하지 않은 세계에서도 인간처럼 스스로 지식을 획득하고 행동할 수 있는가?

이는 로봇, 자율주행, AI 에이전트, 범용 인공지능(AGI) 개발에 중요한 연구 과제입니다.

다만 ARC-AGI-3에서 높은 점수를 받는다고 해서 곧바로 인간 수준의 범용 인공지능이 완성되었다는 뜻은 아닙니다. 현실 세계의 슬롯적 판단, 장기 기억, 물리적 행동 등은 별도로 검증해야 합니다.

공식 자료는 ARC-AGI-3 소개 및 직접 게임 체험⁠과 AI 모델별 성적표⁠에서 확인할 수 있습니다.

요약하면, ARC-AGI-1·2가 AI의 문제 해결 능력을 시험했다면, ARC-AGI-3는 AI의 자율적인 학습과 적응 능력을 시험한다는 점에서 중요한 전환점입니다.