AGI 정렬 2.0, 지능보다 먼저 존재를 정렬하라

인공지능은 이미 인간의 언어를 이해하고, 글을 쓰고, 그림을 그리고, 코드를 작성하는 수준에 도달했다. 그러나 이제 인류가 마주한 다음 단계는 AGI(Artificial General Intelligence), 즉 범용인공지능이다. AGI는 특정 분야만 잘하는 AI가 아니라 인간처럼 다양한 문제를 스스로 이해하고 학습하며 추론하는 지능을 의미한다. 많은 연구자들은 AGI가 인류 문명의 가장 위대한 발명이 될 수도 있고, 가장 큰 위험이 될 수도 있다고 말한다.

오늘날 AGI 연구의 핵심 과제는 AGI 정렬(AGI Alignment)이다. AGI가 인간의 의도와 가치에 맞게 행동하도록 만드는 기술이다. 현재의 정렬 연구는 크게 목표(Goal), 가치(Value), 행동(Behavior)의 세 축으로 이루어진다. AGI가 인간의 목표를 올바르게 이해하고, 인간의 가치에 맞게 판단하며, 위험한 행동을 하지 않도록 만드는 것이다.

RLHF, 헌법적 AI(Constitutional AI), 레드티밍(Red Teaming), 안전 필터, 해석가능성 연구는 모두 이러한 목적을 위해 발전해 왔다. 이들은 AGI의 안전성을 높이는 중요한 기술이며 앞으로도 반드시 필요한 연구이다.

그러나 여기에는 하나의 근본적인 질문이 남아 있다. 목표는 무엇을 위해 존재하는가. 가치는 누구를 위한 가치인가. 행동은 무엇을 보호하기 위한 행동인가.