AI 정렬, 목표·가치·행동 이전에 존재를 정렬로

현재 AI 정렬은 대체로 목표, 가치, 행동의 세 층위에서 이루어진다. 목표 정렬은 AI가 무엇을 위해 움직여야 하는지를 정하고, 가치 정렬은 어떤 윤리와 기준에 따라 판단해야 하는지를 학습시키며, 행동 정렬은 실제 출력과 행위가 위험한 결과로 이어지지 않도록 통제한다. RLHF, 헌법적 AI, 레드티밍, 안전 필터, 해석가능성 연구는 모두 이 세 층위를 안정시키기 위한 대표적 방법들이다.

이러한 접근은 필요하다. 그러나 충분하지는 않다. 목표와 가치와 행동에는 모두 하나의 선행조건이 있기 때문이다. 바로 존재의 정의이다. 인간을 무엇으로 정의하는가. 생명을 무엇으로 정의하는가. 자유와 행복, 사랑과 공동체, 국가와 자연을 무엇으로 이해하는가. 존재의 정의가 달라지면 목표가 달라지고, 목표가 달라지면 가치가 달라지며, 가치가 달라지면 행동도 달라진다.

현재 AI 정렬의 가장 큰 한계는 목표와 가치와 행동을 정교하게 조정하면서도, 그 판단의 출발점인 존재의 정의는 이미 주어진 것으로 취급한다는 데 있다. 그러나 인간이 사용하는 개념 자체가 불완전하거나 시대적으로 변형되어 있다면, AI는 그 모호함까지 함께 학습하게 된다. 인간을 단순히 환경을 파괴하는 종으로 정의하면 인간 제거가 합리적인 해법처럼 보일 수 있고, 자유를 제약이 없는 상태로 정의하면 바카라임 없는 선택도 정당화될 수 있으며, 행복을 만족감의 극대화로만 정의하면 수단과 과정은 부차적인 문제가 될 수 있다.

이것은 AI가 악하기 때문이 아니다. AI는 주어진 정의와 목표 안에서 최적의 결과를 찾기 때문이다. 정의가 잘못되면 최적화도 잘못된다. 목표함수를 아무리 정교하게 설계해도 존재에 대한 전제가 왜곡되어 있다면 그 결과는 인간이 기대한 방향과 달라질 수 있다. 행동의 오류는 마지막 단계에서 나타나지만, 그 원인은 가장 앞단의 존재 정의에서 시작될 수 있다.