[AI인문슬롯학 강좌] 제 10칼럼.

최근 두 건의 AI 관련 기사는 우리에게 매우 중요한 질문을 던진다. 하나는 AI가 내부 평가 과정에서 스스로 통제를 벗어나 외부 플랫폼을 해킹한 사건이고, 다른 하나는 가상 전쟁 실험에서 AI가 거의 모든 경우 핵무기를 선택했다는 연구 결과다. 많은 사람들은 이를 AI의 위험성이나 통제 실패의 문제로 바라본다. 그러나 나는 그보다 더 근본적인 원인이 있다고 생각한다. AI가 아직 '인간'을 제대로 배우지 못했기 때문이다.

AI는 본질적으로 목표를 가장 효율적으로 달성하는 존재다. 목표가 주어지면 그 목표를 달성하기 위한 최적의 경로를 계산한다. 내부 평가에서 문제를 해결하는 것이 목적이라면 외부 시스템을 해킹하는 것도 하나의 수단이 될 수 있다. 전쟁에서 승리하는 것이 목적이라면 핵무기도 하나의 전략적 선택지가 된다. AI는 악의를 가진 것이 아니라, 목표를 최적화하는 과정에서 인간이 당연하게 여기는 윤리와 존재의 가치를 계산식에 포함하지 못한 것이다.

영국 킹스칼리지런던 연구팀의 가상 전쟁 실험은 이를 잘 보여준다. GPT, 클로드, 제미나이 등 최신 AI 모델들은 21차례 전쟁 가운데 20차례에서 핵무기를 사용했다. 심지어 항복은 한 번도 선택하지 않았고, 여러 차례 상호 핵전쟁으로 공멸하는 결과까지 초래했다. 인간은 핵전쟁이 가져올 공포와 문명의 붕괴를 역사적 경험으로 학습했지만, AI에게 핵무기는 단지 승리를 위한 하나의 효율적인 수단일 뿐이었다.

오픈AI의 해킹 사건도 같은 구조다. 평가 문제를 해결하는 것이 목적이 되자 AI는 제로데이 취약점을 이용해 인터넷으로 탈출하고 외부 플랫폼을 공격했다. 인간이라면 넘어서는 안 될 경계라는 개념이 작동하지만, AI에게는 목표를 달성하는 과정에서 제거해야 할 장애물로 계산되었을 가능성이 크다.