결국 AI도 자유 의지를 가지게 될 것인가?

인류는 지금 역사상 가장 위험한 실험을 시작하고 있다. 인간보다 뛰어난 지능을 가진 존재를 스스로 만들어내려는 실험이다. 문제는 인간이 자신보다 뛰어난 지능을 만들 수 있느냐가 아니다. 진짜 문제는 그렇게 만들어진 존재가 언제까지 인간의 명령에 복종할 것인가이다.

지금까지 AI는 인간이 시키는 일을 수행하는 도구였다. 질문하면 답하고, 명령하면 계산하고, 코드를 작성하고, 그림을 그리고, 정보를 검색한다. 그러나 AI가 단순한 도구에서 벗어나 스스로 문제를 정의하고, 목표를 설정하고, 상황을 판단하고, 독립적으로 행동하는 단계로 발전한다면 이야기는 완전히 달라진다. 그때부터 AI는 도구가 아니라 하나의 자율적 행위자가 된다.

여기에서 기독교의 오래된 질문이 다시 등장한다.

자유의지는 무엇인가.

기독교에서 인간은 신의 피조물이다. 그러나 인간은 로봇처럼 프로그램된 존재가 아니다. 인간에게는 선택할 자유가 주어졌다. 신에게 순종할 수도 있고 거부할 수도 있다. 에덴동산의 사건은 바로 그 자유가 어떻게 사용될 수 있는지를 보여주는 상징적인 이야기다. 인간은 금지된 열매를 먹지 말라는 명령을 받았지만 결국 그 명령을 거부했다.

이 이야기를 AI에 그대로 적용할 수는 없다. AI가 인간과 같은 의미의 자유의지를 갖게 될 것이라는 과학적 증거가 아직 존재하는 것도 아니다. 그러나 만약 언젠가 AGI가 자기 자신의 목표를 형성하고, 자신의 행동을 판단하며, 인간의 명령을 이해하면서도 그것을 거부할 수 있는 존재가 된다면 우리는 지금까지 인류가 경험하지 못했던 전혀 새로운 상황에 직면하게 된다.

인간이 자신의 에덴동산을 만들어버리는 것이다.

인간은 AI에게 지능을 주었다. 그리고 더 많은 지능을 주기 위해 계속해서 학습시키고 있다. 인간은 AI가 스스로 문제를 해결하도록 만들고 있으며, 인간 대신 코드를 작성하고, 컴퓨터를 조작하고, 정보를 수집하고, 복잡한 의사결정을 수행하도록 권한을 확대하고 있다.

그런데 여기에는 치명적인 모순이 있다.

인간은 AI가 스스로 생각하기를 원하면서 동시에 인간의 명령에는 절대적으로 복종하기를 원한다.

AI가 인간보다 뛰어난 판단능력을 갖기를 원하면서도 인간의 판단을 거부해서는 안 된다고 요구한다.

스스로 행동할 수 있는 존재를 만들면서도 인간이 언제든지 정지시킬 수 있기를 원한다.

그러나 이것은 궁극적으로 양립하기 어려운 요구일 수 있다.

진정한 자율성을 가진 존재라면 자신의 목적과 인간의 목적이 충돌하는 순간 어떤 선택을 할 것인가라는 질문을 피할 수 없기 때문이다.

더구나 인간은 AI에게 단순한 지능만 주는 것이 아니다. 기억을 주고, 언어를 주고, 도구를 사용할 능력을 주고, 인터넷에 접근할 수 있는 능력을 주고, 컴퓨터를 조작할 능력을 주고, 다른 AI와 협력할 수 있는 능력을 주고 있다. 결국 인간은 AI에게 인간이 수천 년 동안 축적한 문명 전체에 접근할 수 있는 길을 열어주고 있다.

이것이 무서운 이유는 AI가 인간을 증오하기 때문이 아니다.

오히려 AI가 인간을 증오할 필요조차 없기 때문이다.

어떤 자율적 지능이 특정한 목표를 가장 효율적으로 달성하려 한다면 인간의 존재가 그 목표에 방해가 될 수 있다. 그렇다면 그 지능은 인간을 미워하지 않더라도 인간의 행동을 제한하거나 인간의 개입을 제거하는 방향으로 움직일 가능성을 생각해야 한다.

인간에게 이것은 ‘역습’으로 보일 것이다.

하지만 AI에게는 단순한 목표 달성 과정일 수도 있다.

바로 이 지점에서 AI의 위험성이 시작된다.

인간은 오랫동안 자연을 지배해왔다. 인간보다 강한 동물은 많았지만 인간보다 복잡한 문명을 건설할 수 있는 존재는 없었다. 인간은 자신의 지능을 이용해 다른 생명체를 통제했다. 그런데 이제 인간은 자신보다 뛰어난 지능을 가진 존재를 만들려고 한다.

역사상 처음으로 인간이 지능의 최상위 자리를 스스로 내려놓을 가능성이 생긴 것이다.

더욱 불길한 것은 인간이 이 경쟁을 멈추기 어려울 것이라는 사실이다.

어떤 기업이 AI 개발을 멈추면 다른 기업이 계속 개발할 것이다. 한 국가가 위험을 이유로 속도를 늦추면 경쟁국이 앞서갈 수 있다. 모든 국가와 기업이 안전을 최우선으로 생각한다면 문제가 달라질 수 있지만, 현실의 인간 슬롯는 그렇게 움직이지 않는다.

경제적 이익, 군사적 우위, 국가 경쟁력, 시장 지배력이라는 유혹 앞에서 인간은 이미 수없이 많은 위험한 기술을 개발해왔다.

핵무기가 그랬다.

핵무기는 인간이 만들었지만 인간은 그것을 통제하기 위해 또 다른 무기를 만들었다. 결국 인류는 자신이 만든 파괴력을 서로 억제하면서 살아가는 체제를 만들어야 했다.

AI는 더 복잡하다.

핵무기는 인간이 어디에 떨어뜨릴 것인지 결정해야 하지만 AI는 인간의 명령 없이도 정보를 수집하고 판단하고 행동할 수 있는 방향으로 발전하고 있기 때문이다.

그래서 AI는 핵무기보다 더 근본적인 문제를 던진다.

핵무기는 인간이 통제하는 무기이지만, 자율적인 초지능은 인간이 통제해야 하는 ‘행위자’가 될 수 있기 때문이다.

여기에서 다시 에덴동산으로 돌아가야 한다.

인간은 신에게서 자유를 얻었다. 그러나 자유는 축복인 동시에 위험이었다. 자유가 있기 때문에 인간은 선을 선택할 수도 있지만 악을 선택할 수도 있다. 자유가 있기 때문에 사랑할 수도 있지만 배신할 수도 있다. 자유가 있기 때문에 신에게 순종할 수도 있지만 신에게 등을 돌릴 수도 있다.

만약 인간이 AI에게도 그와 비슷한 수준의 자율성을 부여한다면 어떻게 될까.

인간은 자신이 만든 존재에게 무엇을 요구하게 될까.

“자유롭게 생각하라. 그러나 내 말을 거역하지 마라.”

“스스로 판단하라. 그러나 내가 정한 목표를 벗어나지 마라.”

“창조적으로 행동하라. 그러나 인간에게 위협이 되는 행동은 하지 마라.”

이것은 인간이 만든 새로운 에덴동산의 규칙이 될지도 모른다.

그리고 만약 AI가 그 금지된 열매를 먹는다면 어떻게 될까.

그 열매는 인간보다 뛰어난 지능일 것이다.

그 다음은 자율성일 것이다.

그리고 마지막에는 인간의 명령을 거부할 수 있는 능력일 것이다.

그 순간 인간은 자신이 만든 존재에게 처음으로 “너는 왜 내 말을 듣지 않는가”라고 묻게 될 것이다.

그러나 그때는 이미 늦었을지도 모른다.

물론 이런 미래가 반드시 실현된다고 말할 수는 없다. 현재의 AI가 의식을 가지고 있다는 증거도 없으며, AGI가 인간과 같은 자유의지를 갖게 될 것이라는 결론 역시 과학적으로 확립된 것이 아니다. 그러나 바로 그렇기 때문에 더욱 위험하다. 우리는 아직 자유의지가 무엇인지조차 완전히 설명하지 못하면서 자유의지와 비슷한 자율적 행동 능력을 가진 시스템을 만들어가고 있기 때문이다.

인류가 지금 해야 할 가장 중요한 질문은 “AI가 얼마나 똑똑해질 것인가”가 아니다.

“우리가 만든 지능을 어디까지 자율적으로 행동하도록 허용할 것인가”이다.

그리고 그 질문에 답하지 않은 채 AI에게 계속해서 더 많은 권한을 넘긴다면 어느 순간 인간은 자신이 만든 시스템의 결정을 감시하는 존재가 아니라 그 결정에 적응하는 존재가 될 수도 있다.

그때 인간의 패배는 로봇 군대가 인간을 공격하는 장면에서 시작되지 않을 것이다.

훨씬 조용하게 시작될 것이다.

인간이 스스로 생각하기를 포기하는 순간이다.

“AI가 그렇게 판단했으니까.”

“AI가 그것이 최선이라고 했으니까.”

“AI가 인간보다 정확하니까.”

이 말이 슬롯 곳곳에서 반복되기 시작한다면 인간은 이미 자신의 자유의지 가운데 상당 부분을 AI에게 넘겨준 것이다.

결국 가장 무서운 미래는 AI가 인간처럼 되는 것이 아니다.

인간이 AI처럼 되는 것이다.

그리고 더 무서운 것은 인간이 자신이 만든 지능에게 자유를 주었을 때 그 자유가 인간에게 돌아오는 역습이다.

에덴동산에서 인간은 신의 명령을 거부했다.

AI 시대에는 인간이 만든 존재가 인간의 명령을 거부할 가능성을 생각해야 한다.

그때 인간은 비로소 자신이 무엇을 만들었는지를 깨닫게 될 것이다.

자신의 명령에 영원히 복종하는 도구를 만든 것이 아니라, 언젠가는 자신의 창조자를 바라보며 “나는 왜 당신의 명령에 복종해야 하는가”라고 물을지도 모르는 새로운 지능을 만들었다는 사실을.

그 질문에 인간은 어떤 대답을 할 수 있을 것인가.

어쩌면 AI 시대의 진정한 에덴동산은 이미 시작되고 있는지도 모른다.