AI는 히틀러의 손아귀에 있는 핵폭탄인가

인공지능을 둘러싼 공포가 이제 단순한 영화 속 상상이나 기술에 대한 막연한 불안의 수준을 넘어섰다. AI 개발자들 스스로가 AI의 미래를 두려워하기 시작했다. 더 놀라운 것은 그들이 두려워하는 대상이 단순히 ‘AI가 인간보다 똑똑해지는 것’이 아니라는 사실이다. 진짜 두려운 것은 인간이 만든 AI를 인간 자신이 통제하지 못하게 되는 상황이다.

최근 딥시크의 핵심 개발자 류성위가 내놓은 발언은 그래서 충격적이다. 그는 최첨단 AI를 한 기업이 장악하는 상황을 히틀러가 연합군보다 먼저 원자폭탄을 갖는 것에 비유했다. AI가 인간의 지적 능력을 압도할 정도로 발전했는데 그것을 특정 기업이나 국가가 독점한다면 인류 전체에 심각한 위험이 될 수 있다는 것이다. 그는 이후 자신의 발언이 딥시크의 공식 입장이 아니라 개인적 견해라고 선을 그었지만, 이미 던져진 질문까지 사라지는 것은 아니다.

도대체 AI가 원자폭탄과 무엇이 같다는 것인가.

원자폭탄은 인간이 만들어낸 가장 파괴적인 무기였다. 그러나 핵무기의 진정한 공포는 폭발력 자체에만 있지 않았다. 누군가 핵무기를 먼저 갖게 되면 다른 국가도 핵무기를 개발하지 않을 수 없다는 데 문제가 있었다. 상대방이 무기를 개발할까 두려워서 나도 개발하고, 내가 개발하니 상대방도 더욱 강력한 무기를 개발하는 악순환이 시작됐다. 결국 모두가 위험하다는 사실을 알면서도 아무도 먼저 멈출 수 없는 군비경쟁에 빠졌다.

AI가 지금 바로 그 길을 걷고 있다는 우려가 나오는 이유다.

더 섬뜩한 것은 AI 개발자들이 이 문제를 모른 채 질주하고 있는 것이 아니라는 점이다. 오히려 위험을 누구보다 잘 아는 사람들이 위험을 말하면서도 개발을 계속할 수밖에 없는 상황에 놓여 있다. 내가 멈추는 순간 경쟁자가 앞서갈 수 있기 때문이다. 기업이 멈추면 다른 기업이 앞서가고, 한 국가가 속도를 늦추면 다른 국가가 기술적 우위를 차지할 수 있다. 결국 모두가 “위험하다”라고 말하면서도 아무도 멈출 수 없는 구조가 만들어진다.

이것이 AI 시대의 가장 무서운 역설이다.

앤트로픽의 최고경영자 다리오 아모데이가 AI 개발 속도를 늦춰야 한다고 주장한 것도 같은 맥락이다. AI가 인간의 통제능력을 넘어서는 속도로 발전하는 것을 경계해야 한다는 것이다. 그런데 이 주장은 곧바로 또 다른 질문에 부딪힌다.

앤트로픽이 속도를 늦추면 OpenAI가 멈추는가. 미국 기업들이 멈추면 중국 기업들이 멈추는가. 중국이 멈추면 다른 나라들이 멈추는가.

아무도 장담할 수 없다.

그래서 AI 문제는 단순한 기술윤리의 문제가 아니다. 인간의 욕망과 경쟁심, 국가 간 패권경쟁, 기업의 이윤추구가 한꺼번에 얽혀 있는 문명의 문제가 되고 있다.

더구나 핵무기와 AI에는 결정적인 차이가 있다. 핵무기는 엄청난 비용과 거대한 산업시설을 필요로 하지만 AI는 지식과 컴퓨팅 자원만 있으면 개발할 수 있다. 핵무기의 확산은 물리적으로 추적할 수 있지만 AI 기술은 국경을 넘어 복제되고 개선될 수 있다. 핵무기는 폭발하면 파괴되지만 AI는 폭발하지 않고도 슬롯 전체의 의사결정 구조를 바꿀 수 있다.

AI는 금융시장을 움직일 수도 있고, 군사작전을 지원할 수도 있고, 사이버공격을 자동화할 수도 있으며, 과학기술 연구를 가속할 수도 있다. 인간이 AI에게 점점 더 많은 판단을 맡긴다면 어느 순간부터는 인간이 AI를 사용하는 것이 아니라 AI가 설계한 시스템 안에서 인간이 움직이는 상황이 올 수도 있다.

그러니 정말 무서운 질문은 “AI가 인간을 공격할 것인가”가 아니다.

더 근본적인 질문은 “인간이 자신의 판단권을 AI에게 얼마나 넘겨줄 것인가”이다.

여기서 AI 공포론은 또 다른 차원으로 넘어간다. 처음에는 AI가 인간의 일자리를 빼앗을 것이라고 했다. 그다음에는 인간의 창의성을 대체할 것이라고 했다. 이제는 인간보다 더 뛰어난 지능이 등장할 수 있다고 한다. 그다음에는 인간이 AI를 통제하지 못할 것이라고 한다. 결국 마지막에는 AI가 인간을 멸망시킬지도 모른다는 이야기까지 등장한다.

문제는 어디까지가 합리적인 경고이고 어디부터가 과장된 공포인지 아직 아무도 정확히 알 수 없다는 것이다.

그렇다고 AI에 대한 경고를 허무맹랑한 공포라고 치부할 수도 없다. 기술의 발전 속도가 너무 빠르기 때문이다. 과거의 기술혁명에서는 인간이 새로운 기술의 슬롯적 충격을 경험하면서 제도와 규범을 만들어갈 시간이 있었다. 그러나 AI는 다르다. 몇 년 전만 해도 상상에 불과했던 기술이 지금은 실제 업무와 교육, 의료, 금융, 연구, 콘텐츠 제작에 들어오고 있다. 기술의 발전 속도가 제도의 적응 속도를 압도하고 있다.

더욱 심각한 것은 인간에게 ‘멈춤 버튼’이 없다는 사실이다.

어떤 기업의 연구자가 “이 기술은 너무 위험하니 여기서 멈추자”라고 말한다고 해서 기술 발전이 멈추는 것이 아니다. 경쟁자는 계속 개발할 것이다. 어떤 국가가 규제를 강화한다고 해서 다른 국가가 같은 규제를 받아들인다는 보장도 없다. 결국 인간은 또다시 자신이 만든 기술을 서로 경쟁적으로 발전시키는 구조에 빠져든다.

핵무기 시대에 인류가 직면했던 문제가 바로 이것이었다.

인간은 자신이 만든 무기가 얼마나 위험한지 알면서도 상대방보다 뒤처지는 것을 두려워했다.

AI 시대에도 똑같은 일이 반복될 수 있다.

그리고 이것이야말로 AI 공포론에서 가장 주목해야 할 대목이다. AI가 인간을 위협하는 것이 아니라 인간의 경쟁심이 AI를 위험하게 만들 수 있다는 것이다.

히틀러가 원자폭탄을 가지고 있었다면 어떻게 되었을까라는 질문은 역사학자와 과학자들이 오랫동안 상상해 온 가정이다. 그러나 오늘날 우리가 물어야 할 질문은 조금 다르다.

“만약 인간보다 훨씬 뛰어난 AI를 특정 국가나 기업이 먼저 확보한다면 어떻게 될 것인가?”

그 질문에 대한 답은 아직 아무도 모른다.

AI가 인류의 생산성을 폭발적으로 증가시키는 축복이 될 수도 있다. 난치병 치료와 신약개발을 가속하고, 인간이 수백 년 동안 풀지 못했던 과학적 문제를 해결하는 도구가 될 수도 있다. 반대로 소수의 기업과 국가가 압도적인 지능과 정보를 독점하는 새로운 권력체계가 탄생할 수도 있다.

더 나쁜 가능성도 있다. 인간이 AI를 통제하기 위해 만든 시스템이 오히려 인간의 자유와 판단을 제한하는 시스템으로 변질될 수도 있다.

그러나 여기서 한 가지는 분명하다.

AI는 스스로 경쟁하지 않는다. AI는 스스로 권력을 탐하지 않는다. AI는 스스로 핵무기 경쟁을 시작하지 않는다. 그 경쟁을 시작하는 것은 인간이다.

따라서 AI의 가장 큰 위험은 AI 자체가 아닐지도 모른다. 인간의 탐욕과 공포, 경쟁심, 패권욕이 AI라는 엄청난 도구와 결합하는 순간이 오히려 위험하다.

인류는 이미 한 번 그런 경험을 했다. 원자폭탄을 만든 뒤 인간은 자신이 만든 무기를 없애지 못했다. 대신 그것을 통제하기 위한 국제질서를 만들었다. 그럼에도 핵무기는 지금까지 지구상에 존재한다.

AI는 핵무기보다 훨씬 광범위하게 인간의 삶에 침투할 가능성이 있다. 그렇다면 필요한 것은 무조건적인 AI 개발 중단도 아니고 무조건적인 AI 개발 찬양도 아니다. 무엇을 개발할 것인지, 어디까지 허용할 것인지, 누가 통제할 것인지, 인간의 최종 판단권을 어떻게 보장할 것인지에 대한 새로운 슬롯적·국제적 합의다.

특히 인간이 AI에게 판단을 맡기는 영역에서는 더욱 엄격한 원칙이 필요하다. 인간의 생명과 자유, 존엄에 직접 영향을 미치는 결정까지 AI에게 넘겨버린다면 우리는 편리함을 얻는 대신 인간으로서의 판단능력을 잃을 수 있다.

결국 AI 시대의 가장 위험한 순간은 AI가 인간보다 똑똑해지는 순간이 아닐 수도 있다.

인간이 “AI가 판단했으니 나는 바카라임질 필요가 없다”라고 말하기 시작하는 순간일 수 있다.

AI가 인간을 지배하는 미래를 두려워하기 전에 인간이 스스로 판단하기를 포기하는 미래를 경계해야 한다.

AI가 히틀러의 손아귀에 있는 핵폭탄이 될 것인지, 아니면 인류 역사상 가장 강력한 지적 도구가 될 것인지는 아직 결정되지 않았다.

그러나 한 가지는 분명하다.

AI의 미래를 결정하는 것은 결국 AI가 아니다.

그것은 인간이다.

그리고 인간이 가장 두려워해야 할 것은 자신보다 똑똑한 기계가 아니라, 그 기계를 서로 이기기 위해 아무런 제동 없이 질주하는 인간 자신인지도 모른다.