"터미네이터 시나리오의 서막": 스스로 진화하는 AI

업계 수장들은 기술적 돌파구가 머지않아 초지능을 탄생시킬 것이라 예견하지만, 안전 전문가들은 우리가 아직 준비되지 않았다고 경고한다.

최근 유니버시티 칼리지 런던(UCL)의 AI 학과 교수인 팀 록태셸(Tim Rocktäschel)은 새로운 연구 분야에 대해 강의하던 중, 한 학생으로부터 흥미로운 역사적 비유를 들었습니다.

"어쩌면 지금 우리 모두는 각자 작은 '오펜하이머'가 되어가고 있는 것 같네요." 한 학생이 툭 던진 농담이었습니다. 얼마 전까지 구글 딥마인드에서 수석 연구원으로 일했던 록태셸 교수도 그 말이 꽤 뼈아픈 정곡을 찔렀음을 인정할 수밖에 없었습니다.

핵무기 개발에 비견된 이번 연구의 실체는 바로 오픈AI, 앤트로픽 같은 유수의 AI 연구소들과 신생 스타트업들이 뛰어든 전대미문의 기술 경쟁입니다. 바로 '스스로 다음 세대의 AI를 구축하는 AI'를 개발하는 것입니다.

최근 6개월간 AI의 소프트웨어 코딩 능력이 비약적으로 상승하면서, 업계 리더들과 연구진들은 인간의 개입이 거의 없이도 스스로 성능을 개선하는 AI의 등장이 눈앞에 다가왔다고 확신하고 있습니다.

이처럼 '독학'하는 AI는 더 강력한 성능을 가진 자신들의 후속 버전을 계속해서 만들어낼 수 있습니다. 세대를 거듭할수록 이 과정을 무한히 반복하며 새로운 기능을 추가하거나 운영 효율성을 극대화하는 방식입니다.

업계에서 이른바 '재귀적 자기 개선(Recursive Self-Improvement, RSI)'이라 불리는 이 플라이휠(선순환) 효과는 구글 제미나이, 오픈AI 챗GPT, 앤트로픽 클로드 등의 기반이 되는 거대언어모델(LLM)을 순식간에 뛰어넘어, 인류가 가보지 못한 미지의 영역으로 AI를 이끌 수 있습니다.

AI 낙관론자들은 이 기술이야말로 AI가 인간 지능의 한계를 뛰어넘는 이른바 '초지능Superintelligence)' 시대로 가기 위한 핵심 열쇠라고 믿고 있습니다.

AI 안전 지지자들은 '재귀적 자기 개선(RSI)'이 거대언어모델(LLM)의 폭주를 막아주던 최소한의 안전장치마저 완전히 무너뜨릴 수 있다고 우려합니다. 예컨대 AI가 대규모 사이버 공격을 감행하거나, 인류가 접해보지 못한 새로운 생화학 무기 제조를 돕는 식입니다. 오늘날의 코딩 AI 에이전트가 인간 프로그래머의 하루 치 업무를 단 몇 분 만에 끝내고 있는 상황을 감안하면, 이 진화의 선순환(플라이휠)은 인류가 통제할 수 없을 정도로 빠르게 맞물려 돌아가기 시작할 수 있습니다.

AI 안전 연구 단체인 Apollo Research의 대표 Marius Hobbhahn은 "모두가 이 목표를 향해 전속력으로 질주하고 있지만, 정작 이를 [안전하게] 통제하는 방법은 아무도 모른다"며, "더 심각한 건 인류가 이 위기 상황을 전혀 인지하지 못하고 있다는 점"이라고 꼬집었습니다.

AI 연구진과 안전 운동가들이 입을 모아 동의하는 한 가지는 '그 순간'이 머지않았다는 사실입니다. 대다수 전문가는 인간의 개입 없이 스스로를 학습시킬 수 있는 강력한 AI의 등장 시기를 이르면 2년 안팎으로 내다보고 있습니다.

이 때문에 업계 내부에서는 격렬한 논쟁이 벌어지고 있습니다. RSI가 초지능 시대를 열어 과학적 대전환과 막대한 생산성 향상을 가져다줄 것이라 믿는 열렬한 'AI 낙관론자'들과, 기술이 인간의 통제 범위를 벗어나는 '급격한 기술 도약(Rapid take-off)'의 순간이 임박했다고 두려워하는 '안전 캠페이너'들이 정면으로 충돌하고 있는 것입니다.

심지어 이 기술을 직접 개발하는 당사자들조차 그 위험성을 뼈저리게 느끼고 있습니다.

런던의 AI 스타트업 인헤런트 AI(Inherent AI)의 창립자이자 전 백악관 AI 자문관인 탠텀 콜린스(Tantum Collins)는 다음과 같이 말했습니다.

"재귀적 자기 개선은 AI 역사, 나아가 과학과 인류의 삶 전반에 일어날 수 있는 '최고의 축복'이 될 것이 분명합니다. 하지만 반대로, 이 모든 영역에서 인류 사상 '최악의 재앙'이 될 수도 있습니다."

록태셸 교수 역시 딥마인드를 떠나 RSI의 한 갈래인 '개방형 진화(Open-endedness)'를 연구하는 스타트업에 합류했습니다. 이는 현재의 목표 지향적인 LLM 학습 방식보다는 생물학적 진화 개념에 더 뿌리를 둔 방식입니다.

그가 합류한 스타트업의 이름은 아예 '리커시브 슈퍼인텔리전스(Recursive Superintelligence, 재귀적 초지능)'입니다. 전직 딥마인드와 오픈AI 연구원들이 설립한 이 회사는 창업한 지 불과 몇 달 만인 지난 5월, 40억 달러(약 5조 5,000억 원)의 기업 가치를 인정받으며 6억 5,000만 달러(약 9,000억 원)의 투자금을 유치했습니다.

록태셸 교수는 현재 상황을 낙관하며 이렇게 말합니다. "이러한 기술적 문제들은 결국 기술적으로 해결할 수 있습니다. '개방형 진화'를 통해 얻은 모든 기술적 진보는 AI의 안전성을 확보하는 데도 똑같이 적용될 수 있으니까요."

'리커시브 슈퍼인텔리전스'의 최고경영자(CEO)인 리처드 소처(Richard Socher) 역시 위험을 감수할 만한 가치가 있다고 덧붙였습니다. 그는 자사의 방식이 "초지능으로 가는 가장 빠른 길"이라 확신하며, "그 시대에 더 빨리 도달할수록 인류는 더 많은 문제를 해결하고 더욱 번영할 수 있을 것"이라고 강조했습니다.

최근 투자 열풍 속에서 AI 스타트업들 사이에 이런 과장된 호언장담은 너무나 흔해졌습니다. 때문에 냉소적인 이들은 '재귀적 자기 개선(RSI)' 역시 귀 얇은 벤처 캐피털(VC)로부터 더 막대한 투자금을 뜯어내기 위해 꾸며낸 최신 마케팅 수사에 불과하다며 치부해 버리기도 합니다.

하지만 오픈AI의 공동 창립자이자 테슬라의 전 AI 디렉터로서 업계에서 가장 존경받는 연구자 중 한 명인 안드레이 카파시(Andrej Karpathy)는 RSI를 "최종 보스전", 즉 초지능으로 가기 위해 넘어야 할 '마지막 남은 장벽'이라고 불렀습니다.