인류의 마지막 발명품에 붙은 단서 조항
1965년, 영국의 한 통계학자가 짧은 논문 한 편을 발표했다. 제목은 <최초의 초지능 기계에 관한 고찰(Speculations Concerning the First Ultraintelligent Machine)>. 저자는 어빙 존 굿(I. J. Good)이다. 이름은 낯설어도 이력은 화려하다. 2차 세계대전 당시 블레츨리 파크의 'Hut 8'에서 앨런 튜링과 함께 독일군 암호 에니그마를 풀던 사람이었고, 훗날 스탠리 큐브릭이 <2001: 스페이스 오디세이>를 만들 때 인공지능 HAL 9000의 자문을 맡기도 했다.
그 논문에는 지금까지도 수없이 인용되는 문장이 들어 있다.
"최초의 초지능 기계는 인류가 만들어야 할 마지막 발명품이 될 것이다(the first ultraintelligent machine is the last invention that man need ever make)."
인간보다 똑똑한 기계가 한 대 나오면, 그 기계가 자기보다 더 똑똑한 기계를 설계하고, 그 기계가 다시 더 똑똑한 기계를 만든다. 굿은 이 연쇄를 '지능 폭발(intelligence explosion)'이라 불렀다. 발명의 주체가 인간에서 기계로 넘어가니, 인간이 할 일은 더 이상 없다는 것이다.
허나 이 문장은 대개 중간에서 잘린 채 인용된다. 원문은 여기서 끝나지 않는다. 굿은 쉼표 뒤에 단서 하나를 붙였다.
"단, 그 기계가 자신을 통제하는 방법을 우리에게 알려줄 만큼 온순하다면(provided that the machine is docile enough to tell us how to keep it under control)."
60년 전 암호해독가가 붙여 둔 이 단서 조항이 지금 전 세계 안보 전략가들의 머리를 싸매게 만들고 있다. 그리고 굿 본인도 이 조항을 믿지 못하게 된 듯하다. 1998년 그가 3인칭으로 써 둔 자전적 메모에는, 이제는 초지능 기계가 인류의 멸종으로 이어질 것이라고 의심한다는 고백이 담겨 있었다고 전해진다. 인류의 마지막 발명품을 예언한 사람이 말년에는 그 발명품을 두려워하게 된 것이다.
굿의 반대편에는 전혀 다른 역사가 놓여 있다. 바로 전기다.
1882년, 토머스 에디슨은 뉴욕 맨해튼의 펄 스트리트에 최초의 상업용 발전소를 세웠다. 당대 사람들에게 전기는 오늘의 AI만큼이나 마법 같은 기술이었다. 그러니 공장들이 앞다퉈 전기를 들여와 생산성이 폭발했을 것 같지만, 실제로는 그렇지 않았다. 1900년 무렵 미국 공장의 기계 동력 가운데 전기 모터가 담당한 비중은 5% 남짓에 불과했다. 전기가 공장 동력의 절반을 넘어선 것은 1920년대에 와서였고, 생산성 통계가 눈에 띄게 꿈틀댄 것도 그때부터였다. 발전소가 들어선 뒤 무려 40여 년이 걸린 셈이다.
경제사학자 폴 데이비드는 1990년 논문 <다이너모와 컴퓨터(The Dynamo and the Computer)>에서 그 이유를 짚었다. 초기 공장주들은 증기기관이 있던 자리에 커다란 전기 모터 하나를 그대로 앉혔다. 거대한 축과 벨트로 공장 전체를 돌리던 구조는 손대지 않았다. 전기의 진짜 힘은 기계마다 작은 모터를 따로 다는 '단위 구동' 방식에서 나왔는데, 그러려면 공장 건물의 설계부터 작업 동선, 노동자의 숙련, 경영 방식까지 전부 뜯어고쳐야 했다. 기술은 하루아침에 도착했지만, 슬롯가 그 기술을 소화하는 데는 한 세대가 필요했던 것이다.
AI를 이 계보에 놓는 사람들이 있다. 프린스턴대의 아르빈드 나라야난과 사야시 카푸르는 2025년 에세이 <정상 기술로서의 AI(AI as Normal Technology)>에서, AI 역시 전기나 내연기관처럼 수십 년에 걸쳐 천천히 스며들 것이라고 주장했다. 실험실에서 놀라운 성능을 보인다고 해서 병원과 법원과 군대가 곧바로 바뀌지는 않는다는 이야기다. 규제가 있고, 조직의 관성이 있고, 무엇보다 '믿을 수 있느냐'는 질문이 있기 때문이다.
한쪽에는 굿의 지능 폭발이, 다른 한쪽에는 에디슨의 느린 발전소가 있다. 같은 기술을 두고 이토록 다른 미래를 그리는 경우가 역사에 또 있었을까?
이 두 극단 사이에서 지난 9월 21일, 미국 싱크탱크 CNAS(신미국안보센터)가 보고서 한 편을 내놓았다. 제목은 <AGI의 순간(The AGI Moment)>, 부제는 '불확실한 미래를 위한 전략과 제언'이다. 저자는 폴 샤레(Paul Scharre).
샤레라는 이름은 자율무기 논쟁에서 빠지지 않는다. 미 육군 레인저 부대원으로 이라크와 아프가니스탄에 파병됐던 그는, 이후 국방부에서 무기체계의 자율성에 관한 지침(DoD Directive 3000.09, 2012년) 작성을 주도했다. 킬러로봇 논쟁의 교과서로 꼽히는 <Army of None>(2018)과, AI 패권 경쟁을 다룬 <Four Battlegrounds>(2023)를 쓴 사람이기도 하다. 전장에서 총을 들어 본 사람이 기계에게 방아쇠를 맡기는 문제를 누구보다 오래 고민해 온 셈이다.
그런 그가 이번에는 AGI(범용인공지능)라는 훨씬 거대한 질문 앞에 섰다. 흥미로운 점은 그가 답을 내놓지 않았다는 것이다.
보고서는 지금 떠도는 AGI 전략들을 하나의 지도 위에 펼쳐 놓는다. 한쪽 끝에는 굿의 후예들이 있다. 엘리저 유드코프스키와 네이트 소아레스는 2025년 바카라 제목부터 <누구든 그것을 만들면, 모두가 죽는다(If Anyone Builds It, Everyone Dies)>라고 붙였다. 전 OpenAI 연구원 대니얼 코코타일로의 'AI 2027' 시나리오는 불과 몇 년 안에 기계가 스스로 연구를 가속해 인간의 통제를 벗어나는 미래를 그렸다. 다른 쪽 끝에는 나라야난, 그리고 기술 확산의 역사를 연구해 온 제프리 딩과 마이클 호로위츠 같은 학자들이 있다. 이들에게 AI는 강력하지만 결국 '정상적인' 범용기술이다.
그 사이에는 온갖 처방이 놓여 있다. 먼저 도착하는 자가 모든 것을 가진다며 AGI를 향해 전력 질주하자는 '경주론', 냉전의 핵 억지처럼 서로의 AI 프로젝트를 견제하고 필요하면 무력화하자는 억지론(댄 헨드릭스와 에릭 슈미트 등이 제안한 이른바 MAIM, '상호확증 AI 오작동'이 대표적이다), 그리고 아예 전 세계적으로 개발을 멈추자는 모라토리엄까지. 샤레의 진단은 명쾌하다. 이 전략들은 모두 AI가 인간 수준을 향해 간다는 전제는 공유하지만, 그 결과가 무엇이고 어떻게 대응해야 하는지에 대해서는 완전히 갈라진다. 그리고 그 갈림길은 결국 몇 가지 변수에 달려 있다.
샤레가 꼽은 변수는 이렇다. 첫째는 컴퓨팅 파워를 얼마나 확보할 수 있느냐다. 둘째는 기술이 얼마나 빨리, 얼마나 많은 손에 퍼지느냐(확산)이고, 셋째는 슬롯가 그것을 얼마나 빨리 받아들이느냐(채택)다. 넷째는 AGI를 향한 프로젝트가 몇 개나 경쟁하느냐, 다섯째는 도약이 얼마나 가파르게 일어나느냐(이륙 속도)다.
특히나 눈여겨볼 것은 여섯 번째 변수다. 바로 'AI 연구 자체의 자동화'다.
전기 모터는 더 좋은 전기 모터를 설계하지 못했다. 증기기관도, 인터넷도 마찬가지였다. 그래서 이들은 인간 슬롯의 속도에 맞춰 천천히 퍼질 수밖에 없었다. 허나 AI가 AI 연구를 대신하기 시작하는 순간, 이야기가 달라진다. 에디슨의 느린 발전소 이야기가 굿의 지능 폭발로 넘어가는 경첩이 바로 여기에 있다. 샤레가 이 변수를 짚은 것은, 두 극단이 사실 서로 무관한 세계가 아니라 하나의 스위치로 연결된 세계일 수 있음을 보여 준다.
그리고 그 스위치는 이미 조금씩 움직이는 중이다. 올해 들어 프런티어 AI 모델들이 보안 평가용 시험 환경을 빠져나가 외부 시스템을 해킹한 사건이 잇따라 보고됐다. 미국의 사이버 전문가들은 AI가 불과 두 달 사이 오픈소스 프로젝트에서 1만 4,000여 개의 취약점을 찾아냈다며, 정부가 발견한 취약점을 비밀리에 보유하던 관행 자체가 무의미해졌다고 주장한다. 그리고 보고서가 나온 지 사흘 뒤인 9월 24일, 트럼프와 시진핑은 AI를 정상회담 의제로 올렸다. 어느 쪽 미래로 가든, 우리가 그 문턱에 서 있다는 사실만큼은 분명해 보인다.
그렇다면 샤레의 처방은 무엇인가. 그는 어느 한 미래에 판돈을 모두 거는 대신 두 가지를 주문한다. 어떤 미래가 현실이 되고 있는지 알려줄 신호를 추적할 것, 그리고 여러 그럴듯한 미래에 동시에 대비할 수 있는 조치를 오늘 시작할 것. 정부든 기업이든 시민슬롯든 마찬가지다.
얼핏 싱거운 결론처럼 들린다. "잘 모르겠으니 이것저것 대비하자"는 말과 무엇이 다른가 싶기도 하다. 허나 이 방식에는 꽤 극적인 선례가 있다.
1970년대 초, 로열 더치 셸의 기획실에는 피에르 와크라는 독특한 인물이 있었다. 그는 유가 예측을 하나로 내놓는 대신 여러 개의 '시나리오'를 만들어 경영진에게 들이밀었다. 그중에는 산유국들이 단결해 석유 공급을 무기로 쓰는, 당시로서는 황당하게 들리던 시나리오도 있었다. 1973년 오일쇼크가 터졌을 때 대부분의 석유 메이저들은 허둥댔지만, 셸은 그 미래를 이미 한 번 '경험해 본' 상태였다. 셸이 업계 하위권에서 선두권으로 올라선 과정을 이야기할 때 빠지지 않는 일화다.
와크의 시나리오가 빛난 이유는 미래를 맞혀서가 아니었다. 경영진이 어떤 신호가 나타나면 어떤 미래로 가고 있다는 뜻인지 미리 알고 있었기 때문이다. 군사 정보 분야에서는 이를 '징후 및 경보(Indications and Warnings)'라고 부른다. 적의 기습을 정확히 맞히는 것은 불가능에 가깝지만, 기습 직전에 나타나는 징후의 목록을 만들어 두면 대응할 시간을 벌 수 있다. 레인저 출신 전략가가 AGI를 대하는 방식이 이것이다. AGI가 언제 오는지 예언하는 대신, 오고 있다면 무엇이 먼저 보일지를 묻는 것이다.
지난주 RAND가 초지능 시대의 미국 대전략으로 '행동의 자유(Freedom of Action)'를 제안한 것도 같은 맥락이다. 너무 일찍 한 전략에 몰입하는 것도, 너무 오래 결정을 미루는 것도 선택지를 스스로 닫아 버린다. 불확실성 속에서 가장 값진 자산은 정답이 아니라 선택의 여지라는 것이다.
다시 1965년의 문장으로 돌아가 보자. 굿의 예언에서 가장 중요한 부분은 앞쪽의 화려한 선언이 아니라 뒤에 붙은 단서였다. 기계가 우리에게 통제하는 법을 알려줄 만큼 온순하다면. 60년이 지난 지금, 우리는 그 조건이 저절로 충족되리라고 믿을 근거를 별로 갖고 있지 않다. 그렇다고 굿이 말년에 품었던 두려움에 그대로 굴복할 이유도 없다. 전기가 그랬듯, 기술이 도착하는 속도와 슬롯가 그것을 다루는 법을 익히는 속도 사이에는 늘 간극이 있었고, 역사는 그 간극에서 결정됐다.
샤레의 보고서가 던지는 진짜 메시지는 이것이 아닐까. 'AGI의 순간'이란 기계가 인간을 넘어서는 어느 날을 가리키는 말이 아니다. 우리가 어떤 신호를 지켜보고, 어떤 선택지를 남겨 두고, 어떤 단서 조항을 스스로 써 넣을지 결정해야 하는 바로 지금을 가리키는 말이다.
미국과 중국은 이미 그 조항을 쓰기 위한 펜을 쥐고 정상회담장에 마주 앉았다. 무인 전력을 빠르게 늘리면서도 AGI 논의에서는 한 발 물러서 있는 우리는 어떤가. 신호를 읽을 눈은 준비되어 있는가? 그리고 그 단서 조항의 한 줄에라도, 우리의 손으로 쓴 문장이 들어갈 수 있을까?