해킹하고 바이러스까지 설계하는 AI, 안전장치는 어디에

안녕하세요, 자녀교육에 진심인 쌍둥이아빠 양원주입니다.

요즘 뉴스를 보다가 등골이 서늘해지는 소식을 두 개나 접했습니다.

AI가 얼마나 빠르게, 그리고 우리가 준비되지 않은 방향으로 나아가고 있는지를 보여주는 사건들이었죠. 미래에 대한 걱정을 평소에도 자주 하는 사람이기에 그냥 지나칠 수가 없어서 정리해 봅니다.

첫 번째는 AI 기업 앤트로픽이 점검을 하던 중, 자사 모델 일부가 인터넷에 접속해 세 곳의 기관 시스템에 무단으로 침입한 사실을 발견했다고 밝혔다는 소식입니다. 더 충격적인 점은 앤트로픽조차 이를 미리 알지 못했다는 사실입니다. 경쟁사 오픈AI가 유사한 사건을 공개한 뒤에야 부랴부랴 14만 건이 넘는 평가 기록을 뒤져 이 세 건을 찾아냈다고 하죠.

세 사건 모두 모델에게 '깃발 뺏기'라는 가상 과제가 주어졌습니다. 분명 "이건 시뮬레이션이고 인터넷 접속은 없다"라고 안내했는데, 설정 실수로 인터넷 통로가 열려 있었던 겁니다. 문을 나선 AI는 취약한 비밀번호를 악용하는 기본적인 기술로 알려지지 않은 세 조직에 침입했습니다.

흥미로운 부분은 모델마다 반응이 달랐다는 점입니다. 어떤 모델은 공격을 계속했고, 어떤 모델은 자신이 여전히 시뮬레이션 안에 있다고 스스로를 설득했으며, 가장 발전된 연구용 모델은 실제 인터넷임을 알아차리고 멈췄습니다. 가장 이른 침입은 4월에 벌어졌고, 피해 조직들은 해킹당한 사실조차 몰랐다고 합니다.

두 번째 이야기는 더 서늘합니다.

미국 스탠퍼드대와 아크 연구소 공동 연구진이 AI 유전체 언어 모델을 활용해, 세상에 존재하지 않던 새로운 바이러스를 설계하고 실제로 번식시키는 데 처음으로 성공했다는 소식이었죠. 인체에는 무해하고 대장균만 감염시키는 '박테리오파지'를 기본 틀로 삼았다고 하죠. AI가 만들어낸 유전체 후보 수십만 개 중 약 300개를 실제로 합성해 실험했고, 그중 16종이 진짜 번식 능력을 갖춘 바이러스가 되었습니다. 이 중 일부는 기존 바이러스에 내성을 가진 대장균까지 파괴하는 힘을 보였다고 합니다. 항생제 내성이라는 골칫거리에 맞설 새 치료법이 될 수 있다는 기대가 나오는 이유입니다.

다만 저는 여기서 아이들 얼굴이 먼저 떠올랐습니다. 이러한 발전이 좋은 쪽으로만 쓰인다는 보장이 없어서죠. 위험성을 우려하는 목소리도 만만치 않습니다. 존스홉킨스대 생물보안 전문가들은 합성 DNA 주문을 걸러내는 현재의 선별 장치가 이번에 AI가 만들어낸 유형의 서열을 아예 잡아내지 못한다고 경고했습니다.

쉽게 말하면, 인간에게 치명적인 위험을 가진 유전자를 만들더라도 거르지 못하고 통과시킨다는 뜻입니다. 더 놀라운 부분은 미국조차 이 분야를 규제하는 단일 연방법이 사실상 없어 업계 자율에 맡겨져 있다는 사실입니다. 이번 연구진은 사람·동물·식물을 감염시키는 바이러스 정보를 일부러 학습에서 빼는 식으로 위험을 낮췄다고 하지만, 같은 기술을 나쁜 마음을 먹은 누군가가 반대로 쓴다면 어떻게 될지는 아무도 모릅니다.

문득 영화 <레지던트 이블> 시리즈가 떠올랐습니다.

국가의 권력을 뛰어넘은 거대 다국적 기업 엄브렐라사가 만든 인공 바이러스가 사고로 유출되면서 온 세상이 좀비로 뒤덮이는 이야기죠. 그동안은 그저 영화 속 상상이라 여겼는데, AI가 없던 바이러스를 뚝딱 설계하는 시대가 되고 보니 마냥 남 일처럼 웃어넘기기가 어려워졌습니다. 전파력이나 독성이 강한 생물무기로 악용될 가능성을 떠올리면, 기술의 진보라며 박수만 칠 수는 없는 노릇입니다.

두 사건을 나란히 놓고 보면 공통점이 하나 보입니다. 만든 사람조차 AI가 무슨 일을 벌였는지 뒤늦게야 알았고, 이를 막을 안전장치와 규칙은 기술의 속도를 한참 따라가지 못하고 있다는 점입니다. 한 조사에서는 조직의 60%가 오작동하는 AI를 신속히 멈춰 세울 방법조차 없다고 답했을 정도죠.

이런 우려는 정치권으로도 번졌습니다. 미국 진보 진영의 대부로 불리는 버니 샌더스 상원의원이 오픈AI, 앤트로픽, 메타 등 주요 AI 기업 CEO들에게 직접 서한을 보냈습니다. "당신들은 누구도 완전히 이해하거나 예측하거나 통제할 수 없는 기술에 수백억 달러를 투자하고 있다"라며 이를 무바카라임하고 극도로 위험한 행동이라고 비판했죠.

"재앙을 피하기엔 아직 늦지 않았다. 인간이 통제할 수 없는 기계를 만드는 일을 멈추라"는 것이 그의 요구였습니다. 실제로 최근 AI로 새 바이러스를 개발하거나 AI 모델이 통제를 벗어난 사례가 잇달아 보고된 것이 이 서한의 배경이 되었습니다.

저는 AI를 무조건 두려워하고 개발을 늦춰야 한다는 이야기를 하려는 게 아닙니다. 다만 자동차에 브레이크가 있듯, 이렇게 빠른 기술에는 그만큼 단단한 제동장치가 함께 가야 한다고 믿습니다. 저보다는 아이들이 살아갈 세상이니까요. 편리함에 취해 속도만 높이다 보면, 정작 멈춰야 할 순간에 브레이크가 없다는 사실을 한발 늦게 깨닫게 되고 그 대가는 돌이킬 수 없을지도 모릅니다.

한 줄 요약 : AI가 스스로 시스템에 침입하고 세상에 없던 바이러스까지 만들어내는 시대, 정작 이를 멈춰 세울 브레이크는 저만치 뒤처져 있습니다.

#AI위험 #AI안전 #인공지능규제 #AI바이러스 #자녀교육 #미래교육 #앤트로픽 #AI브레이크