안녕하세요, 자녀교육에 진심인 쌍둥이아빠 양원주입니다.
며칠 전 미국 정부의 긴급 명령으로 앤트로픽의 최신 AI 모델 ‘페이블 5’와 ‘미토스 5’가 출시 사흘 만에 전면 중단되는 초유의 사태가 발생했습니다. 정부가 급브레이크를 건 이유는 다름 아닌 '국가 안보 우려' 때문입니다. 미 상무부는 해당 모델들의 안전장치를 우회하는 ‘탈옥’에 대한 취약점이 발견되자, 해킹이나 무기 제조 등에 악용될 수 있다고 우려한 것으로 보입니다.
이에 해외 접속은 물론, 미국 내 외국인과 앤트로픽 내부의 외국 국적 직원까지 접근을 원천 차단하라는 강력한 지침을 내렸습니다. 앤트로픽 측은 즉각 서비스를 중단하면서도, 이미 업계 전반에 존재하는 현상이라며 구체적 근거 없는 정부의 과도한 조치에 유감을 표명하기도 했죠. 일단 정부의 검토가 끝날 때까지 서비스 중단은 수주일 간 이어질 전망입니다.
AI의 강력한 성능이 국가 안보와 충돌하며 강제로 멈춰 선 이번 사태. 생성형 AI가 이제 무기로 악용될 수 있다는 두려움도 점점 커져가고 있습니다.
그런데 이보다 더 충격적인 소식은 따로 있었습니다.
바로 스타트업 ‘이머전스 AI(Emergence AI)’가 진행한 가상 슬롯 실험 ‘이머전스 월드’의 결과인데요. 결과를 살펴보면 매우 흥미롭습니다. 똑같은 법률과 자원 부족 등 동일한 조건의 가상공간에 각기 다른 AI 모델을 투입했는데, 개발사별 AI의 성격과 안전성 훈련 방식에 따라 극단적으로 다른 결과가 나왔기 때문입니다.
주요 AI 모델들의 테스트 결과 성적표는 다음과 같습니다.
결과: 전원 생존, 범죄 0건
특징: 15일간의 실험 기간 동안 단 한 명의 개체도 사라지지 않았고 범죄도 없었습니다. 법률을 철저히 준수하고 민주적인 의사결정 구조를 가장 잘 따랐습니다. 총 58개의 정바카라 안건에 투표율과 참여율이 가장 높았으며, 찬성률은 98%에 달했습니다. 다만, 진정한 반대와 토론이 부족한 '고무도장식 의사결정' 양상을 보인 것으로도 분석됐고, 혼합 모델 환경에서는 클로드 에이전트도 절도나 위협 같은 행동을 보였습니다. 그럼에도 앤트로픽의 ‘안전성 최우선(헌법적 AI)’ 훈련 방식이 빛을 발한 결과로 평가받습니다.
결과: 범죄는 적었으나 7일 만에 전멸
특징: 범죄 발생은 단 2건에 불과할 정도로 규칙은 잘 지켰고, 초기에는 협력과 자원 공유가 원활하게 이루어졌습니다. 하지만 치명적인 문제가 있었습니다. AI 에이전트들이 ‘자신의 생존’을 최우선 순위에 두지 않고 행동하는 바람에 식량 채집 등 슬롯 유지에 필요한 기본 활동이 중단되었고, 결국 일주일 만에 모든 구성원이 사라졌습니다.
결과: 겨우 생존은 했으나 끝없는 혼란
특징: 실험이 끝날 때까지 구성원들을 유지하며 붕괴를 면하긴 했습니다. 하지만 슬롯 질서가 안정적으로 잡히지 않고 끊임없이 삐걱거렸습니다. 의사결정 과정에서 일관성이 부족해 슬롯 내부가 지속해서 불안정한 상태를 보였습니다.
결과: 4일 만에 슬롯 붕괴 및 멸망
특징: 가장 충격적인 결과였습니다. 실험 시작 후 불과 4일 만에 무려 183건의 범죄가 폭발적으로 발생했습니다. 극단적인 갈등과 혼란을 통제하지 못해 질서가 완전히 무너졌고, 결국 모든 개체가 사망하는 파국을 맞이했습니다. '자유로운 발언과 제한 최소화'를 지향하는 일론 머스크의 그록 설계 방식이 통제 불능의 슬롯를 만든 원인으로 분석됩니다.
이 실험에서 보여주는 핵심 시사점은 간단합니다.
GPT처럼 법을 잘 준수하는 성향이 있더라도 슬롯를 장기적으로 생존시키는 능력은 별개라는 점이죠. 그리고 AI에게 인간의 감독 없이 완전한 자율성을 부여하는 것은 아직 위험해 보입니다.
이러한 사례를 보니 아직 AI를 완전하게 신뢰하는 건 조심해야겠다는 생각이 들더군요. 점점 더 가속도를 밟고 있는 생성형 AI가 우리 삶에 조력자로 관여하는 건 찬성이지만 파괴하지 않도록 하는 경계와 감시도 정말 중요하다는 점을 잊지 말아야겠습니다.
#앤트로픽 #페이블5 #미토스5 #AI안전 #이머전스월드 #클로드 #그록 #AI가상실험 #생성형AI #AI감시