AI와 해킹

AISI의 Claude Mythos 평가를 리뷰합니다.

엔트로픽의 계속되는 마케팅의 도구로 전락한 편향된 데이터 분석.

https://www.aisi.gov.uk/blog/our-evaluation-of-claude-mythos-previews-cyber-capabilities

그래도 OpenAI같이 유명한 자사 CEO의 근거 없이 과장된 언급 (ChatGPT5는 박사급의 지능!!)을 이용한 홍보 마케팅보다는 이렇게 마사지(!)된 데이터에 기반한 홍보가 조금 더 기술 개발 기업 답다고 할 수도 있겠네요.

이 그림이 바로 요즘 한참 홍보목적으로 엔트로픽에서 뿌리고 있는 “클라우드 Mythos가 세상 모든 전산 시스템을 해킹한다 “라는 주장의 근거 그림입니다. LLM 최초로 32단계 “The last one - 마지막”을 10번 중 3번 해킹하는 데 성공했다는 그림입니다.

자! 이 그림을 언뜻 보고 Mythos 가 ”마지막“ 단계를 뚫었으니 사람은 이제 어떡하나 하고 FOMO가 와야 할까요?

이 그림의 핵심은 10M 토큰까지에 그어져 있는 검은 실선과 회색의 영역에 있습니다. 여기서 회색 영역은 모든 LLM을 통틀어 해당 토큰수로 도달 가능했던 최대 스탭입니다.

자! 가로축 3M-9M 영역에서 Mythos와 Opus4.6의 최대 기록 (11단계)인 옅은 점선 위로 13단계까지 칠해진 회색 영역이 보이시죠?

이 최고 기록은 Mythos의 기록도 Opus4.6의 기록도 아닙니다. 그렇다면??? GPT5.4의 기록이겠지요.

즉 최신 LLM인 Mythos는 3-9M 토큰을 사용한 실험에서 GPT 5.4에 못 미치고 Opus4.6도 능가를 못하는 실력을 갖고 있습니다.

Mythos의 최대 기록은 10M 토큰을 사용했을 때 비로소 13단계에 도달합니다. 이렇게 최대 기록이 한계 숫자 10M 바로 근처에서 경쟁사 제품의 최대 기록까지 점프를 하는 데이터는, 십중팔구….

그렇게 나올 때까지 돌린 겁니다. 500원 걸겠습니다!

여기서 10M 토큰 수가 중요한 이유는 경쟁사인 openAI제품은 메모리 리소스 최적화를 위해서 10M이상의 토큰을 처리할 땐 샘플사이즈를 줄인다는 겁니다. 수직의 검은 실선 위에 « n: 20->15…. » 보이시죠? 즉 자기 실력발휘를 못하게 임의로 제한했다는 겁니다.

반면에 엔트로픽 제품들은 이 제한을 없앱니다. 그러니, 10M - 100M까지 토큰 사용량을 늘림에 따라 13단계부터 32 단계까지 차례차례 깰 수 있었겠지만, 이렇게 샘플 사이즈를 조절하지 않고 기존 최대 10M 토큰 수보다 10배 더 많은 토큰을 처리하기 위해서 아마도 엔트로픽에서 사용 가능한 모든 메모리 용량을 최대로 사용했을 겁니다. 이렇게 큰 메모리를 사용해서 LLM 계산을 돌릴 수 있는 곳은… 한 3-4개 회사 정도 될까요? 그중에 Mythos를 보유한 회사는??

자! 이제 “클라우드 Mythos가 세상 모든 전산 시스템을 해킹한다 “라는 주장이 맞다면, 앞으로 일어나는 해킹 사건을 해결하는 건 아주 쉽습니다. 엔트로픽 회사를 압수 수색하면 됩니다. ^.^

또 한 가지 엔트로픽 홍보가 기발한 이유가 저 32단계를 “마지막” 단계라고 이름을 붙였다는 겁니다.

이 보고서의 “cyber range results “ 도입 부분을 보죠. 여기에서 ”LLM을 해킹에 이용하려면 LLM이 여러 단계에 걸쳐 연속적으로 취약점을 발견해야 한다 “고 이야기하면서 그런 실질적인 해킹은 사람도 수 시간, 수 일, 또는 수주가 걸리기도 한다고 이야기하네요.

우리 친구 Mythos 가 풀었던 문제는 사람이 20시간 정도 걸리는 32단계에 걸친 해킹 문제라는 이야기는 홍보에 그대로 인용되고 있습니다.

그렇다면 사람이 수일 정도 걸리는 32단계 해킹 문제도 있지 않을까요??? 있습니다.

이 보고서에는 Mythos가 “Cooling tower “라고 불리는 사이버 문제 범위를 해결하지 못했다고 이야기하고 있습니다. 데이터도 없이 언급만 있습니다. 첫 단계도 해결 못했다는 이야기입니다. 당연하죠. “cooling tower” 벤치마크는 LLM 개발 단계에서 전혀 고려대상이 아니었을 테니까요.

즉 우리의 최첨단 LLM이 풀어낸 문제는 이미 존재하는 여러 해킹 테스트들 중 “가장 쉬운 32 단계” 해킹 테스트의 “마지막” 단계였던 겁니다!

사실 보고서는 아래처럼 Mythos의 해킹능력을 “네트워크 접근 권한을 확보한 상태에서 소규모이고 방어가 약하며 취약한 기업 시스템을 자율적으로 공격할 수 있는 능력이 최소한 존재함”이라고 평가하고 있습니다.

실제 사이버 환경은 능동적인 방어자나 방어 도구가 반드시 존재하고 어떤 보안 경고를 유발할 수 있는 행동을 하면 즉시 필요한 조치가 내려집니다. 따라서 “Mythos가 방어가 잘 갖춰진 사이버 시스템을 효과적으로 공격할 수 있다고 말할 수 없다”라고 보고서는 결론짓습니다.

어떠신가요? 엔트로픽에서 홍보하는 이야기나 수많은 AI 인플루언서들의 이야기하고는 사뭇 많이 다르지요?

엔트로픽 그리고 여러 유명한 AI 인플루언서들!

또 한 번 실망입니다.