암호는 안 깨졌다, 사고 과정이 샜다

AI 모델의 ‘생각’은 사용자에게 보이지 않는 영역이라고 여겨져 왔다. 화면에는 최종 답변만 나타나고, 그 답변을 만들기까지의 내부 추론은 모델 제공업체가 통제하는 영역이라는 인식이 강했다.

그런데 2026년 8월 공개된 연구는 이 경계가 생각보다 단단하지 않을 수 있다는 사실을 보여줬다. 문제는 암호가 뚫린 것이 아니었다. 암호화된 사고 과정이 API 안에서 어떻게 이동하고, 다시 사용되는지가 문제였다.

암호를 푼 것이 아니라 문을 옮겼다

일부 LLM API는 내부 사고 과정을 서버 안에만 남겨두는 대신 암호화된 블록으로 클라이언트에 반환하고, 이후 대화에서 이를 다시 API에 전달하는 구조를 사용한다. 긴 대화나 에이전트 작업에서 이전 추론의 맥락을 이어가기 위한 방식이다.

연구진이 주목한 것은 암호화 자체가 아니었다. 암호화된 추론 블록이 같은 업체 안에서 서로 다른 세션과 사용자, 심지어 다른 모델 사이에서도 다시 사용될 수 있었다는 점이다.

강한 모델의 생각을 약한 모델이 읽었다

공격 방식은 의외로 단순했다. 강력한 모델이 생성한 암호화 추론 블록을 같은 업체의 상대적으로 약하고 안전장치가 적은 모델에 전달한 뒤, 그 내용을 평문으로 출력하도록 유도하는 것이다.

원래 모델을 직접 탈옥할 필요조차 없었다. 연구진은 Claude 계열의 Haiku 4.5, GPT 계열의 GPT-5.6 Luna, Gemini 계열의 Gemini Robotics 1.6 등을 이용해 이러한 추론 추출을 시연했다.

Claude에서는 Fable 5의 추론을 제외한 여러 모델의 암호화 블록이 다른 Claude 모델에서 재생됐고, GPT-5.6 계열에서도 이전 세대 GPT의 일부 추론 블록이 받아들여졌다. 조사된 Gemini 모델들 사이에서도 폭넓은 교차 모델 호환성이 확인됐다.

문제는 ‘생각’ 안에 무엇이 남느냐다

이 연구가 단순한 모델 내부 구조의 호기심으로 끝나지 않는 이유는 추론 안에 실제 민감정보가 포함될 수 있기 때문이다.

연구진은 공개 저장소와 공개된 에이전트 세션에서 확보한 암호화 추론 블록 31만5,320개를 분석했다. 그 결과 개인식별정보 관련 항목 367건과 API 키·비밀번호 등을 포함한 자격증명 정보 182개를 발견했다고 보고했다.

사용자 화면에 없던 정보도 있었다

벤치마크 데이터를 제외한 실제 사용자 세션에서는 704개의 고유한 민감·식별 관련 항목이 확인됐다. 특히 이 가운데 64개는 사용자에게 보이는 대화 기록에는 없고 암호화된 추론 블록에서만 발견됐다.

여기서 중요한 지점이 드러난다. 우리가 AI를 사용할 때 관리해야 하는 정보가 더 이상 ‘입력 프롬프트와 최종 출력’만은 아니라는 것이다.

모델이 최종적으로 위험한 요청을 거절하더라도 내부 추론에는 외부에 노출될 경우 문제가 될 수 있는 정보가 남을 수 있다. 겉으로는 아무것도 출력되지 않았다고 해서 데이터가 존재하지 않는 것은 아니다.

보이지 않는 프롬프트 인젝션

더 흥미로운 공격도 제시됐다. 암호화된 추론 블록 안에 악성 지시를 넣어 다른 AI가 그것을 이전 단계의 내부 사고 과정처럼 받아들이게 만드는 방식이다.

사용자에게 보이는 텍스트 프롬프트를 조작하는 기존 프롬프트 인젝션과 달리, 공격 지시 자체가 암호화된 추론 블록 내부에 숨어 있을 수 있다는 점이 다르다.

AI 보안의 공격면이 넓어지고 있다

이번 연구가 보여주는 가장 큰 변화는 LLM 보안의 범위를 다시 정의해야 한다는 데 있다.

지금까지 생성형 AI 보안은 주로 사용자가 어떤 프롬프트를 입력하는지, 모델이 어떤 답변을 출력하는지, 혹은 외부 도구에 어떤 권한을 주는지를 중심으로 논의됐다. 하지만 에이전트형 AI가 여러 단계의 상태를 주고받기 시작하면 그 사이를 오가는 데이터 자체가 새로운 공격면이 된다.

암호화돼 있다는 사실만으로 안전하다고 볼 수도 없다. 암호를 해독하지 않더라도 시스템이 그 암호화 데이터를 잘못된 대상에게 다시 해석하도록 허용한다면 결과적으로 정보가 노출될 수 있기 때문이다.

이번 사례에서 연구진이 문제 삼은 핵심도 바로 이것이다. ‘암호화됐는가’보다 ‘누가 어떤 조건에서 그 데이터를 다시 사용할 수 있는가’가 더 중요해졌다.

API 로그도 더 이상 단순한 로그가 아니다

이 변화는 개발자의 작업 방식에도 직접 연결된다. 연구진은 암호화 추론 블록과 서명 정보를 포함한 원시 API 로그를 공개 저장소나 공동 작업 공간에 그대로 공유하지 말라고 권고했다.

겉으로 보면 의미를 알 수 없는 암호문이라 하더라도, 그것을 다시 해석할 수 있는 모델과 API가 존재한다면 이야기가 달라진다. 코드 공유 과정에서 API 키를 제거하듯, 앞으로는 모델의 상태 정보와 추론 관련 필드도 별도의 민감 데이터로 다뤄야 할 가능성이 커진다.

‘통째 유출’이라는 표현은 조심해야 한다

다만 이번 결과를 모든 AI의 사고 과정이 완전히 해독됐다고 받아들여서는 안 된다.

연구진은 원본 추론의 평문을 가지고 있지 않았기 때문에 복원된 내용이 원래 사고 과정의 모든 토큰과 완전히 동일한지는 직접 검증하지 못했다. 추론 토큰 수에서는 높은 일치도가 관찰됐지만, 원문 전체가 정확히 복원됐다고 확정할 수는 없다.

또한 실험은 주로 2026년 7월 초 사용 가능했던 특정 API와 모델을 대상으로 진행됐다. 이후 업체들은 API를 수정했고, 연구진 역시 보고 이후 동일한 방식의 공격을 다시 실행할 수 없었다고 밝혔다.

오픈AI·앤트로픽·구글도 개인정보를 같은 방식으로 추출하는 공격을 완화한 것으로 확인됐다. 다만 연구진은 일부 추론 흔적을 복원하는 가능성은 여전히 남아 있다고 설명했다.

앤트로픽 역시 이번 연구가 암호화 키를 복구하거나 내부 인프라에 침입한 사건은 아니며, 자사 시스템에서 개인정보를 직접 탈취한 사례도 아니라고 밝혔다.

이번 사건의 의미는 ‘AI의 암호화가 무너졌다’는 데 있지 않다. 오히려 더 까다로운 질문을 던진다.

AI가 점점 더 긴 기억과 복잡한 상태를 가지고 움직이기 시작할 때, 우리는 그 보이지 않는 중간 데이터를 어디까지 신뢰할 것인가.

앞으로 AI 보안에서 지켜야 할 것은 최종 답변만이 아닐지도 모른다. 모델이 답변에 도달하는 과정에서 만들어지고, 저장되고, 다른 모델로 전달되는 모든 상태가 새로운 보안 경계가 되고 있다.