AI가 취약점을 찾기 시작했다

AI 모델의 코딩 성능 경쟁은 이제 단순히 “코드를 얼마나 잘 짜는가”를 넘어섰다. 최근 공개된 GLM-5.3은 그 경계가 어디까지 확장될 수 있는지를 보여주는 사례가 됐다.

Z.ai는 2026년 8월 14일 GLM-5.3을 공개했다. GLM-5.2와 같은 기반 모델을 사용하지만 사후학습을 확장해 코딩과 장기 작업 수행 능력을 강화한 모델이다. 그런데 공개 직후 더 주목받은 것은 코딩 점수 자체가 아니었다. 이 모델이 실제 상용 소프트웨어인 Cursor에서 잠재적으로 심각한 보안 취약점을 찾아냈다는 주장이 나왔기 때문이다.

벤치마크를 넘어 실제 소프트웨어로

Z.ai 소속 개발자 옹호자 루는 GLM-5.3에 복잡한 리버스 엔지니어링 작업을 맡겼고, 그 과정에서 AI 코딩 도구 Cursor의 잠재적 보안 취약점을 발견했다고 밝혔다.

중요한 점은 이 사례가 사전에 준비된 보안 문제를 푸는 벤치마크가 아니라는 것이다. 실제 상용 소프트웨어를 대상으로 분석을 수행하던 도중 취약점을 찾아냈다는 점에서 의미가 다르다.

아직 검증되지 않은 취약점

다만 현재 단계에서 이 사건을 확정된 보안 사고로 받아들이는 것은 이르다. 취약점의 기술적 세부 내용이나 재현 방법은 아직 공개되지 않았으며, 외부에서 독립적으로 검증할 수도 없는 상태다.

발견된 내용은 Cursor 측에 비공개로 전달됐고, 이용자 보호를 위해 수정이 완료된 이후 구체적인 내용을 공개할 계획이라고 알려졌다. Cursor 측이 별도의 공식 보안 공지를 통해 취약점의 존재나 영향 범위를 확인한 자료 역시 현재 확인되지 않았다.

숫자로 보면 변화는 더 분명하다

GLM-5.3의 변화는 Z.ai가 공개한 보안 평가에서도 확인된다. 알려진 취약점을 찾아 검증하는 CyberGym에서 GLM-5.3은 84.5%를 기록했다. GLM-5.2의 77.2%보다 높은 수치다.

비교 대상으로 제시된 Anthropic의 제한적 사이버 보안 모델 Mythos 5는 83.8%였다. 적어도 Z.ai가 공개한 결과만 놓고 보면 GLM-5.3이 해당 평가에서 근소하게 앞선 셈이다.

취약점을 찾는 것과 공격하는 것은 다르다

흥미로운 부분은 다른 평가에서 나타난 차이다. 취약점의 원인을 분석하고 실제 익스플로잇까지 만드는 능력을 평가하는 ExploitBench에서 GLM-5.3은 54.4%를 기록했다.

GLM-5.2의 24.4%와 비교하면 큰 폭의 상승이다. 하지만 Mythos 5의 78.0%에는 미치지 못했다. 취약점을 발견하는 능력과 실제 공격 절차를 완성하는 능력 사이에는 여전히 상당한 간격이 있다는 뜻으로 볼 수 있다.

또 다른 평가인 ExploitGym에서는 제한 시간 내 수행 능력이 크게 늘었다. GLM-5.3은 2시간 동안 105개, 6시간 동안 130개의 작업을 완료했다. GLM-5.2는 같은 조건에서 각각 29개와 39개였다.

이 수치들은 모두 Z.ai가 공개한 평가 결과이며, 아직 독립적인 제3자 검증이 이뤄진 것은 아니다. 그럼에도 같은 평가 체계 안에서 이전 모델과 비교했을 때 보안 관련 작업 수행 능력이 빠르게 증가했다는 흐름은 분명하다.

성능 향상이 공개 전략까지 바꿨다

더 주목할 부분은 Z.ai가 이 성능 향상을 단순한 성과로만 받아들이지 않았다는 점이다. 회사는 GLM-5.3의 사이버 보안 능력이 예상보다 빠르게 향상됐다고 판단해 모델 가중치의 즉각적인 공개를 보류했다.

약 2주 동안 추가적인 안전성 평가와 보안 강화 작업을 진행한 뒤 공개 여부를 다시 판단하기로 한 것이다. 다만 이 일정은 안전성 평가 결과에 따라 달라질 수 있다.

오픈웨이트 모델의 구조적 문제

Z.ai는 여러 보호 장치를 제시했다. 위험한 요청을 걸러내는 외부 분류기, 실행 중 위험 신호를 감지하는 모니터링 시스템, 모델이 악의적 작업과 합법적인 보안 작업을 구분하도록 하는 안전성 정렬 등이다.

하지만 동시에 한계도 인정한다. 모델 가중치가 사용자에게 공개되고 다운로드된 이후에는 서비스 제공자가 외부 분류기나 실행 모니터를 강제로 적용할 수 없다.

이 문제는 GLM-5.3 하나에 국한되지 않는다. 모델의 능력이 높아질수록 공개 자체가 하나의 안전성 결정이 되는 구조가 만들어지고 있기 때문이다. 예전에는 모델을 공개한 뒤 어떻게 쓰일지를 고민했다면, 이제는 공개하기 전에 어디까지 할 수 있는 모델인지부터 판단해야 하는 상황에 가까워지고 있다.

AI 보안의 질문이 달라지고 있다

GLM-5.3 사례에서 가장 중요한 것은 Cursor의 취약점 하나가 아니다. 그것이 실제로 얼마나 심각한 취약점인지는 아직 확인되지 않았다.

더 중요한 변화는 AI가 보안 연구에서 수행할 수 있는 작업의 범위다. 알려진 취약점을 찾는 수준을 넘어 소프트웨어를 분석하고, 원인을 추적하고, 제한된 시간 안에 공격 개발 작업까지 수행하는 방향으로 능력이 확장되고 있다.

이 능력은 방어자에게는 매우 강력한 도구가 될 수 있다. 사람이 긴 시간 동안 분석해야 했던 코드와 시스템을 빠르게 살펴보고 문제를 찾는 데 활용할 수 있기 때문이다.

동시에 같은 능력은 공격 측에서도 활용될 수 있다. 그래서 앞으로 AI 모델의 경쟁력을 평가할 때 “얼마나 똑똑한가”만큼 중요한 질문은 “그 능력을 어디까지 통제할 수 있는가”가 될 가능성이 크다.

GLM-5.3은 그 질문이 이미 현실의 문제로 들어오기 시작했음을 보여준다.