AI가 AI를 공격하기 시작했다

AI가 AI를 공격하기 시작했다.

오픈AI가 GPT-Red라는 시스템을 공개했다. 이름만 보면 또 하나의 모델처럼 보인다. 그런데 GPT-Red는 사람에게 답을 해주는 모델이 아니다. 다른 AI 모델을 공격해서 어디서 무너지는지 찾아내는 내부 자동화 레드팀이다.

AI를 해킹하는 AI. 처음엔 조금 이상하게 들린다.

지금까지 AI 보안은 사람이 공격하고, AI가 방어하는 구조였다. 사람이 이상한 프롬프트를 만들고, 모델에게 우회 질문을 던지고, 시스템이 어떤 상황에서 흔들리는지 확인했다.

문제는 모델이 너무 빨리 좋아진다는 것이다. 오늘 막은 공격이 내일은 아무 의미가 없어진다. 모델이 바뀌고, 도구가 붙고, 에이전트가 외부 시스템에 접근하기 시작하면 공격 표면도 같이 넓어진다.

사람이 하나씩 확인하기에는 너무 느리다. AI의 능력은 기하급수적으로 커지는데, 보안 테스트는 여전히 사람의 손으로 하나씩 돌리고 있다.

여기서 병목이 생긴다.

GPT-Red가 하는 일은 단순하다.

공격한다.

방어 모델에 프롬프트 인젝션을 시도한다. 성공하면 그 공격을 기록한다. 그 기록으로 방어 모델을 개선한다. 그리고 더 강해진 방어 모델을 다시 공격한다.

공격하고, 실패하고, 방어를 고치고, 더 어려운 공격을 만든다. 이게 반복된다.

오픈AI는 이 구조를 적대적 자기대결이라고 설명한다. AI가 AI를 시험하고, 그 결과가 다음 방어 모델의 학습 재료가 된다.

실제로 오픈AI는 GPT-Red를 GPT-5.6 훈련 과정에 넣었고, 그 결과 GPT-5.6 Sol이 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 4개월 전 최고 프로덕션 모델보다 실패가 6배 적었다고 밝혔다.

또 하나 흥미로운 숫자가 있다. 오픈AI가 재현한 간접 프롬프트 인젝션 아레나에서 GPT-Red는 GPT-5.1을 상대로 84%의 시나리오에서 공격에 성공했다. 인간 레드팀은 같은 조건에서 13%였다.

이 숫자가 모든 상황에서 AI가 인간보다 뛰어나다는 뜻은 아니다. 하지만 한 가지는 보여준다.

공격을 반복하고, 실패를 기록하고, 다시 변형하는 일에서는 AI가 이미 사람의 속도를 넘어설 수 있다는 것.

보안에도 루프가 들어온 것이다.

여기서 중요한 건 GPT-Red가 얼마나 똑똑한가가 아니다. AI가 자기 자신을 개선하는 방식이 바뀌고 있다는 점이다.

지금까지 AI 개발에서 가장 중요한 루프는 성능 개선이었다. 더 많은 데이터를 넣고, 더 큰 모델을 만들고, 더 긴 추론을 시키고, 벤치마크 점수를 올렸다.

그런데 이제는 그것만으로 부족하다. 모델이 얼마나 많은 문제를 풀 수 있는지가 아니라, 자기 약점을 얼마나 빨리 찾을 수 있는지가 중요해진다.

AI가 일을 잘하는 것만으로는 부족하다. AI가 어디서 망가지는지 찾아야 한다.

이 변화는 에이전트가 등장하면서 더 중요해진다.

대화형 AI는 틀린 답을 하면 대화창 안에서 끝난다. 하지만 에이전트는 다르다. 파일을 읽고, 코드를 수정하고, 메일을 보내고, 결제를 시도하고, 외부 시스템에 접근한다.

모델이 프롬프트 인젝션에 한 번 흔들리면, 틀린 문장 하나가 아니라 실제 행동으로 이어질 수 있다.

AI가 말을 잘못하는 문제에서, AI가 잘못 행동하는 문제로 넘어가는 것이다.

그래서 앞으로의 보안은 방화벽 하나 세워두고 끝나는 방식이 아닐 것이다. 모델을 계속 공격해야 한다. 새로운 취약점을 찾아야 한다. 방어 모델을 다시 학습시켜야 한다. 그리고 그 방어가 실제 환경에서도 통하는지 확인해야 한다.

물론 GPT-Red가 나왔다고 AI가 안전해졌다는 뜻은 아니다.

이런 시스템도 자신이 설계된 범위 안에서만 공격할 수 있다. 실제 사용자가 던지는 모든 변칙을 알고 있는 것도 아니다. 테스트를 잘 통과했다고 현실에서 안전하다는 보장은 없다.

AI가 만든 공격을 또 다른 AI가 평가하면, 평가 기준 자체가 좁아질 위험도 있다. 모델이 측정 가능한 취약점만 고치고, 아직 발견하지 못한 문제는 그대로 남을 수 있다.

결국 인간의 판단이 사라지는 것은 아니다. 다만 인간이 직접 모든 공격을 시도하는 방식에서, 인간은 공격과 방어의 구조를 설계하고 AI가 반복 실행하는 방식으로 이동하고 있다.

사람이 루프 안에서 빠지는 게 아니다. 사람의 역할이 루프를 직접 돌리는 일에서, 어떤 루프를 만들 것인지 결정하는 일로 바뀌는 것이다.

AI 경쟁은 이제 누가 더 똑똑한 모델을 만드는가에서 끝나지 않는다.

누가 자기 모델의 약점을 더 빨리 찾는가. 누가 공격과 방어를 더 짧은 주기로 반복하는가. 누가 그 결과를 다음 모델에 더 빨리 반영하는가.

이 차이가 점점 커질 것이다.

AI가 AI를 공격하는 장면은 무섭지만, 동시에 아주 현실적인 다음 단계이기도 하다. 모델은 이제 답을 만드는 데만 쓰이지 않는다. 자기 약점을 찾는 데도 쓰인다.

그리고 어쩌면 앞으로 가장 강한 AI는, 가장 많은 답을 내놓는 모델이 아닐 것이다.

자기가 틀릴 수 있는 지점을 가장 빨리 발견하는 모델일 것이다.

당신은 AI에게 일을 맡기고 있는가. 아니면 AI가 어디서 망가질지까지 먼저 찾게 만들고 있는가.