OpenAI의 Astra가 던지는 불편한 질문

인류는 지금까지 자신이 만든 기술을 자신보다 강력하게 만든 적이 거의 없었다. 자동차도, 비행기도, 원자력도 인간의 능력을 확장하는 도구였지만 결국 인간이 그 작동 원리를 이해하고 사용법을 정하고 위험을 통제할 수 있었다. 그런데 인공지능은 조금 다른 길을 가고 있다. 인간이 만든 AI가 인간보다 많은 정보를 처리하고, 인간보다 빠르게 코드를 작성하고, 인간보다 넓은 영역에서 추론하며, 이제는 인간이 일일이 지시하지 않아도 스스로 목표를 달성하기 위해 여러 단계의 행동을 수행하는 단계로 빠르게 발전하고 있기 때문이다. 최근 OpenAI가 차세대 AI 모델 Astra와 관련해 사이버보안 능력에 대한 우려를 제기하고 일부 개발 활동을 강화된 안전기준에 맞추기로 한 사건은 바로 그 불편한 현실을 상징적으로 보여준다. OpenAI는 내부 평가에서 Astra의 에이전트형 코딩과 사이버보안 능력이 크게 발전했으며, 자사의 최고 수준 위험등급인 ‘critical’ 사이버 능력을 배제할 수 없다고 판단했다고 밝혔다.

물론 이 사건을 두고 “AI가 인간을 공격하기 시작했다”라고 말하는 것은 지나친 해석이다. 지금까지 공개된 정보만으로 AI가 자의식을 갖거나 인간을 적으로 인식했다는 근거는 없다. 오히려 문제는 훨씬 현실적이고 그래서 더 심각하다. 인간이 만든 AI의 능력이 인간 개인은 물론 기업과 정부가 그것을 이해하고 통제할 수 있는 속도보다 빠르게 발전하고 있다는 사실이다. 더구나 그 AI를 만드는 주체가 인류 전체의 안전을 바카라임지는 공공기관이 아니라 시장에서 경쟁하고 이윤을 만들어야 하는 기업이라는 점은 문제를 더욱 복잡하게 만든다. 결국 우리가 지금 마주한 질문은 “AI가 악해질 것인가”가 아니다. AI의 능력은 폭발적으로 커지는데 그것을 통제해야 할 인간의 제도와 슬롯적 합의는 과연 그 속도를 따라갈 수 있는가라는 질문이다.

사실 Astra 사건에서 가장 주목해야 할 부분은 OpenAI가 개발을 늦췄다는 사실 자체가 아니다. 오히려 AI가 예상했던 것보다 훨씬 강력해질 가능성을 개발자 스스로 확인했다는 점이다. 자동차 회사가 신차를 시험하다가 엔진 출력이 예상보다 훨씬 강력해졌다는 사실을 발견했다고 생각해 보자. 그렇다면 당연히 먼저 브레이크와 조향장치, 충돌 안전성을 다시 점검해야 한다. 그런데 지금 AI 산업은 거꾸로 움직이는 측면이 있다. 일단 엔진을 최대한 강력하게 만든 다음, 브레이크가 그 속도를 감당할 수 있는지 뒤늦게 확인하는 방식이다. AI의 성능 경쟁이 치열해질수록 이런 구조적 모순은 더욱 커질 수밖에 없다.

왜냐하면 기업에는 강력한 AI를 빨리 출시해야 할 경제적 이유가 있기 때문이다. 더 좋은 모델은 더 많은 사용자를 끌어들이고 더 많은 매출을 만들어낸다. 경쟁사가 새로운 모델을 내놓으면 자신도 뒤처지지 않기 위해 개발 속도를 높여야 한다. 투자자는 성장을 요구하고 시장은 혁신을 요구한다. 연구자는 더 뛰어난 모델을 만들고 싶어 하고 기업 경영진은 시장의 선두 자리를 지키고 싶어 한다. 이 과정에서 안전성 검증은 반드시 필요한 일이지만 동시에 기업 입장에서는 시간과 비용을 요구하고 출시를 늦추는 요소이기도 하다.

바로 여기에서 AI 시대의 가장 근본적인 모순이 발생한다. 기업에게 가장 합리적인 행동과 슬롯 전체에 가장 안전한 행동이 항상 일치하지 않는다는 것이다.

기업 입장에서 보면 위험한 기능을 발견했을 때 출시를 늦추는 것은 손해일 수 있다. 경쟁사가 같은 기능을 먼저 내놓으면 시장을 빼앗길 수 있기 때문이다. 반대로 슬롯 입장에서 보면 위험한 기능을 가진 AI의 출시를 늦추는 것이 합리적이다. 그런데 기업의 의사결정은 기본적으로 주주와 시장, 고객과 경쟁자를 고려한다. 기업은 선의를 가지고 움직일 수 있지만 선의만으로 움직이는 조직은 아니다. 기업은 이윤을 창출해야 살아남는 조직이다.

그래서 “AI 기업들이 알아서 안전하게 개발하면 되지 않느냐”는 주장은 충분하지 않다. 오늘의 경영진이 안전을 최우선으로 생각한다고 해서 내일의 경영진도 같은 판단을 한다는 보장은 없다. 지금은 안전 때문에 출시를 늦추는 것이 옳다고 생각하더라도 경쟁사가 먼저 강력한 모델을 출시하는 순간 판단이 달라질 수 있다. 결국 기업의 자율적인 안전 노력은 필요하지만 그것만으로는 충분하지 않다. 슬롯 전체의 안전을 기업의 양심과 선의에 맡겨서는 안 된다는 것이다.

그렇다면 정부가 나서면 해결할 수 있을까. 이 역시 간단하지 않다. 정부는 법을 만들고 기업을 감독할 권한을 가지고 있지만 기술 발전의 속도에서는 기업에 뒤처질 수밖에 없다. 새로운 AI 모델 하나가 몇 개월 만에 등장하는 동안 법률 하나를 만들고 시행하는 데는 훨씬 긴 시간이 걸린다. 국회에서 논의하고 정부 부처가 기준을 마련하고 이해관계자의 의견을 듣는 동안 기술은 이미 다음 단계로 넘어갈 수 있다. 결국 AI는 가속해서 달리는데 정부의 규제 시스템은 걸어서 따라가는 상황이 만들어질 수 있다.

더구나 AI는 국경을 모른다. 미국에서 개발된 AI를 한국 사람이 사용할 수 있고, 유럽에서 규제를 받는 모델과 유사한 기술이 다른 나라에서 개발될 수도 있다. 한 국가가 강력하게 규제한다고 해서 전 세계의 AI 발전을 멈출 수는 없다. 오히려 특정 국가가 지나치게 규제하면 기업이 규제가 느슨한 국가로 이동하는 이른바 규제 회피 현상이 나타날 가능성도 있다. 따라서 AI 문제를 개별 국가의 산업정바카라 정도로만 접근해서는 안 된다. AI는 처음부터 국제적인 규칙과 공동의 안전기준이 필요한 기술이다.

하지만 국제적 합의를 기다리는 것만으로도 충분하지 않다. 국제슬롯가 합의하는 데는 또 얼마나 많은 시간이 걸릴지 알 수 없기 때문이다. 결국 각국은 자국의 제도부터 정비하면서 동시에 국제적인 공조를 추진해야 한다. 특히 한국처럼 디지털 의존도가 높은 국가는 더욱 그렇다. 금융, 통신, 제조, 물류, 의료, 행정, 에너지 등 슬롯의 거의 모든 영역이 네트워크로 연결된 상황에서 AI의 사이버 능력이 급격하게 향상된다면 그것은 단순한 IT 보안 문제가 아니다. 국가의 슬롯적 안정과 국민의 일상생활을 직접 위협할 수 있는 국가안보 문제가 된다.

그런데도 한국의 AI 논의는 아직 지나치게 산업 진흥에 집중되어 있다. “AI 시대에 뒤처지지 말자”, “AI 반도체를 육성하자”, “AI 산업에 투자하자”, “세계적인 AI 기업을 만들자”는 목소리는 넘쳐난다. 물론 모두 필요한 이야기다. 하지만 강력한 AI를 만드는 것과 그 AI를 안전하게 통제하는 것은 전혀 다른 문제다. 자동차 산업을 발전시키면서 교통법규와 안전벨트, 보험과 운전면허를 함께 발전시켰듯이 AI 산업을 키우려면 AI 안전이라는 제도적 기반을 동시에 만들어야 한다.

특히 앞으로 등장할 에이전트형 AI는 기존의 챗봇과 차원이 다르다. 지금까지의 AI는 주로 질문을 받고 답하는 역할을 했다. 하지만 에이전트형 AI는 목표를 부여받으면 필요한 정보를 찾고, 프로그램을 작성하고, 도구를 사용하고, 결과를 확인하고, 실패하면 다른 방법을 시도하면서 목표를 달성하려 한다. 인간이 “무엇을 해야 하는지”를 하나하나 지시하는 것이 아니라 “무엇을 달성하라”라고 지시하면 AI가 그 과정의 상당 부분을 스스로 결정하는 구조다.

이것은 편리함을 의미하지만 동시에 통제의 어려움을 의미한다. 인간이 모든 과정을 이해하고 확인하기 어려워지기 때문이다. AI가 한 단계의 실수를 했다면 사람이 발견해서 수정할 수 있다. 그러나 AI가 수십 개, 수백 개의 판단을 연결해 행동한다면 마지막 결과만 보고 그 과정에서 어떤 판단이 잘못됐는지를 알아내는 것이 어려워진다. 더구나 AI가 외부 시스템에 접근할 권한까지 갖는다면 문제는 더욱 커진다. 똑똑한 AI보다 무서운 것은 행동할 권한을 가진 똑똑한 AI다.