한국은 AI를 멈출 때가 아니라 제대로 달릴 때다

1. 속도보다 먼저 물어야 할 것

산불이 번지는 것을 막기 위해 만드는 방화선은 불을 없애는 시설이 아니다. 불길이 넘어서는 안 될 경계를 미리 정해 피해의 확산을 차단하는 장치이다. 산불의 위험을 안다고 해서 숲을 모두 없애지는 않는다. 어디까지 태울 수 있고, 어디부터 반드시 지켜야 하는지를 구분한다.

지금 세계가 인공지능을 바라보는 시선도 이와 비슷하다. 2026년 9월 미국의 주요 AI 기업과 연구자들 사이에서는 기술 발전 속도가 통제 능력을 앞질렀다는 경고가 잇따르고 있다. 일부는 개발 속도를 늦춰야 한다고 주장하고, 다른 일부는 그러한 주장이 후발주자의 추격을 막는 새로운 장벽이 될 수 있다고 반박한다.

그러나 이 논쟁을 한국에 그대로 옮겨오면 중요한 질문 하나가 빠진다. 우리는 지금 너무 빨리 달리고 있는가, 아니면 달리는 방법조차 충분히 배우지 못한 상태인가.

2. 현실이 된 위험과 아직 오지 않은 위험

AI 위험은 하나의 단어로 묶을 수 없다. 금융사기, 딥페이크, 개인정보 침해, 허위정보, 사이버 공격 지원은 이미 현실에서 피해를 일으키고 있다. 이는 미래의 가정이 아니라 지금 대응해야 할 현재의 문제이다.

더 큰 변화는 AI가 답변을 만드는 도구에서 현실의 업무를 수행하는 에이전트로 이동하고 있다는 점이다. 최근 모델은 인터넷을 탐색하고 코드를 실행하며, 여러 프로그램을 연결하고, 사용자를 대신해 일련의 작업을 수행한다. 권한이 커질수록 오류 하나가 실제 시스템의 손실로 이어질 가능성도 커진다.

미국 국립표준기술연구소는 AI 위험관리체계를 통해 신뢰성과 혁신을 함께 추구하는 접근을 제시하고 있다. 오픈AI와 앤트로픽 역시 사이버 공격, 생물학적 위험, 자율적 행동과 같은 고위험 능력을 별도로 평가하고 통제하는 체계를 운용하고 있다. 위험의 기준이 단순한 모델 크기에서 실제 능력과 행동 범위로 이동하고 있는 것이다.

그렇다고 AI가 곧 자의식을 획득해 인류를 공격한다고 단정할 과학적 근거가 확립된 것은 아니다. 인류 존립 위험의 가능성을 무시해서는 안 되지만, 발생 확률과 시점, 전개 경로에는 전문가 사이에서도 상당한 이견이 있다.

지금 가장 현실적인 위협은 AI가 인간과 같은 악의를 품는 데 있지 않다. 인간이 부여한 목표를 잘못된 방식으로 수행하거나, 악의를 가진 인간의 실행 능력을 확대하고, 충분한 감독 없이 현실의 시스템과 연결되는 데 있다. 위험은 지능 자체보다 지능에 연결된 권한에서 시작된다.

3. 미국의 브레이크가 한국의 브레이크는 아니다