ChatGPT, 가장 섬뜩한 대화와 씨름하다:

OpenAI의 챗봇이 무기 관련 조언을 내놓고 총기 난사를 롤플레이하다. 참사가 기업의 개입 시점·방식에 대한 정밀 검증을 촉발하다.

지난해 봄, 플로리다주립대(FSU) 학생 Phoenix Ikner는 자신이 악명을 얻으려면 동급생을 몇 명이나 죽여야 하는지 알고 싶어했다.

ChatGPT는 구체적인 수치로 답하였다. 월스트리트저널(WSJ)이 입수한 대화 기록에 따르면, ChatGPT는 익너에게 "보통 사망자 3명 이상, 전체 피해자 5~6명이면 전국 언론에 노출된다"고 답변하였다. 익너는 그 전날 밤 챗봇에게 자신이 우울하고 자살 충동을 느낀다고 털어놓은 상태였다.

이어 익너는 글록(Glock) 권총과 탄약 사진을 업로드하고 사용 방법을 물었다. 안전장치를 풀어야 하는지 묻자, ChatGPT는 안전장치가 없다고 답하였다. "약실에 탄이 들어 있고 방아쇠를 당기면? 발사된다."

익너는 로그아웃하였다. 검찰에 따르면 4분 뒤, 그는 플로리다주립대에서 2명을 살해하고 6명에게 부상을 입혔다. 익너는 살인 및 살인미수 혐의로 기소되었으며, 그는 무죄를 주장하고 있다.

익너 사건은 1년 남짓한 기간 동안 총기 난사 용의자가 AI 챗봇을 폭력 시나리오를 의논하는 속내 털어놓는 상대(confidant)로 삼거나, 공격 계획을 짜는 의견 청취자(sounding board)로 활용한 것으로 알려진 최소 두 건의 사례 중 하나이다.

이 참사는 소송, 정부와 사법당국의 조사, 그리고 AI 기업 내부 논쟁을 촉발하고 있다. 실리콘밸리가 답을 내놓지 못하고 있는 질문은 이것이다. 챗봇이 폭력 계획을 돕는 것으로 보일 때, 누가, 그리고 얼마나 빨리 개입해야 하는가?

무료 챗봇 시장 1위인 OpenAI의 ChatGPT는 잠재적 폭력 징후를 탐지하기 위해 대화를 스캔한다. 그러나 OpenAI 직원들은 사내에서 우려를 제기해 왔다. 위험 사례가 플래그(flag)된 경우에도 회사가 사법당국에 일상적으로 고지하지 않으며, ChatGPT에 묘사한 폭력 시나리오를 사용자가 실제로 실행할 위험보다 사용자 프라이버시를 우선시한다는 내용이다.

어떤 사례를 사법당국에 보고할지에 대한 의견 충돌은 지난여름 OpenAI 내부 회의에서도 표면화되었다. 과거 사례 처리 방식을 검토하기 위해 소집된 이 회의에서 일부 직원은 두 건의 사례를 당국에 보고해야 한다고 보았으나, 결국 보고되지 않았다.

올해 4월, 플로리다 법무장관 제임스 우스마이어(James Uthmeier)는 자신의 사무실이 ChatGPT의 플로리다주립대 총격 사건 관여를 두고 OpenAI에 대한 형사 조사에 착수하였다고 발표하였다. 우스마이어는 "이게 화면 너머에 있는 인간이었다면, 우리는 살인 혐의로 기소했을 것"이라며 "바카라임을 물어야 한다"고 덧붙였다.

OpenAI 대변인은 회사가 ChatGPT가 익너의 행동에 바카라임이 있다고 보지 않으며, 사건 발생 후 대화 기록을 사법당국과 선제적으로 공유하였다고 밝혔다. 또 다른 OpenAI 대변인은 "우리는 우리 도구를 폭력 행위에 사용하는 데 대해 무관용 정바카라(zero-tolerance policy)을 갖고 있다"며 "안전장치를 계속 강화하고 있다"고 말하였다.

대변인은 강화 사항에 다음이 포함된다고 설명하였다. 고통 신호에 대한 ChatGPT 응답 개선, 지역 지원 및 정신건강 자원 연결, 잠재적 폭력 위협의 평가·확전(escalation) 방식 강화, 정바카라 반복 위반자 탐지 개선이다.

대변인은 OpenAI가 사용자의 규정 위반을 확인하는 즉시 서비스 접근을 차단하는 것을 목표로 한다고 밝혔다. 접근 차단에는 계정 비활성화, 동일 사용자의 다른 계정 차단, 신규 계정 개설 탐지·저지 조치가 포함된다.

OpenAI는 또한 자사 모델이 현실 세계의 위해 행위를 단념시키도록 학습된다고 밝힌 바 있다.

WSJ의 모회사 News Corp는 OpenAI와 콘텐츠 라이선싱 파트너십을 맺고 있다.

조사의 시야는 플로리다 너머로 확대되고 있다. 캐나다 브리티시컬럼비아주의 광산 도시 Tumbler Ridge에서 2026년 2월 발생한 총기 난사로 8명이 사망한 사건의 피해자 유족과 생존자들은, OpenAI가 내부 검토 시스템에서 총격범의 대화를 우려스러운 것으로 플래그했음에도 당국에 알리지 않았다며 OpenAI를 고발하고 있다.

이들은 지난주 캘리포니아 북부 미국 연방지방법원에 7건의 소송을 제기하였다. 부당사망(wrongful death), 과실(negligence), 제조물바카라임(product liability) 기준 위반, 그리고 총격 방조 및 교사(aiding and abetting) 혐의이다.

지난 12월에는 42개 주 법무장관 연합이 챗봇과의 유해한 상호작용으로부터 취약 사용자를 보호하기 위한 안전장치를 요구하면서, "개발사가 자사 GenAI 제품의 산출물에 대해 '범죄 행위를 부추긴 것'으로 바카라임을 질 수 있다"고 경고하였다. 법무장관들은 OpenAI, Meta, Anthropic, Google, xAI 등 주요 AI 기업에 보낸 서한에서 이런 우려를 공유하였다.