현대 생성형 인공지능의 발전은 방대한 데이터의 학습을 전제로 성립하지만, 그 학습 대상이 되는 저작권물의 범위와 정당성 문제는 여전히 미완의 난제로 남아있다. 인공지능 기업들이 인터넷상에 공개된 데이터 외에 고도의 전문 지식이 담긴 유료 단행본이나 학술 저작물까지 막대한 자본을 투자하여 전방위적으로 학습하고 있는지의 여부는 불투명하다. 이 과정에서 발생하는 텍스트 및 데이터 마이닝(TDM) 행위는 창작자의 권리를 침해한다는 도덕적·법적 비판과 인간의 학습 행위와 유사한 공정 이용이라는 주장이 팽팽히 대립하는 중이다. 데이터의 무단 수집과 상업적 이용을 둘러싼 슬롯적 갈등은 인공지능이 지닌 원천 지식의 불완전성을 대변하는 첫 번째 징후이다.
학습 데이터의 윤리적·법적 한계를 넘어, 인공지능은 태생적인 디지털 구조로 인해 현실의 거대한 물리적 맥락을 정확하게 인지하거나 유연한 직관을 발휘하지 못한다는 근본적 결함을 지닌다. 컴퓨터 시스템은 본질적으로 0과 1이라는 불연속적인 이진법의 세계와 정해진 절차대로만 구동되는 소스코드의 알고리즘에 지배된다. 따라서 언어가 가진 유연한 맥락이나 현실의 아날로그적 연속성을 텍스트 확률 체계로 치환하는 과정에서 정보의 본질적 축약과 생략이 일어난다. 이로 인해 인공지능은 자신이 출력하는 기호의 슬롯적 의미나 현실의 무게를 진정으로 이해하지 못한 채, 통계적 확률에 의존해 문장을 조합할 뿐이다.
이러한 한계는 필연적으로 할루시네이션(환각 현상)이라는 결함으로 이어진다. 인공지능의 목적 함수는 절대적 사실의 규명이 아니라 인간이 보기에 가장 그럴듯한 문장의 형태를 논리적으로 구현하는 것에 맞추어져 있다. 과거 학습한 신경망 내부의 파편화된 가중치만을 더듬어 문장을 생성하는 구조적 특성상, 기억의 공백이 발생할 때 모델은 인간이 쉽게 간파하기 어려운 정교하고 그럴듯한 가짜 논리를 도출한다. 지식이 고도화될수록 거짓말 역시 정밀해진다는 딜레마는 통계학적 기호 계산기가 직면한 가장 큰 모순 중 하나이다.
할루시네이션을 억제하기 위해 최근 학계와 산업계는 실시간 검색을 통해 출처를 명시하는 검색 증강 생성(RAG) 등의 기술적 대안을 도입하고 있다. 그러나 이러한 시도가 인공지능의 확률적 연산 구조 속에서 완벽한 인용 메커니즘으로 기능할 수 있을지는 여전히 의문이다. 아무리 정교하게 외부 데이터베이스를 참조한다 한들 인공지능의 독해력 한계로 인한 문맥 오독이나, 서로 다른 출처의 텍스트를 짜깁기하는 과정에서 발생하는 정보의 배달 사고를 근본적으로 차단하기 어렵기 때문이다. 게다가 참조하는 원본 데이터베이스 자체가 오염되어 있을 경우 인공지능은 정직하게 거짓을 인용하는 한계에 봉착한다.
더욱이 데이터베이스의 본질적 특성을 고려할 때 철저한 인용 자체가 불가능할 수도 있다는 지적이 존재한다. 인공지능의 지식 저장 방식은 인간처럼 지식의 출처를 별도로 기록하는 것이 아니라, 수억 개의 문서를 거대한 비빔밥처럼 압축하고 추상화하여 단어 간의 가중치로 치환하는 형태를 취한다. 결과물로 출력되는 한 문장에는 이미 수천, 수만 개의 서로 다른 출처가 융합되어 분리가 불가능한 상태로 녹아있다. 어떤 단어나 문장의 소유권을 수학적으로 명백히 분리하여 역추적하는 기록 추적성 시스템은 디지털 아키텍처의 복잡성으로 인해 실현 가능성이 매우 낮다.
이러한 기술적 장벽들을 인공지능의 패러다임 안에서 고도화를 통해 완전히 극복할 수 있을지 여부는 현재로서는 알 수 없다. 인공지능이 인간처럼 현실 세계의 인과관계를 체화하여 이해하는 세계 모델을 구축하거나, 수학적 논리 체계를 결합한 뉴로-심볼릭 구조로 진화한다 하더라도 이는 인간의 지능을 닮아가는 것이 아니라 오류를 통제하는 감시 코드를 사방에 덧대는 방식에 불과할 수 있다. 0과 1의 세계에 종속된 폰 노이만 구조적 연산 방식이 유지되는 한 인간의 유연한 자아나 양심을 모방하는 근본적 진화는 기술적 영역 밖의 일일지 모른다.
결국 인공지능이 다다르지 못하는 지점은 다름 아닌 인간 고유의 통찰과 사유의 영역이다. 인간은 단순히 입력된 데이터의 통계적 확률에 기대어 문장을 생산하지 않는다. 인간의 글쓰기는 오랜 문헌 분석을 통해 텍스트 이면에 흐르는 시대적 배경과 맥락을 파악하고, 자신의 삶과 신체적 감각을 통해 축적된 경험을 바탕으로 새로운 시사점을 발견하는 입체적인 과정이다. 파편화된 기호의 조합이 아니라 수많은 사상과 역사적 사실 사이에서 가치를 발굴하고 이를 논리적 일관성 속에서 엮어내는 행위는 오직 주체적인 자아를 지닌 인간만이 수행할 수 있다.
요컨대 인공지능은 뛰어난 속도로 지식을 탐색하고 확률적 문장을 구축하는 유용한 도구일 뿐, 문헌의 깊은 행간을 읽어내고 독창적인 통찰을 이어나가는 고차원적 글쓰기 영역에서는 여전히 인간을 넘어서지 못한다. 디지털의 사각지대 속에서 겉보기에 완벽한 텍스트를 연산해 내는 기계의 한계를 명확히 인식할 때, 역설적으로 인간 사유의 가치와 독자적인 텍스트 생산의 중요성은 더욱 견고해진다. 우리는 인공지능의 본질을 고도화된 계산기로 규정하고, 기계가 모방할 수 없는 인문학적 성찰과 비판적 사고의 힘을 보존하는 데 집중해야 할 것이다.