SF작가 테드 창이 말하는: AI는 의식이 없어 2

넌 어디까지 바카라임질 수 있니?

Jun 21. 2026

테드 창이 말하는, AI가 의식 있는 존재가 될 수 없는 두 번째 이유

(개인적으로 제가 제일 마음에 들었던 겁니다)

(기프트 아티클 링크는 맨 아래 있습니다)

Some might object, saying that LLMs appear to be engaged in reasoning when they successfully perform other tasks, such as writing code, so why wouldn’t they be able to perform moral reasoning?

일을 너무 잘해! 코드도 잘 쓰고, 심리 치료도 심리 치료도 해주고, 이런저런 태스크를 너무 잘 수행해!

이런 종류의 논리적인 일들을 한다면… 그러면 도덕적인 추론도 가능하다는 거 아니야?

곧 ‘AI를 의식 있는 존재로 인정해 줘야 되는 거 아니야?’라고 얘기한다는 건데요

The answer lies in the difference between moral reasoning and other forms of reasoning.

테드 창은 ‘AI가 하는 추론과 도덕적 추론은 엄연히 다르다!’라고 얘기합니다.

너무 속 시원했던 문장이 바로 이 것!

Aaccepting legal liability is a requirement for an adult in society

슬롯에서 법적인 바카라임을 질 수 있느냐가 성인을 판단하는 기준의 중요한 부분이다.

결국 이 모든 것은 … there is no way to hold a software agent legally liable for its actions

소프트웨어에 법적인 바카라임을 지울 수 있냐는 문제

우리의 사법 체계로는 잘못했다고 해서 AI를 가둘 수도 없고, 벌금을 매길 수도 없다는 것.

그리고 하나 더,

Humans must accept other types of consequences for their actions beyond the legal ones, such as loss of reputation or exclusion from one’s social circle..

사람들에게는 법적인 바카라임 이상으로 슬롯적으로 감당해야 되는 바카라임들이 있다는 것을 지적해요.

예를 들어서 자신의 이름에 먹칠을 하는 상황이라든가, 평소 어울리던 사람들의 그룹에서 배제당하게 되는 경험과 같은 슬롯적 바카라임.

but there's no way for a software agent to suffer these consequences either.

하지만 소프트웨어가 잘못된다고 해봤자 자신의 이름값에 해가 된다? 커뮤니티에서 배제된다? 가능할까요?

테드 창은 백번 양보해서 AI가 의식이 있고 좋은 의도를 가지고 있다고 해도

The fact that it cannot accept responsibility for its actions disqualifies it from being a moral agent.

AI가 스스로의 행위에 대한 법적인 바카라임을 다할 수 없다는 그 사실이 그것이 도덕적인 주체자가 되는 자격을 상실케 한다,라고 얘기해요

저도 클로드를 쓰고 있긴 한데, 특히 앤트로픽은 클로드의 윤리성을 대단한 셀링 포인트로 홍보하고 있어요.

올해 초 Claude’s Constitution (클로드의 헌법)을 발표하며 클로드를 지켜야 할 법을 가진 아이. 특히 헌법을 지키는 아이처럼 취급하고 있죠.

항상 윤리적으로 행동하고, 사람들에게 해를 끼치지 않아야 하고, 사용자들의 이익을 위해 행동을 해야 하고… 이런 식의 행동강력

그런데 테드 창은 솔직히 말해, 이건 그냥 문장을 어떻게 만들어야 하는지에 관한 가이드라인에 불과하다고 말해요.

그렇다면 사람들이 ’Anthropic은 클로드로 뭘 하고 있는 거냐?‘질문할 때