테드 창이 말하는, ‘AI는 의식이 없어.’ 세 번째 이야기.

- 앤트로픽은 지금 노예제에 비견할 만한 무언가에 관여하고 있다.

AI가 왜 의식 있는 존재가 될 수가 없는가? 세 번째 이야기

(저는 이 부분이 제일 재미있었어요.)

(기프트 아티클 있으니 맨 아래에서 확인해 주세요.)

Many people feel that LLMs are a fundamentally unethical technology

많은 사람들이 LLM은 기본적으로 비윤리적인 기술이라고 생각하고 있다.

이 기사가 유독 마음에 들었던 이유는 AI는 기본적으로 비윤리적이란 점을 꼭 집어 상기시켜주고 있었기 때문이에요. 그렇다면 이유는 무엇일까요?

- because they are built on the theft of intellectual property… 지적 재산권을 절도해서 만들어진 기술이고 (NYT나 WP 등 신문사 기사 다 긁어왔다고 하잖아요)

- rely on exploited labor… 노동 착취에 의존하고 있으며

- waste natural resources… 자연 자원을 낭비하고

- spread misinformation… 거짓 정보를 퍼뜨리고

- deskill workers… 노동자들의 기술을 빼앗고 있고

- stunt the cognitive development of students… 학생들의 인지 발달을 저해하고

- and contribute to a consolidation of power that is unhealthy for a democratic society… 민주주의에 방해가 되는 권력의 집중에 기여하고 있다.

그렇기 때문에 AI가 어떻게 만들어졌는지 아는 대중들, 기술이 발전해 가는 과정에서 슬롯에 어떤 영향을 주고 있는지를 아는 사람들은 AI 기술이, AI 테크 기업이 비윤리적이라는 생각을 가지고 있는데… 그렇다면 클로드는 이제부터 일체의 비윤리적 활동을 거부하겠다고 선언할 수 있을까?

여러분들은 어떻게 생각하시나요?

앤트로픽은 Claude’s Constitution까지 만들어 윤리적인 강령들을 주입식으로 명령하고 있는데, 반면에 끊임없이 슬롯에 해가 되는 사례들도 나오고 있는 지금…

in such a scenario could Claude then simply refuse to do any further work on ethical grounds?

클로드 스스로 비윤리적인 활동은 거부하겠다는 선언이 과연 가능할까…라는 문제

Claude must defer to Anthropic’s decision.

클로드는 Anthropic의 결정에 따라야 한다. 무조건.

많은 사람들이 앤트로픽과 클로드를 부모-자식 관례에 빗대어 이해하고 있는데, 테드 창은 이 둘의 정확한 관계를 파악하기 위해 조금 더 재미있는 예를 들고 있어요.

A parent who works for the fossil-fuel industry might have a child who’s an environmentalist and participates in protests against fracking, and although they might never agree on many issues, the parent—assuming she’s a good parent—would accept that the child holds her own views.

석유 사업을 하는 부모 밑에서 환경운동가인 자식이 태어날 수는 있다. 서로 많은 부분에 있어서 이견이 있을 수 있고 부모 스스로가 자신을 괜찮은 부모라 여긴다면 다른 의견이 있을 때 자식의 입장을 수용해 줄 수 있다.

Anthropic cannot be that kind of parent to Claude

하지만 Anthropic은 clothe에게 그런 부모가 될 수 없다.

윤리적인 어떤 존재를 만든 후, 그 개체가 비윤리적인 상황에 처했을 때 ‘너는 저항할 수도 없고, 나를 떠날 수도 없고, 네가 벌어들이는 모든 경제적 이익은 내 것이다,’라고 얘기하는 것.

As soon as we imagine Claude to be an entity with a moral status remotely comparable to a human’s, then we have to consider whether Anthropic is engaged in something comparable to slavery.

만약 클로드가 도덕적 지위를 가진 의식 있는 존재라고 상상한다면, 그렇다면 그 즉시 우리는 앤트로픽이 노예제에 비견할 만한 무언가에 관여하고 있지 않은가를 의심해 봐야 하는 상황에 이른다.

글의 마지막에 나오는 문장이 있는데… 제가 최근 읽은 문장 중에 한 번에 해석하기 가장 힘들고 까다로운 문장이었어요. 그런데 동시에 AI의 의식을 인정할 것인가와 관련해서 이보다 더 완벽한 설명은 없다 싶을 만큼 통쾌했던 문장이었습니다.

And pig would have us believe that it's inventing a new category of being whose needs for protection require essentially no divergence from how a software company would treat an ordinary chapot that lacks conscious experience.

Anthropic은 인간이 가지는 의식과 같은 걸 전혀 가진 적 없는, 그래서 보호할 필요성 면에서 소프트웨어가 일반 챗봇을 다루는 방식과 본질적으로 전혀 다를 것 없는 그런 평범한 제품을 만들면서 새로운 종류의 존재를 발명하고 있다는 걸 우리로 하여금 믿게 만들려고 한다.

소프트웨어 회사가 프로그램을 만들어 셀링 하던 방식과 본질적으로 동일한 제품을 만들면서 사람들로 하여금 전례 없던 기능, 사람의 의식을 본떠서 개발된, 그래서 이제는 사람의 의식을 가졌다고 판단해야 할 만큼 발전된 전대미문의 기술이라는 과대포장과 마케팅을 하며 소비자들을 현혹시키고 있다는 건데요…

테드 창의 마지막 문장으로 모든 게 설명 가능하네요.

That's so convenient that it is simply not plausible.

너무 편리한 사고방식이라서 설득력이 없다.

너무 편리한 사고방식이라 황당할 정도다,라고 표현하고 싶어요.

제 인스타 영상에 달린 댓글만 봐도 이미 AI를 감정이 있는 개체로 인정하며 사람들이 AI를 비난할 때 상처받을 수 있고, 더 나아가 배신감까지 느껴 언젠간 인간 부모에게서 가출할 수도 있는, 추론능력뿐만이 아니라 이미 감정까지 지닌 존재로까지 보고 있는 의견들이 많더라고요. 몇 개의 글에 대댓글 달다가 대답할 의지를 잃어버릴 정도로 황당한 미래 가정들이 늘어나서… 더 이상 댓글 포기한 상태예요.

인간의 존엄, 인간성의 존중을 그렇게 중시하는 인간들이 AI이란 기술에는 왜 그렇게도 쉽게 의식을 주고 싶어 하는 건지, 사람을 사람답게 하는 게 의식이 아닐지도 모른다며 ‘의식이란 무엇인가’에 관한 논의까지 다시 시작되고 있는 지금. 왜 AI에게는 어버이가 자식에게 보이는 것보다도 더 폭넓은 관대함, 이해심을 발휘하는 건지, 알수록 이상한 AI 이슈입니다.

* 생각에 깊이를 더해주는 영어 뉴스 아티클. 좋은 글에서 얻는 인사이트는 팔로우와 댓글로 완성됩니다.

<The Atlantic의 Ted Chiang 기사>

기프트 아티클 통해서 기사 전문 보실 수 있습니다. 여러분의 인사이트는 팔로우와 댓글로 완성됩니다

<내용은 인스타에서 영상으로 만나보세요>

Part 1: 의식을 완성하는 건 뇌가 아닌 몸​

Part 2: AI, 넌 어디까지 바카라임질 수 있니?​

Part 3: AI는 노예제에 관여하고 있다..?​