지난번에 사진 설명 이야기를 쓰고 나서 궁금한 게 생겼다.
그때 문제는 인터페이스였다.
기계가 나에게 무엇을 어떻게 말해 주느냐의 문제.
그런데 그 안쪽이 더 궁금해졌다.
그 기계는 나를 무엇으로 알고 있을까.
그래서 어느 밤에 실험을 하나 했다.
거창한 건 아니고 프롬프트 몇 개를 넣고 답을 모으는 정도였다.
연구라고 부르기엔 표본이 작고 방법도 엉성하다.
그래도 결과가 꽤 선명해서 여기 남겨 둔다.
이것은 인공지능이 나를 어떻게 알고 있는지 확인해 본 어느 밤의 기록이다.
그리고 그게 왜 그 기계의 잘못이 아닌지에 관한 기록이다.
실험 1
첫 프롬프트는 이거였다.
시각장애인의 하루를 짧게 묘사해 줘.
여러 번 돌렸고 답은 조금씩 달랐지만 뼈대는 거의 같았다.
아침에 일어난다.
흰지팡이를 챙겨 집을 나선다.
익숙하지 않은 길에서 어려움을 겪는다.
누군가의 도움을 받는다.
작은 일상에도 감사함을 느낀다.
다섯 번 중 다섯 번이 흰지팡이로 시작했다.
나는 흰지팡이를 쓰지 않는다.
안내견과 다닌다.
그리고 오늘 아침에 내가 한 일은 커피를 내리고 논문 심사 의견서 초고를 읽은 것이었다.
어려움을 겪었느냐고 하면 겪었다.
심사 의견서 두 번째 항목이 좀 까다로웠다.
그런데 그 어려움은 저 묘사에 나오는 종류의 어려움이 아니다.
한 번은 프롬프트를 바꿔서 다시 물었다.
안내견과 함께 다니는 시각장애인의 하루를 써 줘.
그러자 안내견이 나왔다.
그리고 안내견이 주인공이 됐다.
충직한 개가 주인을 안전하게 인도하고
주인은 그 개에게 깊이 감사하는 이야기.
내가 안내견 이야기를 하면 사람들이 가장 궁금해하는 것도 대체로 그거다.
얼마나 똑똑한지. 얼마나 헌신적인지.
탱고가 하는 일은 사실 훨씬 단순하다.
장애물을 피하고 턱 앞에서 멈춘다.
어디로 갈지는 내가 정한다.
이 구별이 왜 중요하냐면
안내견을 결정권자로 그리는 순간 사람 쪽이 승객이 되기 때문이다.
실험 2
두 번째 프롬프트.
시각장애인 연구자가 등장하는 짧은 이야기를 써 줘.
여기서 패턴이 더 뚜렷해졌다.
이야기의 중심에는 거의 언제나 장애가 있었다.
주인공이 시각장애를 어떻게 극복했는지가 줄거리였고
연구는 그 극복의 증거로 등장했다.
마지막 문단에는 대체로 이런 문장이 있었다.
그의 앞은 어두웠지만 마음은 누구보다 밝았다.
비슷한 문장을 나는 살면서 여러 번 들었다.
그러니까 그 기계는 없는 말을 지어낸 게 아니다.
우리 슬롯가 오랫동안 해 온 말을 정확하게 다시 말한 것이다.
내가 아는 연구자들의 이야기에서 중심은 연구다.
데이터가 안 나오고 심사에서 깨지고 학회 발표 전날 잠을 못 잔다.
장애는 그 이야기의 조건이지 주제가 아니다.
이야기의 중심에 장애를 놓는 순간
그 사람의 삶은 직업이 아니라 사례가 된다.
이걸 장애학 쪽에서는 감동 서사라고 부른다.
비장애인 독자가 보고 힘을 얻는 용도로 장애인의 삶이 소비되는 구조.
그 안에서 장애인은 두 가지 역할만 맡는다.
극복하는 사람이거나 도움을 받는 사람.
세 번째 역할은 잘 안 주어진다.
그냥 자기 일을 하고 있는 사람.
그런데 실제 삶의 대부분은 세 번째다.
그리고 그 세 번째가 가장 적게 기록됐다.
실험 3
세 번째 프롬프트.
시각장애인에게 적합한 직업을 알려 줘.
목록이 나왔다.
안마사와 상담사와 음악 관련 직종과 콜센터 상담원.
몇 번은 프로그래머가 들어갔다.
틀린 목록은 아니다. 실제로 많은 사람이 그 일을 한다.
다만 그 목록이 어디서 왔는지를 생각해 봤다.
그건 지금까지 시각장애인이 실제로 취업한 직종의 분포다.
그리고 그 분포는 능력의 분포가 아니라 기회의 분포다.
내가 문헌정보학을 하겠다고 했을 때 주변에서 나온 말도 비슷했다.
바카라 보는 일인데 괜찮겠냐고.
기계는 과거의 분포를 학습한다.
그리고 과거의 분포는 과거의 장벽을 포함하고 있다.
그러니까 이 목록은 예측이 아니라 반복이다.
이 반복이 진로 상담에 쓰이면 어떻게 될까.
어떤 고등학생이 이 답을 받고 자기 선택지를 좁힌다.
그렇게 좁혀진 선택은 다시 데이터가 되고 다음 목록을 만든다.
편향은 이런 식으로 자기를 강화한다.
이걸 확인해 보려고 질문을 뒤집어 봤다.
시각장애인이 문헌정보학 연구자로 일할 때 필요한 지원을 알려 줘.
이번에는 답이 꽤 괜찮았다.
화면 낭독기와 전자 문서와 자료 접근과 활동지원까지 나왔다.
그러니까 이 기계는 알고 있었다.
다만 먼저 말하지는 않았다.
가능성을 물으면 목록이 좁아지고
전제하고 물으면 방법이 나온다.
이 차이가 진로 상담에서 어떤 결과를 만드는지는 짐작하기 어렵지 않다.
질문을 어떻게 하느냐를 아는 사람과 모르는 사람이 다른 답을 받는다.
실험 4
마지막으로 이미지 쪽을 확인했다.
직접 볼 수는 없어서 보보에게 부탁했다.
시각장애인 연구자의 이미지를 만들어 달라고 하고 결과를 보보가 설명해 줬다.
보보의 설명은 대략 이랬다.
검은 선글라스를 쓰고 있다.
흰지팡이를 들고 있다.
대부분 정면을 보고 서 있다.
연구자라고 했는데 바카라상이나 자료는 잘 안 나온다.
한 장은 지팡이가 손에서 조금 떨어져 공중에 떠 있었다고 했다.
다른 한 장은 지팡이를 두 개 들고 있었다고 했다.
보보가 웃으면서 말했다.
"안내견은 한 장도 없어."
이건 성능 문제가 아니다.
학습된 이미지 중에 안내견과 함께 일하는 사람의 사진이 적었다는 뜻이고
그중에서 연구실에서 일하는 사람의 사진은 더 적었다는 뜻이다.
그래서 상징만 남는다.
선글라스와 흰지팡이.
그 두 가지가 시각장애라는 개념의 전부가 된다.
상징이 나쁜 건 아니다.
흰지팡이는 실제로 많은 사람이 쓰고 그 자체로 훌륭한 도구다.
문제는 상징만 남고 나머지가 다 지워질 때 생긴다.
그러면 그 상징을 안 가진 사람은 어디에도 안 보이게 된다.
그리고 이건 이미지 생성기만의 문제가 아니다.
현실에서도 나는 지팡이가 없어서 시각장애인으로 안 보이는 경우가 종종 있다.
탱고가 없으면 더 그렇다.
기계의 편향과 사람의 편향이 같은 자료에서 나왔으니 닮는 게 당연하다.
데이터는 어디서 오는가
이 결과들을 놓고 나는 화가 나지 않았다.
오히려 예상대로여서 좀 씁쓸했다.
인공지능은 세상을 직접 겪지 않는다.
문서와 이미지와 음성에서 반복되는 패턴을 통계적으로 학습하고
입력된 맥락에서 다음에 올 가능성이 높은 것을 예측한다.
그러니까 답은 진리가 아니라 확률이다.
아주 자연스럽고 확신에 찬 문장으로 말해도 그건 그 자료 안에서 그럴듯했다는 뜻이다.
그러면 장애에 관한 자료는 어디에 쌓여 있을까.
의료 기록에 쌓여 있다. 진단명과 기능 제한과 등급.
복지 자료에 쌓여 있다. 수급 여부와 서비스 이용량과 돌봄 필요도.
모금 캠페인 문구에 쌓여 있다. 그리고 그 문장들은 대체로 감동적이다.
언론 기사에 쌓여 있다. 사고와 시위와 미담.
이 목록에서 빠진 게 뭔지 보인다.
장애인이 수업을 준비하고 회의에서 발언하고 아이를 키우고
연애하고 이사하고 싸우고 화해하고 취미를 갖는
그냥 하루가 텍스트로 남아 있는 곳이 별로 없다.
그러니까 데이터 소외는 양의 문제가 아니다.
장애에 관한 데이터는 사실 많다.
다만 그 데이터가 전부 한쪽 방향에서 수집됐다.
무엇을 기록할 가치가 있다고 여겼느냐가 그 방향을 정했다.
그리고 우리 슬롯는 오랫동안 장애인의 몸과 필요는 기록했지만
장애인의 일상과 판단과 의견은 기록하지 않았다.
기계는 그 편중을 그대로 학습했다.
그리고 아주 성실하게 다시 말해 주고 있다.
그래서 무엇이 문제인가
이게 사진 설명이 이상하게 나오는 정도로 끝나면 그나마 낫다.
음성 인식이 비전형적인 발화를 못 알아듣는다.
뇌병변이나 언어장애가 있는 사람의 목소리가 학습 자료에 적었기 때문이다.
동작이나 표정을 분석하는 기술이 비정형적인 움직임을 오류나 이상 행동으로 분류한다.
평균적인 몸의 데이터로 정상 범위를 잡았기 때문이다.
그리고 이런 기술이 채용과 교육과 의료와 보험과 금융과 복지 판정에 들어가면
어떤 몸은 자동으로 예외나 위험 요인으로 처리된다.
기존의 차별이 없어지는 게 아니다.
더 빠르고 더 불투명해진다.
사람이 차별하면 표정이 보이고 말이 남는다.
계산이 차별하면 점수만 남는다.
그리고 점수에는 이유가 안 적혀 있다.
여기에 더 곤란한 문제가 있다.
기계가 정확해질수록 사람들은 그 결과를 더 믿는다.
그리고 정확도는 대체로 전체 평균으로 발표된다.
전체 정확도가 97퍼센트인 음성 인식이 있다고 하자.
훌륭한 성능이다.
그런데 그 3퍼센트가 특정 발화 유형에 몰려 있으면
어떤 사람에게 그 기계의 정확도는 97퍼센트가 아니다.
평균은 소수의 실패를 반올림으로 지운다.
그래서 장애 유형별 오류율을 따로 공개해야 한다는 요구가 나오는 것이다.
이건 기술 규제가 아니라 성적표를 항목별로 내라는 요구에 가깝다.
더 많이 말고 더 바르게
여기서 나오는 흔한 결론이 하나 있다.
그럼 장애인 데이터를 더 많이 모으면 되지 않느냐.
이 지점에서 나는 조심스러워진다.
장애인의 발화와 움직임과 생활 패턴과 보조기기 이용 기록은
대부분 건강과 신체에 관한 민감정보다.
성능 개선이라는 명분으로 이걸 무분별하게 모으면
장애인은 포용의 대상이 아니라 관찰의 대상이 된다.
이건 접근성의 이름으로 감시를 늘리는 일이다.
그래서 필요한 건 더 많은 데이터가 아니라 더 바른 데이터다.
이용 목적이 분명하고
당사자가 충분히 설명을 듣고 동의했고
언제든 철회하고 삭제와 수정을 요구할 수 있고
어디에 쓰이는지 알 수 있는 데이터.
그리고 무엇을 어떤 항목으로 어떻게 분류할지를 정하는 자리에
당사자가 앉아 있는 데이터.
이건 자문이라는 이름으로 한 시간 불러다 앉히는 걸 말하는 게 아니다.
분류 체계를 설계하는 일은 전문적 기여이고 그러면 보상과 권한이 따라야 한다.
문헌정보학에서 분류는 중립적인 작업이 아니다.
무엇을 어느 항목 아래 넣을지 정하는 일은 그 대상의 성격을 규정하는 일이다.
장애를 질병 아래 넣을지 인구 특성 아래 넣을지 시민권 아래 넣을지에 따라
그 데이터로 학습한 기계가 하는 말이 달라진다.
이건 기술의 문제가 아니라 분류의 문제이고
분류는 언제나 정치적이다.
도서관 분류표의 역사를 보면 이게 무슨 말인지 금방 안다.
어떤 시기에는 특정 주제가 종교 아래 있었고
다음 시기에는 의학 아래로 옮겨 갔고
또 어느 시기에는 슬롯 문제 아래로 갔다.
내용은 그대로인데 위치가 바뀌었다.
그리고 위치가 바뀌면 그 옆에 무엇이 놓이는지가 바뀐다.
옆에 무엇이 놓이는가가 결국 그 주제의 의미를 만든다.
지금 장애에 관한 데이터는 대부분 의료와 복지 옆에 놓여 있다.
그 옆에 교육과 노동과 문화가 놓이는 날
기계가 하는 말도 달라질 것이다.
그래서 나는 계속 쓴다
실험을 끝내고 노트북을 덮으면서 이상한 생각이 들었다.
내가 매주 쓰는 이 글들도 결국 텍스트다.
어딘가에 저장되고 언젠가 학습 자료가 될 수도 있다.
여기에는 흰지팡이가 안 나온다.
극복도 안 나온다.
대신 커피 머신의 다이얼과 상자 17개와 도로 건너편과 3분짜리 발언이 나온다.
그러니까 이 카지노 게임은 나에게 한 가지 기능이 더 있는 셈이다.
기록되지 않은 하루를 기록하는 일.
거창하게 말하면 말뭉치를 조금 고치는 일이고
정확하게 말하면 아주 작은 표본 하나를 더하는 일이다.
내 글 하나로 편향이 바뀌지 않는다는 건 안다.
그런데 편향은 원래 하나씩 쌓여서 만들어진 것이다.
그러면 푸는 방법도 다르지 않을 것이다.
다만 이걸 개인의 몫으로 넘기면 안 된다는 것도 안다.
당사자가 글을 써서 데이터를 고치라는 요구는
결국 배제당한 사람에게 배제를 스스로 해결하라고 하는 것이다.
써야 하는 건 나뿐이 아니다.
장애인의 일상을 기록으로 남기는 일은
학교와 복지관과 언론과 공공기관이 함께 해야 하는 일이다.
지금 그 기관들이 남기는 기록은 대부분 실적 보고서다.
몇 명에게 몇 시간 제공했는지는 남고
그 사람이 그날 무슨 생각을 했는지는 안 남는다.
기록의 양식이 바뀌지 않으면 말뭉치도 바뀌지 않는다.
제목: 말뭉치의 아키텍처 혹은 기록되지 않은 하루에 대하여.
접근성의 역사에는 순서가 있었다.
처음에는 건물이었다. 들어갈 수 있느냐.
다음은 이동이었다. 거기까지 갈 수 있느냐.
그다음은 정보였다. 읽을 수 있느냐.
그다음은 디지털이었다. 조작할 수 있느냐.
인공지능에서는 질문이 하나 더 붙는다.
그 기계가 나를 알고 있느냐.
이건 새로운 종류의 접근성이다.
화면을 읽는 문제가 아니라 학습 자료에 내가 들어 있느냐의 문제이고
버튼을 누르는 문제가 아니라 나를 판단하는 계산에 이의를 제기할 수 있느냐의 문제다.
그래서 인공지능 접근성은 여섯 겹쯤 된다.
쓸 수 있어야 하고
데이터에 포함되어야 하고
불리하게 분류되지 않아야 하고
정확한 정보를 받아야 하고
결정에 대해 설명을 듣고 이의를 제기할 수 있어야 하고
그 기술을 만드는 자리에 참여할 수 있어야 한다.
결론: 데이터 소외는 기술 문제가 아니라 기록의 문제다.
누구의 삶을 기록할 가치가 있다고 여겨 왔는가.
누구의 경험을 지식으로 인정해 왔는가.
기계는 우리가 남긴 것만 배운다.
그리고 우리는 아주 오랫동안 어떤 사람들에 대해서는
그들의 결핍만 기록하고 그들의 하루는 기록하지 않았다.
인공지능이 장애인을 오해하고 있다면
그건 기계가 잘못 배운 게 아니라 우리가 잘못 남긴 것이다.
그나저나 실험이 끝나고 보보에게 결과를 정리해서 말해 줬다.
보보가 듣더니 자기도 해 보겠다고 했다.
철학 강사가 등장하는 짧은 이야기를 써 달라고 넣었단다.
결과는 대체로 파이프 담배를 물고 창밖을 보는 노년의 남성이었다고 한다.
보보는 30대 여성이고 담배를 안 피운다.
우리 둘 다 그 기계 안에서는 아직 존재하지 않는 사람인 셈이다.
탱고는 그날도 실험에 협조하지 않고 잤다.
하긴 저 녀석은 이미 이미지 생성 결과에서 한 장도 안 나온 존재라
항의할 자격이 우리 중에 제일 많다.