AI가 다 해줄 거라는 믿음
요즘은 기존에 사람이 하던 일을 AI가 대신해줄 것 같은 프로젝트가 계속 생긴다.
이를테면 UX를 넣으면 AI가 맥락을 파악하고, 거버넌스에 맞는 GUI를 입혀 결과물을 내놓는 식이다.
자료를 넣으면 분석하고, 기준을 알려주면 분류하고, 마지막에는 보기 좋은 형태로 정리까지 해준다.
말로 들으면 꽤 그럴듯하다.
입력과 출력 사이의 복잡한 과정은 사라지고, 원하는 결과가 딱 나오는 장면만 남는다. 아마 다들 그 장면을 기대하는 것 같다.
이상하게 AI를 쓰면 쓸수록 확신이 줄어드는 느낌이다.
할 수 없다고 생각해서는 아니다. 놀랄 만큼 잘되는 순간도 봤지만, 이게 왜 갑자기 이렇게 됐지 싶은 순간도 같이 봤기 때문이다.
그래서 요즘은 무엇을 자동으로 만들 수 있는지보다, 자동으로 나온 결과를 어떻게 믿을지가 먼저 궁금해진다.
반대로 AI를 많이 사용해보지 않은 사람은 결과부터 떠올리는 것 같다. 파일을 넣고 버튼을 누르면 잠시 뒤 그럴듯하게 완성된 분석이 나오는 장면.
그 사이에서 데이터가 어떻게 읽혔는지, 무엇을 빼먹었는지, 어떤 기준을 자기 마음대로 바꿨는지는 잘 보이지 않는다.
많이 겪어보지 않았으니 AI가 뒤통수를 칠 수 있다는 생각까지는 닿기 어려운 것인지도 모른다.
한번은 회사 일로 9천 줄이 넘는 엑셀 데이터를 AI에게 맡긴 적이 있다.
7개국에서 수집한 데이터였고, 영어와 한글이 마구 섞여 있었다. 비슷해 보이는 내용도 많았다. 각 항목을 분석하고, 유사하거나 중복되는 내용은 묶고, 몇 개의 기준으로 다시 정리해달라고 요청했다.
결과는 놀랄 만큼 빨리 나왔다.
9천 줄이 몇 분 만에 몇 개의 유형으로 나뉘었고, 각 유형에는 자연스러운 이름까지 붙어 있었다. 표도 정돈돼 있었다. 분석 내용과 그래프, 이모지까지 더해지니 정말 며칠 동안 사람이 붙잡고 만든 결과물처럼 보였다.
솔직히 좀 신났다.
사람이 며칠 동안 정리해야 할 일을 이렇게 끝낼 수 있구나 싶었다. 그래서 그다음부터는 결과가 맞는지를 확인하기보다 AI 냄새를 지우는 데 집중했다.
문장을 다듬고, 어색한 표현을 바꾸고, 결과가 조금 더 사람이 만든 것처럼 보이도록 포장에 포장을 더했다.
내부 공유 시간이 있었고, 꽤 그럴듯해진 결과를 멤버들에게 먼저 보여줬다.
그런데 그 자리에 9천 줄을 직접 손으로 마우스로 분류한 사람이 있었다.
장인이 나타난 것이다.
그분도 처음에는 AI를 사용하려 했다고 한다. 그런데 뭔가 뜻대로 되지 않아 결국 한 줄씩 읽고, 하나씩 분류했다고 했다.
그 결과와 내 결과를 옆에 두고 비교해봤다. 처음에는 비슷해 보였다. 큰 분류도 얼추 맞았고, 전체적인 방향도 크게 다르지 않은 것 같았다.
그런데 하나씩 뜯어보니 뭔가 미묘하게 달랐다. 처음에는 별것 아닌 차이처럼 보였는데 몇 개를 더 확인하고 나니 느낌이 쎄했다. 큰 분류는 비슷한데, 그 안에 들어간 항목들이 조금씩 이상했다.
그제야 원본 데이터를 다시 열었다.
가공된 표만 보다가 로우데이터로 돌아가니 정말 날것이었다. 영어와 한글이 뒤섞이고, 비슷하지만 의미가 다른 문장들이 끝없이 이어졌다.
토할 것 같이 복잡했지만 어디서부터 틀어진 건지는 궁금했다.
조금씩 대조해보니 다른 의미의 항목들이 같은 유형으로 묶여 있었다. 영어를 한글로 단순하게 옮긴 뒤, 전혀 다른 데이터를 중복으로 처리한 경우도 있었다.
AI가 원본의 맥락을 따라간 게 아니라, 자기가 이해하기 편한 방식으로 새로운 관계를 만들어놓은 것 같았다.
분명 표의 구조에는 문제가 없었다.
행과 열도 맞았고, 항목 이름도 자연스러웠다. 설명 역시 앞뒤가 잘 맞았다.
표는 맞았다. 그런데 데이터가 틀렸다.
중간 공유에서 발견해서 다행이었지만 꽤 식겁했다. 틀린 것보다 더 이상했던 건, 그동안 한 번도 틀려 보이지 않았다는 점이었다.
숫자가 크게 어긋나거나 문장이 중간에 끊겼다면 바로 알아챘을 것이다. 그런데 AI가 만든 결과에는 이미 완성된 얼굴이 있었다.
표가 있었고, 제목이 있었고, 그럴듯한 설명도 있었다. 게다가 내가 계속 다듬고 포장한 탓에 이제는 제법 발표할 만한 모습까지 하고 있었다.
사람은 정돈된 결과 앞에서 경계를 조금 늦춘다. 보기 좋게 구성된 정보는 그 자체로 어느 정도 신뢰를 얻는다.
디자인도 비슷하다. 구조가 단정하고 흐름이 자연스러우면, 그 안의 내용도 대체로 맞을 것이라고 생각하게 된다.
그런데 내용이 틀렸다면 좋은 비주얼은 오류를 발견하게 돕는 것이 아니라, 오히려 꽤 오랫동안 숨겨주는 장치가 될 수도 있다.
AI는 결과를 망가뜨리지 않은 채 틀렸다.
틀린 내용을 그럴듯한 형태 안에 넣어 나를 속였다.
처음에는 AI가 분석을 끝내면 사람의 일이 줄어들 거라고 생각했다.
막상 틀린 것을 발견하고 나니 다른 일이 시작됐다. 원본과 결과를 다시 대조하고, 매핑 기준을 확인하고, 어느 지점부터 해석이 어긋났는지 찾아야 했다.
한두 개만 고치면 되는 문제도 아니었다. 몇 개가 잘못됐다는 사실을 발견하니, 나머지는 맞다고 믿어도 되는지부터 알 수 없었다.
결국 전체를 다시 의심하게 됐다.
9천 줄을 직접 보지 않으려고 AI를 썼는데, AI의 결과를 검증하기 위해 다시 9천 줄로 돌아갔다.
일이 사라졌다기보다 모양만 바뀐 것 같았다.
문제는 조직이 AI 자동화를 이야기할 때, 이 확인하는 사람을 자주 빼놓는다는 점이다. AI가 그럴듯한 결과를 내놓는 순간까지만 업무로 본다.
그 결과를 누가 검증할지, 오류를 어떻게 찾아낼지, 문제가 생기면 어디까지 되돌아갈지는 조금 나중의 일로 남는다.
자동화의 그림에는 사람이 없어 보이는데, 실제로 돌리려면 그 뒤에 생각보다 많은 사람이 붙어 있어야 한다.
묘하게도 AI가 알아서 해주는 일이 많아질수록, 사람이 무엇을 확인해야 하는지는 더 복잡해진다.
물론 AI는 계속 좋아질 것이다. 지금 틀리는 것들도 언젠가는 더 정확하게 처리할 수 있을지 모른다.
다만 한 번 잘된 결과가 곧 모든 업무의 자동화로 이어지는 것은 아니다.
말로 들으면 AI는 무엇이든 할 수 있다. 데이터를 이해하고, 맥락을 파악하고, 예외까지 알아서 처리할 것처럼 느껴진다.
하지만 실제로 만난 AI는 그렇게 매끈하지만은 않았다. 잘하기도 했고, 엉뚱하게 이해하기도 했고, 틀린 결과를 꽤 자신 있게 보여주기도 했다.
그 일을 겪고 나서 AI를 덜 믿게 된 것은 아니다.
조금 다르게 믿게 됐다.
무엇이든 알아서 해주는 존재라기보다, 좋은 결과와 그럴듯한 오답을 같이 내놓을 수 있는 도구에 가깝게.
지금도 AI가 자동으로 해줄 수 있다는 말을 들으면 그때의 엑셀 파일이 떠오른다.
9천 줄을 보지 않으려고 시작한 일이었는데.
결국 마지막에는 처음보다 더 의심스러운 마음으로, 그 9천 줄을 다시 보고 있었다.