AI가 별거 없다고요? 어떤 일을 맡겼나요

같은 회의 메모를 두 사람이 AI에 넣는 장면을 생각해보자.

한 사람은 “세 줄로 요약해줘”라고 묻는다. 다른 사람은 담당자별 할 일과 마감일을 정리하고, 원문과 대조해 빠진 항목까지 확인해달라고 맡긴다.

설명을 위한 가상 장면이다. 두 사람 모두 AI를 썼지만, 확인한 능력은 다르다. 답변 한 번을 받은 사람과 작업 하나를 끝낸 사람이 같은 평가를 내릴 이유는 없다.

AI가 얼마나 발전했는지 이야기하기 전에, 어떤 AI에 어떤 일을 맡겼는지부터 맞춰볼 필요가 있다.

우리가 본 AI의 시점부터 다르다

지난해 잠깐 써본 대화 기능을 떠올리는 사람과, 최근 모델에 파일과 도구를 연결해 일하는 사람은 서로 다른 장면을 보고 있다.

짧은 대화로 만난 AI와 파일·도구를 함께 쓰는 AI는 서로 다른 경험으로 남는다. AI 생성 개념 이미지.

이 차이를 무료와 유료의 서열로만 정리하면 놓치는 것이 많다. 무료 서비스도 바뀐다. 비싼 요금제를 쓴다고 모든 업무에서 좋은 결과를 얻는 것도 아니다.

언제 썼는지, 어떤 모델이었는지, 어떤 기능을 사용할 수 있었는지를 먼저 확인해야 한다. 과거의 실패도 경험이고 최근의 성공도 경험이다. 다만 그 경험이 가리키는 범위는 다르다.

안드레이 카파시도 서로 다른 조건에서 본 AI의 능력을 같은 이름으로 비교하는 문제를 지적했다. 어떤 도구로 얼마나 큰 일을 맡겼는지에 따라 체감이 달라질 수 있다는 문제 제기다.

답변 한 줄과 일 하나 끝내기는 다르다

“이 코드가 왜 안 돌아가?”라고 묻고 설명을 받는 일과, 실제 파일을 고치고 테스트를 돌려 결과를 확인하는 일은 요구하는 능력이 다르다.