ChatGPT 잘 씁니다"라는 말, 몇 점짜리일까요?
"AI 얼마나 잘 쓰세요?"
요즘 면접에서도 팀 안에서도 자주 오가는 질문이에요. 그런데 이 질문에 대한 답은 이상하게도 다 비슷해요.
"네, 매일 씁니다. 요약이나 번역에 잘 활용하고 있어요."
"프롬프트에 관심이 많아서 길고 자세하게 질문해요."
문제는 이 대답들이 사실 아무것도 말해주지 않는다는 거예요. AI에게 그냥 말동무처럼 이것저것 물어보는 사람이 있어요. 예외 처리 기준과 검증 절차까지 프롬프트로 짜두고 업무를 돌리는 사람도 있고요. 그런데 둘 다 똑같이 "매일 쓴다"라고 답해요. 같은 문장인데 실력은 완전히 다르죠. 듣는 사람 입장에서는 판단할 근거가 없어요.
저는 오래 사람을 평가하고 평가받는 일 곁에 있었어요. HR테크 도메인에서 일하면서도 리더로 일을 할 때도 '자기가 자기를 평가한 점수는 믿기 어렵다는 것', 이 한 가지가 늘 걸렸어요.
"5점 만점에 몇 점인가요?"라고 물으면 대부분 후하게 답하거든요. 나쁜 뜻이 아니라 원래 자기 실력은 자기 눈에 잘 안 보여요. 잘하는 사람일수록 오히려 낮게 매기기도 하고요. 그러니 자가진단만으로는 누가 정말 잘 쓰는지 가려낼 수가 없어요.
그래서 이런 생각을 했어요. 설문으로 묻지 말고 실제로 AI와 나눈 대화를 그대로 보면 되지 않을까라고요.
설문 대신 대화 기록을 봐요
'AI 역량 진단'은 객관식 문항에 체크하는 방식이 아니에요. 평소 ChatGPT나 클로드와 나눈 대화 기록을 그대로 붙여 넣으면 그 안에서 실제 행동을 읽어요. 지시를 얼마나 정교하게 설계하는지, 답이 틀렸을 때 어투만 바꾸는지 아니면 접근 자체를 바꾸는지, AI 말을 그대로 믿는지 한 번 더 확인하는지 등 종합적인 패턴을 도출해요. 매번 복사해 붙여 넣는지 아니면 자기만의 작업 환경을 만들어 두는지까지도요.
이 기준은 제가 실무에서 AI를 잘 쓰는 사람들의 대화를 들여다보며 정리한 거예요. 대화에는 남아 있는 습관을 활용하는 거죠. "잘 쓴다"는 말보다 대화 한 뭉치가 훨씬 정직하죠.
점수만 주면 소용없어요
여기서 하나 더 고민한 게 있어요. "당신은 80점입니다"로 끝나면 유저는 뭘 더 해야 할지 몰라요. 점수는 등수를 알려줄 뿐 방향을 알려주진 않으니까요.
평가를 업으로 고민하며 늘 느낀 것도 같았어요. 사람에게 정말 필요한 건 점수가 아니라 지금 어디에 서 있고 무엇이 비어 있는지예요. 그래서 점수를 두 개 나란히 보여주기로 했어요. 하나는 내가 지금 도달한 역량, 다른 하나는 실제 채용 현장이 요구하는 수준이에요. 이 둘의 격차를 보면 알게 되죠.
"지시는 잘 짜는데 검증하는 습관이 약하구나" 하고요. 그렇게 채울 곳이 보이면, 그때부터 무엇을 연습할지가 분명해져요.
정확하게 채점하는 것도 숙제였어요. 처음엔 AI가 점수를 너무 후하게 줬거든요. 사람이든 AI든 점수를 너그럽게 주는 건 비슷한가 봐요. 기준을 더 깐깐하게 다시 잡고 나서야 냉정한 점수가 나오기 시작했어요.
이 서비스는 토스 미니앱으로 만들었어요. 앱을 따로 설치하지 않아도 토스 안에서 바로 진단해 볼 수 있고요. 무거운 결제 대신 짧은 광고를 보면 상세 리포트를 열어볼 수 있게 했어요.
자가진단으로 포장하던 시대는 지나가요
이력서에 "생성형 AI 능숙"이라고 한 줄 적던 시대가 있었어요. 이제는 그 한 줄로는 아무것도 증명되지 않아요. 내가 AI와 어떻게 일했는지, 그 기록 자체가 더 정직한 포트폴리오가 되고 있으니까요.
한 가지는 분명해요. 실력은 자기가 매긴 점수가 아니라 남긴 흔적에 담겨 있어요.
여러분이 AI와 나눈 대화는 몇 점짜리 실력을 남기고 있을까요?
AI 역량 리포트, 앱 설치하지 않아도 토스에서 바로 쓸 수 있어요.