pieces

AI 답변 결과 채점하고 개선하기 - AI의 답변 개선 루프 만들기 템플릿

2026-10-10T09:02:39Z

지난 글에서 '좋음'을 여러 측면으로 쪼개보았습니다. 이번엔 그 기준들을 한 장의 표로 옮겨 정리해 보고, 개선점을 도출하는 과정을 따라 해보실 수 있도록, 템플릿을 만들어보았습니다. 거창한 양식은 아니지만, AI가 만들어 낸 결과물이라면 요약이든 챗봇 답변이든 코드든, 기준만 만들어 두면 이름만 바꿔 그대로 활용할 수 있는 프레임워크 정도입니다. 설명만

"잘 만들었다"를, 어떻게 점수로 매기죠? - AI의 결과물을 평가하는 기준 만들기

2026-10-10T09:08:28Z

AI가 고친 결과물이 좋아 보이기는 하는데, "얼마큼 좋아졌는지 알 수 있을까요?"라고 누군가 묻는다면 말문이 막힐 겁니다. "그냥, 직접 사용해 보면 아실 거예요"라는 말 밖에 할 수가 없는 거죠. '좋다'는 느낌은 왜 이렇게 애매모호할까 머릿속에서 '좋다'는 느낌은 분명히 인지됩니다. 그런데 그 느낌을 밖으로 꺼내 숫자로 바꾸는 건 참 어렵습니다. 게

AI가 일관된 판단에 실패하는 이유 - AI가 일관된 판단을 하도록 만드는 방법

2026-09-26T00:33:07Z

저는 AI 기반의 라이팅 프로덕트를 관리하고 있습니다. 그 과정에서, 프로덕트가 규칙을 특정 케이스에서 적용하도록 분류하는 일을 자동화하고 싶었어요. 한 단어를 놓고 이건 더 쉬운 말로 바꾸고 저건 그대로 둔다, 하는 교정 적용 여부에 대한 판단을 AI에게 맡기기 위한 거였어요. 규모가 커지니 사람이 계속 하나씩 할 수가 없었거든요. 그런데 자꾸 실패했습니

이해 못 한 걸 승인하면, 그건 결정이 아니다 - AI의 결정에 주도권을 가지는 방법

2026-09-19T02:14:44Z

AI 팀이 어느 정도 자리를 잡고 있었습니다. 항상 오케스트레이터가 각 단계를 마치면, 마지막엔 저에게 묻습니다. "이렇게 진행해도 될까요?" 처음엔 그 앞에서 자주 멈칫했습니다. 올라온 내용을 반쯤밖에 이해하지 못했는데, 그냥 "네"를 누르고 싶은 유혹이 컸어요. AI들이 별 문제가 없다고 하고, 저만 이해를 못 한 것 같고, 이 작업 흐름을 끊고 싶지도

한 AI의 결론을, 다른 AI에게 반박시켰습니다 - 검사하는 쪽마저 틀릴 수 있다면, 그건 누가 잡아줄까?

2026-09-12T04:09:32Z

지난 글에서 검사하는 쪽도 틀릴 때가 있다고 했었습니다. 검사를 담당하는 AI가 자신 있게 내린 판정조차, 그대로 믿으면 안 됐다고요. 그럼 여기서 또 다른 질문이 남습니다. 검사자마저 틀린다면, 그 검사자는 또 누가 검사하죠? 같은 편을 여럿 붙여도, 소용없던 순간 처음엔 검사하는 전문가 AI를 여러 명 붙이면 되지 않을까? 하고 단순하게 생각했어요.

AI가 "다 했어요"라고 할 때가, 제일 위험합니다 - AI의 결과물 올바르게 의심하기

2026-09-05T02:49:24Z

지난 글에서 AI를 팀으로 나눴더니 한결 나아졌다고 했죠. 그런데 새로운 문제가 찾아왔습니다. 검사를 담당하는 AI가 "확인했습니다, 문제없습니다"라고 보고합니다. 구현 담당은 "요청하신 대로 다 만들었습니다"라고 하고요. 그럴듯합니다. 그런데 정말 그런지, 코드를 못 읽는 저는 어떻게 확인하죠? 맞는지 틀렸는지 스스로 알 수 없다 일을 시켜보며 가장

AI와 일할수록 사람이 놓지 말아야 하는 한 가지 - AI로 업무를 하는 당신이 놓치지 말아야 할 태도

2026-09-04T08:57:48Z

얼마 전, AI와 "문장 교정 서비스"를 작업하는 도중 이런 대화를 나눴어요. 저: 이 문장들, 더 쉽게 바꿔줘. AI: 다 정리했어요. 저 : 아 근데, 이런 문장은 너무 어색하게 바뀌었어. 과하게 교정된 건 자연스럽게 돌려줘.AI : 어색하게 교정된 것도 몇 개 되돌려서 더 자연스러워졌어요. 저: (읽어보다가) 잠깐. "만들어 보세요"를 "개설하세요"로

AI를'팀'으로 다루기 시작했습니다 - 하네스 엔지니어링으로 팀을 만들고 운영하는 법

2026-08-29T03:00:13Z

혼자 AI와 직접 부딪히며 시작한 이야기를 지난 글에서 했습니다. 그 방식은 AI 활용의 '시작'을 가능하게 해줬죠. 하지만 제가 진행하는 일들이 조금씩 커지고, 서비스의 개선의 A to Z를 AI로 해결하려고하니 곧 벽에 부딪혔습니다. 한 AI에게 다 맡기니, 뒤죽박죽이 됐습니다 처음엔 AI 하나에게 모든 걸 시켰습니다. 기존 구조를 살펴봐 달라, 방법

AI웹 챗을 두고, 굳이 CLI로 간 이유

2026-08-22T08:09:42Z

1화에서 터미널을 겨우 띄워서 사용해 보기 시작했다고 했습니다. 주변에서 이런 질문을 종종 받기도 했어요. "웹에서 챗으로도 AI 쓰는데, 왜 굳이 CLI까지 써야 해요?" 사실 저도 처음엔 웹 챗으로 시작했습니다. 처음에는 호기심이었습니다 CLI가 뭘까요? CLI는 CLI는 Command Line Interface(명령줄 인터페이스)의 약자로, 키보

백 번 공부하느니, 한 번 부딪히며 AI와 협업하기

2026-08-22T08:09:13Z

백 번 공부하느니, 한 번 부딪히자 UX 기획자로서 AI 프로덕트 개선을, 혼자, AI에게 배워가며 시작한 이야기. 그 낯선 출발을 기록하는 연재의 첫 글입니다. 저는 UX 기획자입니다. 화면을 설계하고, 문구를 다듬고, 사용자가 헤매지 않도록 흐름을 짜는 사람이죠. 하지만 이번에 회사에서 신규 AI 프로덕트를 만들었습니다. 프로덕트를 이끌어 가는 사람으