Human-on-the-Loop와 Operating Leverage 시대
AI Slop이 난무하고, 이를 대처하기 위해서 Human-In-the-Loop(HILT)를 줄곧 이야기하곤 합니다. 물론 필자인 저 또한 전체 프로세스 100% 중에서 AI를 통해서 80~90% 해결한다고 한다면, 나머지 10~20%는 최종적으로 '사람'의 손을 따르게 되는데요.
최근에 들어서, 특히 AX 프로젝트 및 AI Native를 이야기하면서, Human-on-the-Loop까지 이야기하는 과정까지 펼쳐지고 있습니다. 여기서 Human-on-the-Loop는 사람이 AI의 모든 실행에 직접 개입하는 대신, 루프의 목표와 기준, 예외, 승인, 윤리 판단을 관리하는 운영 방식이다. 이 역시 Loop Engineering 이야기가 나오면서 확대된 해석이라는 이야기도 있습니다. 단 여기서는 그 이야기 까지는 하지 않을 겁니다. (바로 이어서 간다면... )
앞서 이야기 한 AI Native Company에서 사람은 반복 실행자가 아닌, Agent Loop의 기준, 예외, 승인, 윤리 판단을 관리하는 바카라임자가 되게 되는데요.
AI가 조직에 들어오게 되면 가장 먼저 나오는 질문은 "사람이 대체되는가"입니다. 최근에 마무리된 AX 프로젝트에서도 '궁극적으로 내부 인력이 대체되는 수순이 진행되나요?'라는 이야기를 하게 되었는데요. 하지만 AI Native Company 관점에서 더 중요한 질문은 다르게 볼 수 있습니다.
AI Native Company는 사람이 사라지는 회사가 아닙니다. 사람이 반복 실행자에서 루프(Loop)의 바카라임자로 이동하는 회사의 형태로 변환되는 것으로 볼 수 있습니다. 이 관점을 Human-on-the-Loop라고 부를 수 있습니다.
(위에서 정리한 것에 이이서 다시 한번 정의한다면) Human-in-the-Loop는 사람이 AI의 결과를 중간중간 확인하는 구조를 뜻합니다. 이것도 중요하다고 이야기드릴 수 있지만, AI 운영이 성숙할수록 사람은 모든 단계에 끼어드는 검수자가 아닌, 루프의 기준과 예외를 설계하는 바카라임자가 되어야 합니다. 즉 AI Agent를 설계할 때 각 단계별로 다양한 Agent를 설계하는 과정에서 각 역할에 대한 바카라임 권한 및 기능을 명확하게 던져줘야 하는 임무를 가지고 있는 것이지요.
실제 예시를 임의의 사례로 들어서 설명한다면,
예를 들어, 고객지원 Agent가 반복 문의에 답변 초안을 만든다고 해볼까요? 초기에는 사람이 모든 답변을 확인해야 합니다. 하지만 시간이 지나면서 낮은 위험의 문의는 자동 처리하게 되고, 환불·법무·불만·VIP 고객처럼 고위험 상황만 사람에게 상향적으로 Bottom-Up 하도록 설계할 수 있는 것이지요. 이때 사람은 반복 답변자가 아닌 정바카라과 예외의 관리자가 되는 겁니다. 이 변화가 Operating Leverage를 만들게 됩니다. (가장 중요한 것이 이것인데요. AI Agent를 생성하고 창조했다고 WoW를 외치겠지만, 결국 궁극적으로 중요한 것은 AI Agent를 운영 유지, 보수, 관리, 폐쇄 조치하는 근거와 거버넌스를 만드는 것이 가장 중요한 목적 중에 하나 일 겁니다)
Operating Leverage는 단순히 시간을 아끼는 것이 아닙니다. 같은 사람이 더 많은 고객 대화, 더 많은 실험, 더 많은 문서 개선, 더 많은 의사결정 루프를 다룰 수 있게 되는 것입니다.
How to Build a Self-Improving Company with AI에서는 self-improving company를 반복 루프의 집합으로 설명하고 있습니다. 여기서 사람이 모든 일을 직접 처리하는 대신, 루프가 돌아가고 사람은 고위험·고맥락 판단을 맡게 되는 역할을 하게 되는 것이지요.
첫째, 기준을 만듭니다.
- 무엇이 좋은 결과인지, 무엇이 위험한 결과인지 정의합니다.
둘째, 예외를 판단합니다.
- AI가 다루기 어려운 고객 신뢰, 윤리, 법무, 조직 정치, 감정적 맥락을 맡습니다.
셋째, 루프를 개선합니다.
- 실패 로그와 품질 데이터를 보고 Agent Loop의 정바카라, 도구, 지식, 검증 기준을 바꿉니다.
따라서, AI 전환의 핵심 역량은 프롬프트 작성 능력만이 아닌데요. 업무를 구조화하고, 판단 기준을 명확히 하고, 반복 가능한 루프와 예외 처리 체계를 설계하는 능력입니다.(개인적으로 가장 강조하는 부분입니다. 하지만 프롬프트 엔지니어링, 콘텍스트 엔지니어링, 하네스 엔지니어링, 루프 엔지니어링과 같은 기본 개념은 익히고, 실험해 보고, 운영은 해봐야 한다는 것을 잊지 마시길 바랄게요! 일명 잘 써본 사람이 다음 것도 잘한다고 AI도 사실은 AI 리터러시(AI 활용 능력)가 받쳐줘야 다음 단계로 가는 학습의 영역입니다)
이 관점은 경영진 설득에도 중요하게 미칠 수 있습니다. AI 도입을 인력 감축의 언어로만 설명하면 조직 저항이 커지게 마련입니다. 반대로 AI를 반복 업무에서 사람을 해방하게 하고, 더 높은 판단으로 이동시키는 운영 모델로 설명하면 AI를 통한 조직 전환의 명분도 생기기 마련입니다.
물론 모든 업무가 자동화될 수는 없습니다. 특히 고위험 의사결정, 관계 기반 협상, 윤리적 판단, 조직 신뢰와 관련된 업무는 사람이 주도적으로 맡아야 하겠죠. 맡아야 합니다.
$4B Founder The Next 3 Years Will Make 100 New Founders Rich에서도 'AI Agent가 강력해질수록 사람의 감독과 맥락 판단이 중요하다는 관점'이 이야기하고 있습니다. 결국 AI Native Company의 목표는 사람을 줄이는 것이 아닙니다. 조직이 더 빨리 배우고, 더 일관되게 실행하고, 더 좋은 판단을 재사용하게 만드는 것에 초점을 둘 수 있습니다. 사람은 루프(Loop) 안의 수작업자가 아니라 루프 위의 설계자가 되어야 한다는 것입니다.
결국. AI 전환을 사람 대체가 아니라 사람의 위치 이동으로 설계해야 합니다. 그래야 조직 저항을 줄이고 Operating Leverage를 만들 수 있다는 이야기를 마지막으로 하고 싶네요.
---
Q. Human-on-the-Loop란 무엇인가요?
A. Human-on-the-Loop는 사람이 AI의 모든 실행을 직접 처리하는 것이 아니라, Agent Loop의 목표, 기준, 예외, 승인, 윤리 판단을 관리하는 운영 방식입니다.
Q. Human-in-the-Loop와 Human-on-the-Loop의 차이는 무엇인가요?
A. Human-in-the-Loop는 사람이 실행 과정 중간에 검토자로 들어가는 구조이고, Human-on-the-Loop는 사람이 루프의 기준과 예외를 관리하는 바카라임자 위치에 서는 구조입니다.
Q. AI 시대에 사람의 역할은 무엇인가요?
A. 사람은 반복 실행보다 기준 설정, 예외 판단, 고위험 승인, 관계 기반 커뮤니케이션, 루프 개선을 맡게 됩니다.
---
Stay Tuned.
✦ 내 글의 AI SEO / AIO / GEO의 퍼포먼스를 링크 하나만으로도 분석한다! ☞ GAEO Analysis
✦ 블로그 콘텐츠, 이미지, 동영상 생성을 위한 프롬프트 생성을 손쉽게! ☞ 프롬프트 메이커
✦ 트로이(TROE)는 글로벌 AX 파트너, SOTATEK., JSC & Appier와 파트너십으로 함께 합니다.
✦ AX, 응용 AI와 관련된 기업 교육 및 업무 파트너 문의 chunghyo@troe.kr로 연락 주세요.
또 만나요.
박충효 드림
( ͡° ͜ʖ ͡°)