AI가 환불을 두 번 한다면

AI가 고객의 주문을 확인하고 환불까지 처리하는 시대가 오고 있다.
그런데 이미 환불한 주문에 AI가 다시 돈을 보낸다면 누가 막을까?
AI가 똑똑해질수록 중요해지는 것은 능력만이 아니라, 그 능력을 통제하는 규칙이다.

말을 잘하는 AI가 행동하기 시작했다

챗GPT처럼 사람의 말을 이해하고 새로운 문장을 만드는 인공지능을 대규모 언어 모델, 줄여서 LLM이라고 부른다.

LLM은 바카라, 기사, 문서, 대화문처럼 많은 글을 학습한다.

사용자가 질문하면 앞뒤 문맥을 살펴 가장 적절해 보이는 답을 만들어낸다.

여행 일정을 부탁하면 동선을 짜고, 이메일 작성을 요청하면 자연스러운 문장을 완성한다. 복잡한 자료를 읽고 핵심을 정리하는 일도 능숙하다.

그래서 우리는 LLM이 사람처럼 세상을 이해한다고 느끼기 쉽다.

하지만 LLM은 정답을 보관해두었다가 꺼내는 시스템이 아니다.

앞에 나온 내용을 바탕으로 다음에 이어질 가능성이 높은 말을 계산한다.

쉽게 말해 LLM은 정답을 아는 기계라기보다 그럴듯한 답을 만드는 기계에 가깝다.

대화 속 실수는 수정하면 그만일 수 있다.

그러나 LLM이 주문을 취소하고, 돈을 보내고, 계약을 승인한다면 작은 판단 오류가 현실의 손실로 이어진다.

LLM과 AI 에이전트는 무엇이 다를까

기존의 챗봇은 질문을 받으면 답을 돌려줬다.

반면 AI 에이전트는 목표를 받은 뒤 필요한 일을 스스로 찾아 실행한다.

LLM이 생각을 담당하는 두뇌라면,

AI 에이전트는 그 판단을 실제 업무로 옮기는 실행자다.

사용자가 다음과 같이 요청했다고 해보자.

“지난달에 주문했지만 아직 배송되지 않은 상품을 찾아서 취소해줘.”

AI 에이전트는 주문 내역을 검색하고 배송 상태를 확인한다.

취소 조건을 검토한 뒤 환불 금액을 계산하고, 권한이 있다면 실제 주문 취소까지 진행한다.

사람이 여러 화면을 오가며 처리하던 업무가 하나의 흐름으로 연결되는 것이다.

문제는 LLM이 언제나 옳은 판단을 내리는 것은 아니라는 데 있다.

잘못된 주문번호를 선택하거나, 이미 환불된 주문을 다시 처리할 수 있다.

구매자와 상담 직원을 혼동해 엉뚱한 사람을 환불 대상으로 정할 가능성도 있다.

AI 에이전트가 같은 행동을 반복하거나 처음의 목표에서 조금씩 벗어날 수 있다고 지적한다.

여러 단계를 스스로 결정하는 동안 작은 오류가 다음 판단으로 이어질 수 있기 때문이다.

따라서 LLM이 어떤 행동을 제안했다고 해서 곧바로 실행해서는 안 된다.

긴 프롬프트만으로 충분할까

AI에게 자세하게 명령하면 실수를 막을 수 있다고 생각할 수 있다.

예를 들어 프롬프트에 이렇게 적는 것이다.

“이미 환불된 주문은 다시 처리하지 마. 반드시 실제 구매자에게만 돈을 돌려줘.”

이런 지시는 필요하다.

그러나 프롬프트는 AI에게 전달하는 설명이지, 모든 상황에서 규칙 준수를 보장하는 장치는 아니다.

운전자에게 '교통법규를 잘 지켜라'라고 말하는 것만으로 모든 사고를 막을 수 없는 것과 같다.

실제 도로에는 신호등과 차선이 있다.

제한속도와 운전면허 제도가 있고, 위험한 행동을 막는 장치가 환경 안에 들어가 있다.

AI에도 이와 같은 구조가 필요하다.

그 해답으로 제시하는 개념이 온톨로지다.

온톨로지란 무엇인가

온톨로지는 이름만 들으면 어렵게 느껴진다.

그러나 AI 분야에서의 의미는 비교적 단순하다.

현실에 무엇이 존재하고,

서로 어떤 관계를 맺으며,

어떤 행동이 가능한지를 정리한 지식 체계다.

온라인 쇼핑몰을 예로 들어보자.

쇼핑몰에는 고객, 상품, 주문, 결제, 배송, 환불이 존재한다.

고객이 상품을 선택하면 주문이 만들어지고, 결제가 끝나면 배송이 시작된다.

문제가 생기면 정해진 조건에 따라 환불할 수 있다.

사람은 이런 관계를 상식으로 이해한다.

하지만 AI가 실제 업무를 수행하려면 상식을 검사 가능한 규칙으로 바꿔야 한다.

하나의 주문에는 실제 구매자가 연결되어야 한다.

환불금은 해당 주문을 결제한 사람에게 돌아가야 하며, 이미 전액 환불된 주문은 다시 처리할 수 없다.

환불 금액이 결제 금액보다 커서도 안 된다.

온톨로지는 이렇게 AI가 활동할 업무 세계의 구조와 경계를 정의한다.

LLM이 생각하고 온톨로지가 검사한다

LLM과 온톨로지의 관계는 축구 선수와 심판에 가깝다.

선수는 경기장에서 상황을 판단한다.

패스할지, 드리블할지, 슛을 할지 스스로 결정한다.

심판은 선수 대신 공을 차지 않는다.

다만 그 행동이 규칙을 벗어났는지 확인한다.

AI 시스템도 같은 방식으로 설계할 수 있다.

LLM은 사용자의 요청을 해석하고 해결 방법을 찾는다.

AI 에이전트는 그 판단을 바탕으로 도구 사용이나 데이터 변경을 제안한다.

온톨로지는 그 행동이 회사의 업무 규칙에 맞는지 검사한다.

LLM은 해결바카라을 만들고, 온톨로지는 그 해결바카라이 현실의 규칙을 통과하는지 검사한다.

AI가 '주문번호 1234를 환불하겠습니다'라고 판단했다고 해보자.

시스템은 실제 주문이 존재하는지, 환불 가능한 상태인지 확인한다.

이미 처리된 주문은 아닌지, 돈을 받을 사람이 실제 구매자인지도 살펴본다.

모든 조건을 통과한 뒤에야 환불이 실행된다.

<한눈에 보는 AI 에이전트의 실행 구조>

사용자 요청
↓
LLM의 판단
↓
AI 에이전트의 행동 제안
↓
온톨로지의 업무 규칙 검사
↓
실제 실행 또는 사람에게 전달

LLM이 해결바카라을 만들고, 온톨로지가 마지막 문을 지키는 구조다.

형식이 맞아도 의미는 틀릴 수 있다

안전한 AI 시스템을 위해 두 종류의 검사가 필요하다.

첫 번째는 형식 검사다.

환불 요청에는 주문번호와 환불 금액이 필요하다.

주문번호가 비어 있거나 금액 자리에 문자가 입력됐다면 요청을 실행할 수 없다.

형식 검사는 데이터가 정해진 모양에 맞는지 확인한다.

하지만 입력값의 모양이 정확하다고 해서 행동까지 올바른 것은 아니다.

주문번호가 존재하고 환불 금액도 숫자로 입력되어 있지만, 돈을 받는 사람이 실제 구매자가 아니라면 문제가 된다.

이때 필요한 것이 의미 검사다.

형식 검사가 맞춤법을 보는 일이라면, 의미 검사는 그 문장이 현실적으로 말이 되는지 판단하는 일이다.

AI가 돈, 계약, 고객정보처럼 중요한 대상을 다루려면 형식과 의미를 모두 검사해야 한다.

더 큰 LLM이 정답은 아니다

AI가 실수하면 더 크고 성능이 좋은 LLM을 사용하면 해결될 것이라고 생각하기 쉽다.

물론 모델의 성능이 높아지면 질문을 이해하는 능력과 답변의 정확도도 좋아질 수 있다.

그러나 뛰어난 LLM이라도 모든 상황에서 올바른 결정을 내린다고 보장할 수는 없다.

운전을 잘하는 사람에게도 신호등과 브레이크는 필요하다.

자동차의 속도가 빨라질수록 안전벨트와 에어백의 중요성은 오히려 커진다.

AI도 마찬가지다.

LLM이 더 많은 권한을 갖고 중요한 업무를 처리할수록 행동을 제한하고 검사하는 장치는 더 정교해져야 한다.

AI의 성능과 AI의 안전성은 같은 문제가 아니다.

똑똑한 모델을 만드는 일과 잘못된 행동을 막는 시스템을 설계하는 일은 함께 진행돼야 한다.

뉴로심볼릭 AI가 주목받는 이유

LLM과 온톨로지의 결합을 뉴로심볼릭 AI라는 흐름과 연결한다.

‘뉴로’는 많은 데이터를 학습해 유연하게 판단하는 인공지능을 뜻한다. LLM이 여기에 해당한다.

‘심볼릭’은 사람이 만든 명확한 기호와 논리, 규칙을 의미한다. 온톨로지는 이 역할을 담당한다.

두 방식은 강점이 다르다.

LLM은 처음 보는 질문을 이해하고 새로운 해결바카라을 만드는 데 뛰어나다.

반면 정해진 규칙을 항상 같은 기준으로 적용하는 데는 약점이 있다.

규칙 시스템은 주어진 조건을 정확하게 검사하지만, 낯선 상황에서 유연한 해결바카라을 제시하기 어렵다.

두 가지를 결합하면 역할이 분명해진다.

LLM은 자유롭게 판단하고, 온톨로지는 그 판단이 현실의 규칙을 벗어나지 않았는지 확인한다.

학생이 다양한 방식으로 문제를 풀 수는 있어도, 답안의 필수 조건을 지키지 않으면 정답으로 인정받지 못하는 것과 같다.

AI 도입의 진짜 어려움

온톨로지는 개발자만 알아야 하는 기술이 아니다.

AI를 실제 업무에 도입하려는 회사라면 반드시 고민해야 할 문제다.

회사에는 문서에 적혀 있지 않은 규칙이 많다.

일정 금액 이상의 할인에는 팀장 승인이 필요할 수 있다.

미수금이 있는 거래처에는 추가 출고를 제한하고, 계약 전에는 특정 자료를 외부에 전달하지 않는다는 기준도 있을 것이다.

직원들은 경험을 통해 이런 규칙을 배운다.

하지만 AI는 오래 근무한 직원처럼 눈치와 관행으로 업무를 익히지 못한다.

규칙을 명확하게 정리하지 않으면 AI도 알 수 없다.

결국 AI 도입은 새로운 프로그램을 설치하는 데서 끝나지 않는다.

회사가 어떤 원칙으로 움직이는지, 누가 무엇을 결정할 수 있는지, 어떤 상황에서 사람의 승인이 필요한지를 정리해야 한다.

온톨로지를 만든다는 것은 회사 곳곳에 흩어진 지식과 판단 기준을 하나의 업무 지도로 만드는 일이다.

이 지도는 AI뿐 아니라 사람에게도 도움이 된다.

신입 직원은 업무 구조를 빠르게 이해할 수 있고, 부서마다 다르게 사용하던 용어도 통일할 수 있다.

담당자가 바뀌더라도 중요한 업무 지식이 함께 사라지는 일을 줄일 수 있다.

판단의 마지막에는 사람이 남아야 한다

온톨로지가 모든 문제를 해결하는 것은 아니다.

현실에는 규칙만으로 결정하기 어려운 상황이 존재한다.

오랫동안 거래한 고객이 특별한 사정으로 환불 기한을 넘겼을 수 있다.

규정대로라면 거절해야 하지만, 회사가 예외를 인정하는 편이 더 나은 경우도 있다.

이런 결정에는 바카라임과 가치 판단이 필요하다.

좋은 AI 시스템은 모든 권한을 AI에게 넘기지 않는다.

기준이 명확한 업무는 AI가 처리하고, 예외 상황은 사람에게 전달한다.

큰 금액이 움직이거나 계약상 바카라임이 발생하는 결정에는 사람의 승인을 거치도록 설계해야 한다.

LLM은 사람을 완전히 대신하는 존재라기보다, 사람이 더 중요한 판단에 집중할 수 있도록 돕는 도구에 가깝다.

AI가 정보를 빠르게 읽고 반복 업무를 처리한다면, 사람은 바카라임이 필요한 결정을 맡는다.

AI 시대에는 질문도 달라져야 한다

지금까지 우리는 AI의 성능을 주로 물었다.

얼마나 자연스럽게 말하는지, 얼마나 빠르게 답하는지, 얼마나 어려운 문제를 해결하는지가 중요했다.

하지만 AI가 현실에서 행동하기 시작하면 질문도 달라져야 한다.

이 AI는 어디까지 행동할 수 있는가.

잘못된 판단은 어떤 장치가 막는가.

규칙에서 벗어난 상황은 누구에게 넘기는가.

앞으로의 AI 경쟁력은 가장 큰 LLM을 보유했는지만으로 결정되지 않을 수 있다.

자신의 업무 규칙과 바카라임 구조를 AI가 이해할 수 있도록 명확하게 정리한 회사가 AI를 더 안전하고 빠르게 활용할 가능성이 크다.

FrameLAB ㅣ AI에게도 교통법규가 필요하다

자동차가 처음 등장했을 때 사람들은 속도에 열광했다.

자동차가 늘어나자 도로와 신호등이 필요해졌다.

운전면허와 보험, 교통법규도 뒤따랐다.

AI도 비슷한 길을 걷고 있다.

지금까지는 AI가 무엇을 할 수 있는지가 중요했다.

이제는 AI가 무엇을 해도 되는지를 함께 정해야 한다.

LLM은 문제를 이해하고 해결바카라을 만든다

AI 에이전트는 그 해결바카라을 행동으로 옮긴다.

온톨로지는 그 행동이 현실의 규칙에 맞는지 검사한다.

이 글이 전하는 핵심도 여기에 있다.

LLM이 자유롭게 생각하게 하되, 현실에서 행동할 때는 반드시 규칙을 통과하게 해야 한다.

똑똑함은 가능성을 만든다.

그러나 그 가능성을 현실에서 안전하게 사용하는 것은 규칙의 몫이다.

AI에게 교통법규를 만들어주는 일.

그것이 온톨로지가 필요한 이유다.

세상은 복잡하지만, 핵심은 단순합니다.
저는 당신에게 정보가 아닌 ‘프레임’을 건넵니다.
- 범뷰(BeomView) -