비전공자, 이론으로 실무 뽀개기
AI 모델이란 무엇일까?
AI 모델은 한 마디로 숫자덩어리다.
물론 그냥 숫자덩어리는 아니고 무지막지하게 많은 데이터를 입력하여 그 데이터 간의 패턴을 분석하고, 이를 숫자로 출력한 것이라고 할 수 있다.
팥빵에 들어간 앙꼬 혹은 찐득한 액기스만 모은 정수같다고나 할까.
달리 말하면 AI 모델을 만드려면, 반드시 AI 학습데이터가 있어야 한다.
(지금 굉장히 잘 아는 척 말하고 있지만, 나도 공부하는 중이다.)
그렇다면 AI 학습데이터는 어떻게 만들까?
(나는 아직 글로만 연애를 배운 모쏠처럼, 글로만 공부하고 있으니 이론적으로만 접근하겠다.)
AI 학습데이터는 크게 구축계획 수립 → 데이터 획득 및 수집 → 데이터 정제 → 데이터 가공 4가지 과정을 통해 구축된다.
1. 구축계획 수립
먼저 구축계획 수립 단계에서는 AI 모델을 왜 만드는지를 명확히 한다. AI 학습데이터를 만드는 이유는 AI 모델을 만들기 위함인 것을 잊지 말아야 한다. 다시말해 내가 지금 AI모델을 어디에 이용할 것인지 정의하는 것이 필요하다.
예를 들어 보겠다. 만약 내가 지금 고객이 문의한 내용을 자동으로 카테고리에 분류하는 AI 시스템을 만들고 싶다면(고객 문의 → 카테고리 분류), 질문-정답 세트가 있는 학습데이터를 구축해야 하고, 학습 방법은 지도학습을 진행한다. 만약 내가 고객의 구매 패턴이 비슷한 고객들끼리 묶어서 고객이 좋아할 만한 상품을 추천하는 AI 시스템을 만들고 싶다면(고객의 구매패턴별 그룹핑), 입력데이터값만 있는 학습데이터를 구축해야 하고, 학습방법은 비지도학습을 진행한다.
한 마디로, 최종적으로 어떤 아웃풋을 원하느냐에 따라 어떤 학습데이터를 구축할 것인지 방향성이 달라진다는 것이다. 그래서 초기 구축계획을 명확하게 수립하는 것이 중요하다.
2. 데이터 획득 및 수집
방향성이 정해졌다면, 이제는 실제로 데이터를 확보하는 단계이다. 사실 실무적으로는 이 단계가 가장 중요하고 복병인 경우가 많다. 아무리 기획을 열심히 기깔나게 잘 해놔도 데이터가 없으면 실현이 불가능하기 때문이다. 그래서 어떤 데이터를 확보 가능하냐에 따라 앞단의 구축계획이 달라지기도 한다.
데이터 획득 및 수집 방안은 다양하고 상황에 따라 달라지는데, 직접 생산할 수도 있고, 이미 존재하는 시스템 등으로부터 확보할 수도 있고, 오픈 API를 가져올 수도 있다. 자신의 상황과 목적에 맞게 수집방법을 채택하고 데이터를 수집한다. 이때 데이터는 '원시데이터'라고 하며, 센서데이터, CCTV 데이터, 텍스트 데이터, 로그파일 등이 있겠다.
3. 데이터 정제
가장 막히는 데이터 획득 및 수집단계를 무사히 마쳤다면, 이제 하는 일은 데이터 정제 단계다. 이 단계에서는 오류수정이나 이상치처리, 구두점 제거, 개인정보 비식별화 등과 같이 문제가 생기는 데이터를 정상화를 진행하며, 이렇게 원시데이터를 정제하여 깨끗해진 데이터를 '원천데이터'라고 한다.
4. 데이터 가공
앞 단계를 통해 정상적인 데이터로 거듭났다면, 이제는 학습할 수 있도록 학습 목적에 맞게 가공하는 과정을 진행한다. 지도학습이 필요하다면 정답을 부여하는 라벨링 작업을 수행하거나, RAG 및 검색시스템이이 필요하다면 검색하기 좋은 크기로 자르는 청킹을 진행한다. LLM 학습이 목적이라면 연산할 수 있는 최소단위인 토큰(Token)으로 쪼개고 이 토큰을 고유한 숫자 ID로 변환하는 토크나이징 과정을 진행한다. 이 데이터 가공단계를 거쳐야, 비로소 진정한 '학습데이터'라 불릴 수 있다고 할 수 있다.
참고자료
인공지능 개발 및 서비스를 위한 공개된 개인정보처리 안내서(개인정보보호위원회, 2024)
AI 학습데이터 구축 안내서(한국지능정보슬롯진흥원&과학기술정보통신부, 2025)