생성형 AI로 데이터 만들기 Vs. 유사 데이터 구하기
이전 글은 아래 링크로~
https://fishingproductfr.com/@maven/477
쇼핑몰을 운영하는 기업에서 로그 분석은 굉장히 중요합니다.
고객이 언제 어떤 페이지를 보고, 장바구니에 담았다가 왜 포기했는지,
오류가 어디서 발생하는지까지 모두 로그에 기록되기 때문이죠.
하지만 개인정보 이슈 때문에 데이터를 맛보기조차 쉽지 않죠.
그래서 로그 데이터를 맛이라도 볼 수 있는 두 가지 현실적인 방법을 정리해 봤습니다.
각 방법의 장단점, 구체적인 단계, 그리고 생성형 AI에서
바로 복사해서 쓸 수 있는 프롬프트까지 모두 담았으며,
초보자도 바로 따라 할 수 있게 정리했으니 차근히 살펴 봐 주세요~
장점
- 원하는 규모, 기간, 시나리오(예: 프로모션 기간, 블랙프라이데이, 오류 폭증 등)를 자유롭게 설정 가능
- 개인정보 걱정 전혀 없음
- 반복 생성으로 다양한 패턴 연습 가능
- 데이터가 부족하거나 특정 이벤트(예: 결제 오류)를 의도적으로 넣을 수 있음
단점
- 완전한 실제 데이터는 아님 (하지만 최근 LLM은 매우 현실적으로 생성)
- 대량(수십만 행) 생성 시 비용·시간이 조금 들 수 있음
- 한 번에 원하는 데이터가 나오지 않을 수 있으니 몇 번 추출하면서 길을 찾아야 함.
실습 단계
1. 데이터 생성
ChatGPT, Grok, Claude, Gemini 등 어떤 생성형 AI든 사용 가능합니다.
CSV나 JSON 형식으로 요청하면 바로 다운로드할 수 있게 출력해줍니다.
2. 데이터 추출 프롬프트
2-01. 기본 프롬프트 (500~1,000행 추천)
“2026년 4월 한국 쇼핑몰의 현실적인 클릭스트림 로그 데이터를 CSV 형식으로 800행 생성해 주세요.
컬럼은 다음으로 구성: timestamp(ISO 8601 형식), user_id(숫자 6자리), session_id, event_type(‘page_view’, ‘product_view’, ‘add_to_cart’, ‘remove_from_cart’, ‘checkout’, ‘purchase’, ‘payment_error’, ‘page_error’), product_id, category(‘의류’, ‘전자제품’, ‘뷰티’, ‘식품’ 등), price(정수), quantity, device(‘mobile’, ‘pc’, ‘tablet’), traffic_source(‘organic’, ‘paid’, ‘social’, ‘direct’), user_location(‘서울’, ‘경기’, ‘부산’ 등). 데이터는 실제 사용자 행동처럼 자연스럽게 만들고, 장바구니 추가 후 40%는 구매 완료, 30%는 이탈, 일부는 결제 오류를 포함해 주세요. timestamp는 2026-04-01부터 2026-04-07까지 시간 순으로 분포시켜 주세요.”
2-02. 고급 프롬프트 (특정 시나리오 포함)
“쇼핑몰 서버 로그를 JSON Lines 형식으로 1,200행 만들어줘. 이벤트 종류: page_view 50%, add_to_cart 25%, purchase 15%, error 10%. Black Friday 프로모션 기간(2026-11-28~30)처럼 트래픽이 폭증하는 패턴을 넣고, 특정 product_id에서 payment_error가 집중되게 해줘. 컬럼: timestamp, user_id, ip_address, event, product_id, price, status_code(200, 404, 500), response_time_ms. 현실적인 한국 IP 대역과 user-agent도 포함.”
2-03. Python + Faker와 결합한 프롬프트 (더 정교하게)
“Python Faker 라이브러리를 사용해서 쇼핑몰 로그를 생성하는 코드를 작성해줘. 5,000행 규모로, 세션 기반으로 사용자 행동 흐름을 자연스럽게 만들고 CSV로 저장하는 코드까지 포함.”
“Python + Faker와 결합한 프롬프트”는 쉽게 말해 생성형 AI에게
“파이썬 코드로 쇼핑몰 로그 데이터를 만들어주는 코드를 작성해달라”고 요청하는 것입니다.
AI가 데이터를 직접 출력하는 대신, Python 코드를 만들어 추출하는 방식이고,
Faker 라이브러리를 사용하면 더 현실적인 데이터를 반복해서 대량으로 생성할 수 있습니다.
Faker는 파이썬 라이브러리 중 하나로, 가짜 데이터를 쉽게 만들어주는 도구예요.
이름, 주소, 전화번호, 날짜, IP 주소, 사용자 에이전트 등을 랜덤으로 생성할 수 있습니다.
쇼핑몰 로그를 만들 때 특히 유용합니다.
- 한 번 코드 받으면 로컬에서 무한대로 데이터 생성 가능
- 데이터 양을 1만 행, 10만 행 등 자유롭게 조절 가능
- 실제 분석 연습에 바로 사용 가능
사용 방법
1. ChatGPT나 Grok에게 위 프롬프트를 복사해서 붙여넣기
2. AI가 준 코드를 복사 → Jupyter Notebook이나 .py 파일에 붙여넣기
3. pip install faker 실행 후 코드 실행
4. 생성된 CSV 파일로 분석 실습 시작
3. 분석 실습 예시
- Python (pandas + matplotlib/seaborn)으로 EDA
- SQL (BigQuery나 DuckDB)로 “카테고리별 전환율”, “시간대별 오류 건수” 분석
- 퍼널 분석 : page_view - add_to_cart - purchase 이탈률 계산
- 이상 탐지 : response_time이 갑자기 증가한 구간 찾기
장점
- 실제 서비스에서 나올 법한 패턴, 분포, 노이즈를 그대로 경험
- 대규모 데이터(수백만 행)로 스케일 연습 가능
- 포트폴리오에 “실제 데이터 기반 분석”이라고 쓸 수 있음
단점
- 데이터 크기가 커서 로컬 PC에서 처리하기 버거울 수 있음
- 일부 데이터는 이미 전처리된 상태
1. E-commerce Clickstream and Transaction Dataset (Kaggle)
- 시뮬레이션된 클릭스트림 + 거래 데이터
- page_view, click, add_to_cart, purchase 등 완전한 사용자 여정
- 다운로드: https://www.kaggle.com/datasets/waqi786/e-commerce-clickstream-and-transaction-dataset
2. Ecommerce Clickstream Dataset (5.27GB 대용량)
- 수백만 건의 실제 클릭스트림
- 대규모 분석 연습에 최적
- https://www.kaggle.com/datasets/yashwant020/ecommerce-clickstream-dataset-5-27-gb
3. Retailrocket E-commerce Dataset
- 4.5개월 동안 270만 건 이벤트 (view, cart, purchase)
- 추천 시스템·퍼널 분석 실습에 최고
- https://www.kaggle.com/datasets/retailrocket/ecommerce-dataset
4. E-commerce Transactions + Clickstream (합성 but 매우 현실적)
- customers, products, sessions, events, orders等多 테이블 구조
- https://www.kaggle.com/datasets/wafaaelhusseini/e-commerce-transactions-clickstream
5. Google BigQuery Public Dataset – GA4 E-commerce Sample
- Google Merchandise Store 실제 GA4 이벤트 로그 샘플
- BigQuery에서 바로 SQL로 분석 가능 (로컬 다운로드 불필요)
- 검색어: bigquery-public-data.ga4_obfuscated_sample_ecommerce
실습 팁
- Kaggle에서 다운로드 후 Jupyter Notebook 열기
- 파일이 크면 DuckDB나 Polars로 메모리 효율적으로 처리
- 먼저 10만 행만 샘플링해서 연습 - 전체 데이터로 스케일업
- 분석 주제 추천 : 시간대별 구매 피크 분석, 카테고리별 전환율(Funnel),
세션 지속 시간 vs 구매 여부 상관관계, 이상 로그인·오류 패턴 탐지