포트폴리오용 케글 데이터를 고르는 방법
케글에서 포트폴리오용 데이터를 찾다 보면 자연스럽게 '다운로드 수'부터 보게 됩니다.
(케글)노트북이 많이 만들어진 데이터, 다른 사람이 분석한 사례가 많은 데이터가 아무래도 안전해 보이죠.
막히면 참고할 코드도 있고, 컬럼 설명도 비교적 잘 정리되어 있으니까요.
그런데 막상 데이터를 내려받고 나서야
내가 하려던 분석이 불가능하다는 걸 알게 되는 경우가 허다합니다.
고객 분석을 하려고 했는데 고객을 구분하는 ID가 없습니다.
재구매율을 구하려고 보니 주문번호만 있고 실제 고객을 식별할 수 없습니다.
장바구니 이탈을 보고 싶은데 구매 완료 데이터만 남아 있기도 하고요.
이때는 분석 실력보다 데이터 선택에서 먼저 막힙니다.
이 내용을 알기 위해서는 어떤 내용들을 알아야 할까요?
이커머스 데이터라고 해서 모두 같은 분석을 할 수 있는 것은 아닙니다.
예를 들어, 케글에서 인기있는 Olist 데이터에는
고객, 주문, 상품, 결제, 배송, 리뷰, 셀러 정보가 들어 있습니다.
덕분에 어떤 상품이 많이 팔렸는지, 배송 지연이 고객 만족도와 어떤 관계가 있는지,
셀러별 성과에 차이가 있는지 살펴보기 좋습니다.
반면 고객이 상품을 조회하다가 나갔는지, 장바구니에 담고도 결제하지 않았는지는 알기 어렵습니다.
구매가 완료된 이후의 정보는 풍부하지만, 구매하지 않은 행동은 기록되어 있지 않기 때문이죠.
이 데이터로 구매 전환 퍼널을 만들면 그럴듯한 차트는 나올 수 있습니다. 다만 실제 고객 행동을 보여주는 퍼널이라고 보기는 어렵습니다. 조회한 사람과 이탈한 사람이 애초에 데이터에 없으니까요.
반대로 조회, 장바구니 추가, 장바구니 제거, 구매 이벤트가 기록된 로그 데이터라면
구매 이전의 흐름을 볼 수 있습니다.
같은 이커머스 데이터지만 질문이 달라지는 것이죠.
예를 들어, Olist에서는 이렇게 물을 수 있습니다.
“첫 구매 경험에서 무엇이 고객 만족도를 떨어뜨렸는가?”
그런데 행동 로그 데이터에서는 질문이 이렇게 바뀔 수 있습니다.
“상품을 장바구니에 담은 고객은 어느 단계에서 구매를 포기했는가?”
어느 쪽이 더 좋은 데이터인지는 정해져 있지 않습니다.
내가 답하려는 질문과 맞는지가 중요합니다.
데이터를 고를 때 가장 먼저 확인할 컬럼 가운데 하나가 ID입니다.
그런데 ID라는 이름만 보고 고객을 식별할 수 있다고 생각하면 곤란합니다. 주문 ID인지, 세션 ID인지, 기기 ID인지, 실제 고객 ID인지에 따라 분석 단위가 완전히 달라지거든요.
예를 들어, Olist에는 customer_id와 customer_unique_id가 함께 있습니다.
customer_id는 주문 데이터와 고객 정보를 연결할 때 사용하는 키에 가깝습니다.
같은 사람이 여러 번 주문하면 주문마다 다른 customer_id가 부여될 수 있습니다.
실제 고객을 기준으로 구매 횟수와 재구매율을 보려면 customer_unique_id를 사용해야 합니다.
둘을 구분하지 않고 customer_id를 고객 수로 세면 어떻게 될까요.
한 사람이 두 번 주문해도 서로 다른 고객 두 명처럼 처리될 수 있습니다.
재구매 고객은 줄어들고, 전체 고객 수는 실제보다 많아지겠죠.
코드는 정상적으로 실행됩니다.
결과도 표와 차트로 잘 나옵니다.
그래서 더 위험합니다.
오류 메시지가 뜨지 않으니 잘못된 분석이라는 사실을 발견하기 어렵거든요.
ID를 볼 때는 이름보다 "역할"을 먼저 확인해야 합니다.
누구를 구분하는가.
한 번의 주문인가, 한 번의 방문인가.
같은 사람이 다시 들어왔을 때도 동일하게 유지되는가.
이 세 가지 질문만 확인해도
할 수 있는 분석과 하면 안 되는 분석이 상당히 분명해집니다.
날짜가 들어 있다고 모두 시계열 분석이 가능한 것도 아닙니다.
연도만 있는지, 월과 날짜까지 있는지, 시간과 분까지 기록되어 있는지에 따라 볼 수 있는 움직임이 달라집니다. 연월 데이터로는 월별 매출 추세를 볼 수 있습니다. 시간대별 구매 행동은 알 수 없죠.
날짜와 시간이 모두 있다면 조금 더 들어갈 수 있습니다.
조회 후 장바구니에 담기까지 얼마나 걸렸는지, 장바구니 추가 후 구매까지 어느 정도 시간이 소요됐는지, 구매하지 않은 세션은 언제 끊겼는지 살펴볼 수 있습니다.
여기서 데이터 기간도 함께 봐야 합니다.
한 달 데이터라고 분석할 수 없는 것은 아닙니다. 장바구니 상품 조합, 세션별 전환, 상품별 구매 연결률처럼 짧은 기간에도 관찰할 수 있는 질문이 있습니다.
다만 계절성이나 장기 추세까지 말해서는 안 됩니다.
12월 한 달의 장바구니 데이터를 분석했다면 “이 상품 조합은 평소에도 함께 구매된다”가 아니라 “12월 데이터에서는 함께 담기는 경향이 확인됐다”고 표현해야 맞습니다.
데이터의 한계를 숨기는 것보다
분석 결과가 설명할 수 있는 범위를 분명히 적는 편이 훨씬 낫습니다.
데이터를 검토할 때는 들어 있는 컬럼을 주로 봅니다.
포트폴리오에서는 없는 데이터도 살펴봐야 합니다.
구매 고객만 있는가.
구매하지 않은 방문자도 포함되어 있는가.
환불과 취소가 구분되는가.
장바구니 제거 이벤트가 있는가.
상품 가격이 당시 가격인지 현재 가격인지 알 수 있는가.
예를 들어 구매 고객만 있는 데이터로 고객 특성을 분석할 수는 있습니다.
하지만 구매 고객과 비구매 고객의 차이를 비교할 수는 없습니다.
장바구니에 담긴 상품만 추출한 데이터로는 어떤 상품이 함께 담겼는지 분석할 수 있습니다.
그렇다고 전체 방문자 중 몇 퍼센트가 장바구니를 이용했는지는 알 수 없습니다. 전체 방문 기록이 분모로 필요하기 때문입니다.
포트폴리오에서 자주 생기는 오류도 여기에서 나옵니다.
데이터에 있는 것만 보고 질문을 만들면, 없는 대상을 있는 것처럼 해석하게 됩니다.
케글 데이터를 소개하는 글에는 대개 이런 표현이 붙습니다.
고객 세분화 가능
RFM 분석 가능
추천 시스템 가능
매출 예측 가능
머신러닝 가능
이게 딱히 틀린 말은 아닐 수 있지만,
“가능하다”와 “적절하다”는 다릅니다.
고객 ID와 구매일이 있으면 형식적으로 RFM 값을 계산할 수 있습니다.
그러나 대부분이 한 번만 구매한 고객이라면
구매 빈도와 최근 구매일이 고객을 충분히 구분해주지 못할 수 있습니다.
상품 두 개가 같은 주문에 들어 있다는 이유만으로 연관분석도 할 수 있습니다.
주문당 상품 수가 거의 모두 한 개라면 의미 있는 조합을 찾기는 어렵겠죠.
분석 기법을 적용할 수 있는지만 보지 말고,
그 기법이 구분해낼 차이가 데이터 안에 존재하는지도 봐야 합니다.
이 부분은 직접 계산하기 전까지 완전히 알기 어렵습니다.
그래서 포트폴리오 데이터를 고를 때는
처음부터 거대한 분석을 시작할 필요가 없습니다.
먼저 몇 가지만 확인해보면 됩니다.
고객은 몇 명인가.
고객당 주문은 몇 건인가.
주문당 상품은 몇 개인가.
분석 기간은 얼마나 되는가.
주요 이벤트별 데이터는 몇 건인가.
이 결과를 보고 질문을 수정해도 늦지 않습니다.
오히려 그 과정이 실제 분석에 더 가깝기도 하고요.
처음에는 장바구니 이탈을 분석하려고 데이터를 골랐는데,
막상 열어보니 장바구니 이후의 행동이 충분하지 않을 수 있습니다.
그렇다면 두 가지 선택지가 있습니다.
01. 질문에 맞는 다른 데이터를 찾거나,
02. 현재 데이터가 잘 보여주는 방향으로 질문을 바꾸는 것입니다.
상품이 함께 담긴 조합이 풍부하다면 장바구니 연관분석으로 전환할 수 있습니다.
상품별 조회·장바구니·구매 이벤트가 있다면 상품 생애주기나 전환 효율을 살펴볼 수도 있고요.
여기서 중요한 건 처음 세운 주제를 끝까지 지키는 일이 아닙니다.
데이터를 확인한 뒤 질문을 더 정확하게 고치는 것.
실무에서도 자주 일어나는 일입니다.
확보한 데이터가 처음 기대했던 것과 다르고, 분석 가능한 범위가 예상보다 좁은 경우가 많거든요.
포트폴리오에서는 아예 이 과정도 보여줄 수 있습니다.
“장바구니 이탈 분석을 계획했으나 비구매 세션의 종료 기준이 불분명해,
세션 내 상품 조합과 장바구니 이후 구매 연결률 분석으로 범위를 조정했다.”
이 한 문장에는 데이터 구조를 검토하고 분석의 한계를 판단한 과정이 들어 있습니다.
유명한 데이터를 사용했다고 생기는 차별점은 크지 않습니다.
같은 데이터를 보고 어디까지 분석할 수 있는지, 무엇은 말하면 안 되는지 구분하는 데서 차이가 생깁니다.
케글 데이터 추천 목록을 찾기 전에 컬럼부터 봐야 하는 이유입니다.
#케글 #Kaggle #케글데이터 #데이터분석 #데이터분석포트폴리오 #데이터분석프로젝트 #이커머스데이터분석 #장바구니분석 #Olist #데이터분석가 #포트폴리오 #파워포인트 #PPT만들기 #프레젠테이션 #이력서포트폴리오