숫자로 보되 숫자에 갇히지 않기

만드는 사람들의 협업법 — 1편: 누구와 함께할 것인가

만드는 사람들의 협업법 — 2편: 사람을 키우는 팀

만드는 사람들의 협업법 — 3편: 매일 이기려 하면 지는 이유

만드는 사람들의 협업법 — 4편: 숫자로 보되 숫자에 갇히지 않기

제품을 만드는 사람이라면 한 번쯤 이런 경험이 있을 거예요. 열심히 만든 기능을 출시하고, 대시보드를 열어 숫자를 확인하는 순간. DAU가 올랐다, 클릭률이 높다—그러면 잘한 거고. 숫자가 안 움직이면 실패한 거고. 어느새 우리의 하루가 대시보드 앞에서 시작하고 대시보드 앞에서 끝나게 됩니다.

데이터를 보는 것 자체는 나쁘지 않아요. 아니, 반드시 필요합니다. 감으로만 제품을 만드는 건 눈 감고 운전하는 것과 비슷하니까요. 문제는 어떤 숫자를 보느냐, 그리고 그 숫자를 어떻게 해석하느냐에 있습니다.

야구에서 비슷한 혁명이 있었어요. 오랫동안 야구에서 타자의 가치를 측정하는 기준은 타율이었습니다. 3할을 치면 좋은 타자, 2할대면 평범한 타자. 단순하고 명쾌했죠. 그런데 2000년대 초반, 오클랜드 어슬레틱스의 단장 빌리 빈이 이 상식에 의문을 품었어요. 타율이 높은 선수를 모았는데도 팀이 자꾸 지는 거예요. 돈은 없고, 좋은 선수를 사올 여력도 없는 약체 구단. 그래서 다른 질문을 던졌습니다. "타율 말고, 진짜로 승리에 기여하는 게 뭐지?"

답은 출루율이었어요. 안타를 치든, 볼넷을 골라내든, 어떻게든 1루에 나가는 것. 타율은 안타만 세지만 출루율은 볼넷도 셉니다. 겉으로 보면 화려하지 않아요. 볼넷은 관중석에서 환호가 나오지 않거든요. 하지만 1루에 나간 선수가 있어야 득점이 시작됩니다. 빌리 빈은 다른 팀이 무시하는 이 지표에 주목해서, 리그 최저 수준의 예산으로 플레이오프에 진출하는 기적을 만들어냈어요. 이른바 '머니볼' 혁명입니다.

이 이야기에서 제품팀이 가져갈 교훈은 명확합니다. 우리도 타율만 보고 있는 건 아닌지 점검해봐야 해요.

제품에서의 타율은 뭘까요? 대표적인 게 DAU입니다. 일일 활성 사용자 수. 숫자가 크면 기분이 좋고, 보고할 때도 멋져 보여요. 그런데 DAU가 높다고 제품이 정말 잘되고 있는 걸까요? 알림을 공격적으로 보내면 DAU는 올라갑니다. 앱을 열었다가 바로 닫는 사람도 활성 사용자로 잡히거든요. 숫자는 올랐는데 사용자는 짜증나고 있을 수 있어요. 이런 게 허영 지표(vanity metrics)입니다. 보기에는 좋지만 실제 제품의 건강 상태를 말해주지 않는 숫자.

그러면 제품에서의 출루율—진짜로 중요한 지표—은 뭘까요? 맥락에 따라 다르지만, 리텐션이 대표적이에요. 이번 주에 들어온 사용자가 다음 주에도 돌아오는가, 한 달 뒤에도 쓰고 있는가. DAU가 "오늘 몇 명이 왔는가"라면 리텐션은 "그 사람이 다시 오는가"예요. 한 번 와서 떠난 사람 천 명보다, 매주 돌아오는 사람 백 명이 제품의 미래에 더 중요합니다. 하지만 리텐션은 시간이 지나야 보이고, 대시보드에서 즉각적으로 느껴지지 않으니 자꾸 뒤로 밀려요.

비슷한 함정이 팀 내부에도 있습니다. 스프린트가 끝나면 "이번에 몇 개의 기능을 출시했는가"를 세죠. 산출물의 양. 이것도 일종의 타율이에요. 많이 만들었으면 잘한 것 같고, 적게 만들었으면 부진한 것 같은 느낌. 그런데 기능 다섯 개를 출시했는데 사용자가 쓰는 건 하나뿐이라면, 나머지 네 개에 들인 시간과 에너지는 어디로 간 걸까요? 반대로 기능 하나만 출시했는데 그게 사용자의 핵심 문제를 해결했다면, 그 팀은 대단히 잘한 거예요. 하지만 "기능 하나 출시"라는 숫자만 보면 부진해 보입니다.

이 간극을 어떻게 메울 수 있을까요? 제가 쓰려고 노력하는 방법이 하나 있어요. 숫자 옆에 항상 질문을 붙이는 겁니다. 숫자만 보면 "DAU 10만. 좋다" 혹은 "DAU 10만. 부족하다"로 끝나요. 하지만 여기에 "이 사람들이 왜 왔지? 어떤 경로로 왔지? 와서 뭘 했지? 다시 올까?"를 붙이면 숫자가 이야기를 시작합니다. 숫자는 답이 아니라 질문의 출발점이에요. 대시보드가 "여기를 보세요"라고 알려주면, 그다음은 사람이 "왜?"를 물어야 합니다.

그런데 숫자가 말해주지 않는 것도 있습니다. 이 부분이 어쩌면 더 중요해요.

사용자가 고객센터에 전화해서 "이 기능 덕분에 일이 정말 편해졌어요"라고 말한 것은 어떤 지표에도 잡히지 않습니다. 팀 내에서 주니어가 시니어의 리뷰를 받고 "아, 이래서 이렇게 하는 거구나"라고 깨달은 순간도 대시보드에 나타나지 않아요. 동료가 막힌 문제를 같이 고민해줘서 하루가 절약된 것, 누군가 기획 단계에서 "이거 사용자가 정말 원하는 게 맞아?"라고 물어서 방향이 바뀐 것. 이런 것들은 숫자로 포착되지 않지만 제품과 팀의 미래를 바꾸는 순간들이에요.

데이터 기반 의사결정이라는 말이 "숫자가 있으니까 이렇게 하자"가 되면 위험합니다. 진짜 데이터 기반이란 "숫자가 이렇게 말하고 있으니, 여기에 우리의 판단을 더해서 결정하자"에 가까워요. 숫자는 지도입니다. 지형을 보여주지만, 어디로 갈지는 사람이 정해야 해요. 지도만 보고 걷다가는 절벽 앞에서도 "지도에는 길이라고 나와 있는데…"라고 말하게 됩니다.

머니볼의 빌리 빈도 숫자만으로 팀을 만들지는 않았어요. 세이버메트릭스—야구 통계학—가 알려준 건 "이 선수가 과소평가되어 있다"는 것이었고, 그 선수를 실제로 데려올지, 기존 팀에 어떻게 녹일지, 라커룸 분위기에 맞을지는 여전히 사람의 판단이었습니다. 숫자가 보지 못하는 영역을 사람의 감각이 채웠어요. 둘 중 하나만으로는 부족했고, 둘이 만났을 때 비로소 혁명이 가능했습니다.

제품팀에서도 마찬가지입니다. 데이터 분석가가 "리텐션이 떨어지고 있습니다"라고 알려주면, PM은 "왜 떨어지는 걸까"를 묻고, 디자이너는 "사용자 경험에서 어디가 걸리는 걸까"를 살피고, 엔지니어는 "성능 문제는 없는가"를 확인합니다. 숫자가 출발점을 주고, 서로 다른 시선을 가진 사람들이 해석을 더해가는 과정. 1편에서 이야기한 "다른 시선의 조합"이 여기서 빛을 발합니다.

숫자로 보되 숫자에 갇히지 않기. 이건 결국 겸손의 문제이기도 해요. 우리가 측정할 수 있는 것은 현실의 일부일 뿐이라는 걸 인정하는 것. 보이는 것만 중요하다고 착각하지 않는 것. 숫자가 말해주는 것에 귀 기울이되, 숫자가 침묵하는 곳에서는 우리의 감각과 판단을 믿는 것. 그 균형이 데이터 시대에 제품을 만드는 사람들에게 필요한 리터러시가 아닐까 합니다.

숫자를 보는 눈을 이야기했으니, 다음은 사람을 보는 눈입니다. 제품팀에서 개인의 기여를 어떻게 평가할 것인가—이건 숫자의 함정이 가장 깊이 파고드는 영역이에요. 다음 편에서 그 이야기를 해보겠습니다.