2026 All-Day-Project (215/365)
수학자들이 장부조작을 알아보는 법 을 보면서
공부하기 위한 글쓰기 XXX - 벤포드 로우 (Benford's Law)
수십만 건의 로그 중 어디에 버그가 났는지, 어떤 참여자가 어뷰저인지, 파트너사의 장부에 손댄 흔적이 있는지를 10초 만에 감지하는 통계 법칙이 있다. 벤포드 법칙(Benford's Law). 데이터의 맨 앞자리 숫자만 뽑아 보면,
1이 30.1%로 압도적이고 숫자가 커질수록 급격히 낮아진다. 균등하게 11%씩 나오리라는 상식은 배신당한다.
이 정도가 보통 소개되는 내용이고, 훌륭한 실용 팁이다. 그런데 나는 이 마술이 가리키는 곳이 궁금하다. 좋은 도구는 대개 자기가 설계된 용도보다 깊은 것을 말해주기 때문이다. 그래서 이 글은 "가짜를 잡는 법"에서 출발해, 왜 하필 가짜가 잡히는가라는 질문으로, 그리고 잡히는 것이 사실은 숫자가 아니라 그 숫자를 만든 정신이라는 자리로 가려 한다.
먼저 왜 1이 독보적인지부터. 흔한 설명은 계단 비유다. 100원이 200원이 되려면 100%가 필요하지만, 800원이 900원이 되는 데는 12.5%면 충분하다. 그래서 맨 앞자리가 1인 구간에 머무는 시간이 길고, 8이나 9
인 구간은 순식간에 지나간다.
핵심은 이 한마디다. 세계는 비율로 자란다. 매출도, 인구도, 강의 길이도, 파일 크기도 — 자연스럽게 발생한 수치는 덧셈(등차)이 아니라 곱셈(등비)의 리듬을 탄다. 로그 자를 대고 보면 각 앞자리가 차지하는 폭이 정확히 벤포드 분포와 같아진다.
1이 흔한 게 아니라, 세계가 로그 스케일로 움직이기 때문에 1이 흔해 보이는 것이다. 벤포드 법칙은 세계의 성질이 아니라 세계를 재는 자의 성질에 관한 이야기다.
여기서 진짜 흥미로운 대목으로 넘어간다. 사람이 수치를 조작하거나 매크로가 무작위 숫자를 뿌릴 때, 결과는 어김없이 평평해진다. 1부터 9까지의 출현 비중이 11% 근처로 골고루 눕는다. 왜?
뇌의 기본값이 균등이기 때문이다. "자연스럽게 섞으려면 1부터 9까지 고루 넣어야지"라는 직관 — 무작위를, 공정을, 자연스러움을 덧셈적 균등으로 상상하는 습관. 이건 위조자만의 문제가 아니라 우리 모두의 인지 편향이다. 나는 다른 글들에서 이 편향을 여러 번 만났다. 내 가설이 유독 예뻐 보이는 이유, 믿고 싶은 것만 보는 습관, 직관을 거스르는 설계가 왜 그토록 어려운가 — 전부 같은 뿌리다. 우리의 직관은 덧셈적이고, 세계는 곱셈적이다.
그래서 위조는 반드시 흔적을 남긴다. 위조자는 숫자를 얼마든지 바꿀 수 있지만, 자기 머릿속 '자연스러움의 모델'까지 바꾸지는 못한다. 그가 상상하는 자연스러움 자체가 부자연스럽기 때문에, 정교하게 꾸밀수록 오히려 평평함이라는 지문이 선명해진다.
위조자는 숫자를 조작할 수 있어도, 자연스러움에 대한 자기 직관은 조작하지 못한다.
평평함은 숫자의 문제가 아니다. 그 숫자를 빚어낸 정신의 자백이다.
이 지문이 지금 특별히 중요해진 이유가 있다. 예전에 엉망진창은 자동화할 수 없다에서 정리했듯, 규칙 기반 자동화 시대의 GIGO는 정직했다. 쓰레기가 들어가면 에러가 났다. 그런데 생성형 AI 시대의 GIGO는 다르다. 쓰레기가 들어가면 그럴듯한 쓰레기가 나온다. 매끈하고, 문법에 맞고, 표의 모양을 완벽히 갖춘 채로.
합성 데이터, LLM이 만들어낸 표, 에이전트가 채워 넣은 로그가 파이프라인으로 흘러드는 세계에서, 육안 검수는 무력하다. 그럴듯함이 곧 위장이니까. 바로 여기서 벤포드가 값을 한다. 겉이 아무리 매끈해도, 생성기가 세계의 로그 구조를 진짜로 내면화하지 않았다면 앞자리 분포가 평평해진다. 출처의 지문은 표면이 아니라 분포에 남는다.
다만 정직하게 덧붙인다. 이건 군비 경쟁이다. 벤포드를 아는 생성기는 벤포드까지 맞춰 위조할 수 있다. 그러면 우리는 둘째 자리 분포, 자릿수 조합, 마지막 자리의 균등성 같은 더 깊은 지문으로 내려간다. 위조가 정교해질수록 검증도 한 겹씩 깊어지는 것이지, 어느 한 지문이 영원한 부적이 되지는 않는다.
그리고 여기서 이 글이 가장 경계하려는 지점에 도착한다. 벤포드 분포를 벗어났다고 해서 사기가 확정되는 것은 아니다.
좋은 제품이란 무엇인가 — 형태는 기능을 따른다, 그러나 에서 나는 정합성과 좋음을 갈랐다. 형태가 기능에 들어맞는지(정합성)와 그 기능이 섬길 가치가 있는지(좋음)는 다른 질문이라고. 벤포드도 똑같이 두 층을 헷갈리면 안 된다. 벤포드가 말해주는 건 "내부 정합성이 깨졌다"는 사실 하나뿐이다. 누가, 왜 깼는지는 말해주지 않는다. 분포가 어긋나는 이유는 조작일 수도, 수집 버그일 수도, 두 데이터셋의 어설픈 병합일 수도, 그냥 이 데이터가 애초에 벤포드를 따를 종류가 아니어서일 수도 있다.
신뢰자본을 넘어 — 심판의 중립성의 표현을 빌리면, 벤포드는 심판이 아니다. 심판대에 세울 대상의 줄을 세우는 자다. 진단(diagnostic)과 판결(verdict)을 혼동하는 순간, 이 우아한 스크리닝 도구는 억울한 유죄추정 장치로 타락한다.
벤포드는 범인을 지목하지 않는다. 심문할 대상의 우선순위를 매길 뿐이다.
한계를 더 밀어붙이면 루딕 오류와 스타트업에서 다룬 함정과 만난다. 카지노의 룰렛은 확률이 깨끗하게 정의된 세계지만, 현실은 그렇지 않다. 벤포드 법칙 자체는 수학적으로 깔끔한 법칙이라, 이걸 손에 쥔 사람은 현실의 지저분한 데이터마저 카지노처럼 다루고 싶은 유혹에 빠진다. 그게 루딕 오류다. 지도를 영토로 착각하는 것.
그래서 경계가 필요하다. 신발 사이즈(230~280), 키(150~190), 9,900원·4,900원 같은 마케팅 가격처럼 인위적으로 범위가 갇힌 데이터는 벤포드를 따르지 않는다. 표본이 적어도, 단일 스케일에 몰려 있어도 안 따른다. 이런 데이터에 벤포드를 들이대고 "이상하다"고 외치는 건, 자를 잘못 대 놓고 세계를 탓하는 격이다. 편차의 크기를 눈대중하지 말고 카이제곱이나 MAD 같은 지표로 재는 규율까지 갖추면, 도구는 비로소 무기가 된다. 이건 결국 AI 시대의 품질 관리가 요구하는 태도와 같다. 도구를 믿되, 도구가 통하는 조건을 먼저 의심하는 것.
한 바퀴 돌아 처음 자리에 왔다. 우리는 "가짜를 잡는 10초 마술"에서 시작했는데, 도착한 답은 탐지 기법이 아니었다.
벤포드 법칙이 진짜로 재는 것은 인간이 세계를 상상하는 방식(균등·덧셈·평평함)과 세계가 실제로 움직이는 방식(로그·곱셈·1의 우세) 사이의 간극이다. 가짜 데이터가 잡히는 이유는 숫자가 틀려서가 아니라, 그것을 만든 사람의 자연스러움에 대한 감각 자체가 세계와 어긋나 있기 때문이다. 위조는 세계를 흉내 낼 수 있어도 세계의 리듬을 흉내 내지 못한다.
그러니 데이터의 정합성을 본다는 것은 숫자를 의심하는 일이 아니라, 그 숫자를 빚어낸 손과 직관을 읽는 일이다. 좋은 PM은 첫 자리를 뽑아 그래프를 그리기 전에, 세계가 곱셈으로 자란다는 사실을 이미 몸에 새기고 있다. 도구는 그 감각을 확인해 줄 뿐, 대신 가져다주지는 않는다.
오늘 당신이 다루는 결제 내역, 유저 행동 로그, 파트너 정산 데이터의 첫 자리를 한번 뽑아 보라. 그 분포가
1로 무겁게 기울어 있다면, 그건 데이터가 정직하다는 뜻만이 아니다. 세계가 여전히 곱셈으로 자라고 있고, 아직 아무도 그 위에 자기 직관을 덧칠하지 않았다는 뜻이다.