초등학생도 아는데, 수학자들은 왜 밤을 새울까?
2, 3, 5, 7, 11, 13… 이 숫자들의 공통점을 찾으셨나요?
1과 자기 자신으로만 나누어 떨어지는 수. 소수(素數)의 정의는 이게 전부입니다. 초등학교 교과서에도 나오는 내용이죠. 그런데 인류 역사상 가장 똑똑한 수학자들이 이 단순한 수를 두고 2,000년째 밤을 새우고 있습니다. 도대체 소수의 어디에 그런 매력이 숨어 있을까요?
물질을 계속 쪼개다 보면 결국 더 이상 쪼갤 수 없는 원자에 도달합니다. 수의 세계에도 똑같은 원리가 있습니다. 어떤 자연수든 계속 쪼개다 보면 반드시 소수들의 곱으로 떨어집니다.
12 = 2 × 2 × 3
100 = 2 × 2 × 5 × 5
2,024 = 2 × 2 × 2 × 11 × 23
이것을 수학에서는 산술의 기본 정리라고 부릅니다. 모든 자연수는 소수들의 조합으로 딱 하나의 방식으로만 표현됩니다. 소수는 수의 세계를 이루는 '원자'인 셈이죠.
그런데 여기서 이상한 일이 벌어집니다. 원자는 주기율표에 정렬되어 있고 패턴을 읽을 수 있지만, 소수는 수직선 위에서 도무지 규칙 없이 나타납니다. 2와 3은 연달아 나오다가, 다음 소수를 만나려면 5까지 기다려야 합니다. 11과 13은 바짝 붙어 있고, 그다음 소수 17까지는 또 한참 걸립니다. 수가 커질수록 소수는 드물어지지만, 정확히 어디에 나타날지는 아무도 예측하지 못합니다.
세계에서 가장 빠른 슈퍼컴퓨터도, 가장 정교한 수학 공식도 "다음 소수는 여기 있다"라고 미리 알려주지 못합니다. 마치 광활한 우주에서 별이 어디에 있는지 조사해 보면 패턴이 보이는데, 정작 다음 별이 어디에 생길지는 예측할 수 없는 것처럼요.
소수는 지금 이 순간 아주 실용적인 일을 하고 있습니다. 인터넷 뱅킹, 카지노톡, 이메일. 이 모든 것의 보안을 떠받치는 기술이 바로 RSA 암호화입니다. RSA의 핵심 아이디어는 소수의 이 특성을 활용합니다. 두 소수를 곱하는 것은 쉽습니다. 하지만 반대로, 어떤 큰 수가 어떤 두 소수의 곱인지 알아내는 것은 엄청나게 어렵습니다.
예를 들어 볼게요. 13 × 17 = 221이라는 건 1초 만에 계산할 수 있습니다. 그런데 반대로, 221이 주어졌을 때 이게 어떤 두 수의 곱인지 알아내려면 일일이 나눠봐야 합니다. 수가 수백 자리로 커지면? 지구상의 모든 컴퓨터를 동원해도 우주의 나이보다 긴 시간이 걸립니다.
바로 이 '풀기 어려움'이 암호화의 열쇠입니다. 은행은 당신의 계좌 정보를 거대한 소수 두 개를 곱한 값으로 잠그고, 당신만이 그 자물쇠를 열 수 있는 열쇠(소수)를 가집니다. 해커는 그 자물쇠를 수십억 년이 걸려도 열 수 없습니다. 우리 삶에 크게 영향을 미치는 소수지만 아직 인간이 정복하지 못한 대상이 또한 소수이기도 합니다.
1859년, 독일의 천재 수학자 베른하르트 리만은 논문 한 편을 발표합니다. 분량은 고작 8쪽. 하지만 그 안에는 수학 역사상 가장 위험한 문장이 담겨 있었습니다.
"이 근들은 모두 실수부가 ½인 직선 위에 있는 것 같다."
'것 같다'는 표현 하나가 150년의 악몽을 만들었습니다. 리만이 말한 건 소수의 분포가 완전한 무작위가 아니라, 어떤 숨겨진 질서를 따른다는 주장이었습니다. 그리고 그 질서를 기술하는 함수(리만 제타 함수)의 영점들이 모두 특정한 직선 위에 놓인다는 것이 바로 리만 가설입니다.
수식은 복잡하지만 직관은 이렇습니다. 소수들이 마치 아무렇게나 흩어진 것처럼 보여도, 사실은 보이지 않는 악보 위에서 연주되고 있다는 겁니다. 리만 가설은 그 악보의 존재를 증명하는 일입니다.
이후 수학자들은 컴퓨터로 제타 함수의 영점을 10조 개 넘게 확인했고, 전부 그 직선 위에 있었습니다. 단 하나의 예외도 없이요. 그런데도 '증명'은 없습니다. 수학에서는 10조 번의 확인보다 단 하나의 논리적 증명이 더 중요하기 때문입니다.
리만 가설이 증명되면 무슨 일이 생길까요? 소수의 분포를 훨씬 정교하게 예측할 수 있게 됩니다. 이는 현재의 암호화 기술 전반을 뒤흔들 가능성이 있습니다. 반대로, 가설이 틀렸다고 밝혀지면? 인터넷 보안의 근간이 흔들릴 수 있습니다. 어쩌면 소수의 비밀이 완전히 밝혀지게 되면서 암호화 기술의 패러다임이 완전히 바뀔 수도 있겠죠.
수학 난제 중에서도 가장 돈이 많이 걸린 문제이기도 합니다. 클레이 수학연구소가 내건 상금은 100만 달러, 지금도 주인을 기다리고 있습니다. 지금 이 순간에도 어딘가의 수학자가 노트를 채우고 있을 겁니다. 리만이 150년 전 던진 그 질문을 붙들고서요.
미국 동부 숲 속에는 아주 특이한 매미가 삽니다. 이 매미들은 땅속에서 정확히 13년, 또는 17년을 기다렸다가 한꺼번에 땅 위로 올라옵니다. 그리고 몇 주 동안 짝짓기를 마친 뒤 다시 자취를 감춥니다. 왜 하필 13년이고 17년일까요? 둘 다 소수라는 것, 눈치채셨나요?
이건 우연이 아닙니다. 천적의 번식 주기가 2년, 3년, 4년, 6년이라고 해봅시다. 만약 매미가 12년 주기로 나온다면 어떻게 될까요? 12는 2, 3, 4, 6의 배수이기 때문에, 매미가 땅 위로 나올 때마다 천적들과 딱딱 맞물립니다. 천적 입장에서는 최고의 식사 날이 되는 셈이죠.
그런데 주기가 소수인 13년이나 17년이면 이야기가 달라집니다. 13과 17은 1과 자기 자신 외에는 약수가 없으니, 웬만한 천적의 번식 주기와 겹치지 않습니다. 천적이 3년 주기라면 매미와 같은 해에 만나는 건 39년에 한 번, 4년 주기라면 68년에 한 번 뿐입니다.
매미는 수학을 공부한 적이 없습니다. 그런데 수억 년의 진화 끝에 소수를 '선택'했습니다. 소수가 가진 나눠지지 않는 성질이, 생존에 가장 유리한 전략이었기 때문입니다.
수학 교과서 속 개념이 숲 속 매미의 생존 방식에 새겨져 있다는 것. 자연은 우리보다 훨씬 먼저 소수의 힘을 알고 있었던 셈입니다. 결국 소수는 인간의 머릿속에서 만들어진 개념이 아니라, 우주를 구성하는 근본적인 질서일지도 모릅니다.
소수는 우리에게 중요한 사실을 일깨워줍니다. 수학은 모든 답을 알고 있는 학문이 아닙니다. 오히려 아무도 던지지 않은 질문을 발견하는 학문입니다. 초등학생도 이해하는 정의 하나가, 인류의 가장 뛰어난 두뇌들을 수천 년째 사로잡고 있습니다.
다음에 2, 3, 5, 7, 11을 보거든 잠깐 멈춰 보세요. 저 작은 숫자들이 인터넷 보안을 지탱하고, 수학자들의 꿈속에도 나타나며, 아직 누구도 풀지 못한 미스터리를 품고 있다는 걸 떠올리면서요.
여러분은 수학을 공부하면서 가장 신기했던 개념이 무엇인가요? 댓글로 알려주세요.