[자연과학]디지털 세상 빛이 되리… ‘소수의 음악’

베른하르트 리만

◇소수의 음악/마르쿠스 듀 소토이 지음·고중숙 옮김 560쪽·2만 원·승산

《“이 수열은 과연 무엇일까? ……, 59, 61, ……, 67, ……, 71, …… 이것들은 모두 소수가 아닌가?” 작은 흥분으로 인한 소란이 통제실을 감돌았다. 뭔가 깊은 것에 닿은 듯한 느낌이 전해 와 엘리의 얼굴도 잠시 떨렸다. -칼 세이건, ‘콘택트’》

한 과학자에게 왜 연구를 하느냐고 물은 적이 있다. 돌아온 대답은 ‘궁금하니까’였다. 인류의 발전이나, 삶의 질 향상 등 거창한 답을 예상했기에 조금은 허탈했다.

수학자에게 이 질문을 해도 아마 같은 대답이 돌아올 것 같다. 무려 4세기에 걸쳐 수많은 수학자가 소수의 신비를 벗기는 데 도전한 이유는 그저 순수한 호기심과 열정 때문이었다.

1과 자기 자신만으로 나눠지는 1보다 큰 양의 정수. 이게 소수다.

영국 옥스퍼드대 교수인 저자는 소수를 물질을 구성하는 기본 단위인 원자에 비유한다. 소수가 아닌 모든 수는 소수를 곱해 얻어진다. 모든 물질이 원자의 조합으로 만들어지는 것처럼 말이다.

수학의 기본이 되는 소수가 아이로니컬하게도 수학자들에게는 가장 어려운 탐구 대상 중 하나다. 2, 3, 5, 7, 11…999만9901, 999만9907, 999만9929, 999만9931…. 다음 소수가 언제 나타날지 도무지 예측하기 어렵다. 소수와 소수, 소수와 소수가 아닌 수 사이에 일정한 관계도 보이지 않는다. 소수를 찾는 공식을 만들기란 더더욱 불가능해 보인다.

무질서 속에서 질서를, 불규칙 속에서 규칙을 찾아내는 수학자들에게 소수가 흥미로운 도전 대상이 돼 온 이유다. 저자는 임의성과 혼돈을 해결하지 못하는 건 수학자에게 ‘저주’와 같다고까지 못 박는다.

책은 이 저주를 풀기 위해 도전한 수많은 수학자의 이야기를 펼쳐 보인다. 엔리코 봄비에리, 알랭 콘, 폴 코언 등 수학계의 노벨상으로 불리는 필즈상 수상자도 대거 등장한다.

독일의 수학자 베른하르트 리만은 약 150년 전 소수가 일정한 규칙을 갖고 분포한다는 가설을 제기했다. 그러나 불행하게도 1866년 리만이 사망하면서 가설을 담은 문서가 모두 사라졌다. 자신이 불태웠다는 설도 있고 가정부의 실수였다는 설도 있다.

리만 이후 소수의 분포에 대한 규칙은 지금까지 아무도 풀지 못했다. 2001년 미국 클레이수학연구소는 리만 가설을 21세기 최고 수학 난제의 하나로 꼽았다. 리만 가설이 증명됐다는 한 수학자의 만우절 농담 메일에 수많은 동료가 속아 넘어간 것도 이 난제를 해결하고픈 열망 때문이었을 것이다.

리만 가설이 증명되면 수학자들이 소수의 존재를 훨씬 쉽고 빠르게 예측할 수 있게 된다. 하지만 그게 우리 생활에 무슨 영향을 줄까. 저자 역시 사실 수학자가 아니면 그 영향을 실감하지 못할 거라고 인정한다.

은행 업무나 전자거래의 보안에 바로 소수가 쓰인다는 사실을 아는 사람은 많지 않다. 현재 전 세계의 전자거래를 보호하기 위해 100만 개 이상 소수가 사용되고 있다고 한다. 1970년대 론 리베스트, 아디 샤미르, 레너드 애들먼 등 세 수학자가 소수를 이용해 전자거래에서 개인 신용카드 번호를 보호할 수 있는 방법을 알아 낸 덕분이다.

많은 기업과 보안 전문가가 수학자의 연구에 관심을 갖는 것도 이런 이유에서다. 저자는 먼 미래엔 개인을 고유의 소수로 식별할 수 있게 될지 모른다고 내다보고 있다.

수학은 아무도 풀지 못한 난제를 해결한 수학자에게 영원불멸성을 선사한다. 오일러 곱, 가우스 정수, 푸리에 급수…. 학창시절 수학시간에 교과서에서 본 이론들은 대부분 이를 정립한 수학자의 이름을 따서 명명됐다. 리만 가설을 비롯한 소수의 비밀을 벗겨낸 수학자도 자신의 이름을 수학사에 영원히 남기게 될 것이다.

과학계와 산업계에서 수학교육의 중요성을 강조하는 목소리가 나오고 있는 요즘이기에 더욱 눈에 띄는 책이다. 원제 ‘The Music of The Primes’(2003년).

임소형 동아사이언스 기자 sohyung@donga.com