[과학세상/박형주]수학이 인류의 삶을 바꿨다고?

이런 질문을 주위 사람에게서 여러 번 받았다. “수학자들은 왜 그리도 어려운 문제를 풀고 싶어 하죠? 문제가 어려울수록 더 열광하는 것 같아요.” 일리 있는 질문임이 분명한데 대답하기는 쉽지 않다. 혹시 난제가 중독성이 있는 게 아니냐는 우스갯소리를 듣기도 했으니 이쯤 되면 난제의 심리학이라는 분야를 연구해볼 만하겠다.

수학에는 많은 사람이 궁금해 하는데도 오랜 세월 풀리지 않고 애태우는 어려운 문제, 즉 난제가 여럿 있다. ‘페르마의 마지막 정리’로 불리던 난제는 무려 300년간 수많은 수학자의 도전에도 난공불락으로 남아 있다가 1990년대 중반에야 풀렸다. 이는 정말 운 좋은 경우에 속한다. 수학사를 들여다보면 난제에 몰입하던 재능 있는 수학자가 결국 문제를 풀지 못하고 평생 주목할 만한 업적도 내지 못하고 만 사례가 비일비재하니까. 결과만을 보면 이런 재능 있는 사람은 인류에게 실제로 도움이 될 만한 일에 몰두했어야 하지 않을까? 하지만 세상일은 그리 단순하지 않다. 어려운 문제를 풀려는 여러 시도 속에서 엉뚱한 진보가 생기곤 하기 때문이다.

페르마의 마지막 정리를 예로 들어보자. 17세기 프랑스 귀족으로 잘나가던 법률가였던 피에르 드 페르마는 여가시간에 수학문제를 푸는 게 취미였다고 한다. 평소처럼 수학문제에 대한 책을 읽다가 이 책에서 제시한 문제 하나를 보고 생각에 잠겼다. 얼마 뒤 이 문제를 풀었다고 믿은 그는 책의 여백에 증명을 써 나가다가 “여백이 부족하여 다 못 쓰지만 이 문제를 풀었다”고만 쓰고 끝낸다. 믿기 힘들겠지만 요즘도 이런 희귀한 사람이 있다. 중국의 장쩌민 전 주석도 틈날 때 수학문제 푸는 게 취미라고 했으니까.

이 여백에 쓰인 페르마의 글귀는 수학사에 일대 파란을 일으켰다. 당대의 내로라하는 수학자가 아무도 해결할 수 없었기 때문이다. 그 뒤 300년을 훌쩍 넘는 세월 동안 온갖 시도를 해본 수학자들의 결론은 페르마가 뭔가 착각에 빠져서 글귀를 남겼을 것이라는 거였다. 하지만 문제를 풀기 위한 지난한 노력 속에서 타원곡선이론이라는 새로운 분야가 탄생하고 발전했다.

미국 프린스턴대의 앤드루 와일스 교수는 1990년대에 결국 이 문제를 풀어내고 말았는데 두 개의 논문에 걸쳐 200쪽도 넘는 그의 증명은 타원곡선이론에 대한 새로운 깨달음에 깊이 영향 받았다. 해피엔딩이긴 한데 정작 처음의 질문에 대한 답은 여전히 아니다. 어려운 문제를 풀었으니 당사자야 기쁘겠지만 인류에겐 무슨 도움이 됐느냐 말이다.

수학자의 답은 간단하다. 원래의 페르마 문제가 설사 안 풀렸다 하더라도 300년의 노력은 가치가 충분했다는 말이다. 그 과정에서 기대하지 못했던 새로운 수학이론이 출현했고 세상과 우주에 대한 인간의 이해의 폭이 넓어졌다. 게다가 예상하지 못했던 부산물도 대단하다. 타원곡선이론을 사용해서 암호를 만들 수 있다는 사실이 알려져서 군사 분야에서 주로 사용하는 비밀키 암호 대신 인터넷 상거래에서 쓰이는 공개키 암호에 사용되기 시작했다. 오늘날 버스나 지하철을 탈 때 우리가 쓰는 교통카드에 바로 타원곡선 암호를 사용한다.

난제에 매달려 수백 년을 보낸 수학자의 몰입 때문에 인터넷 상거래가 가능해지리라 누가 예상했을까? 컴퓨터나 유무선 통신의 등장은 생활의 편리 수준을 훨씬 뛰어넘어 사람이 생각하고 소통하는 방식을 바꾸어 버렸다. 수학은 인류의 삶을 바꾸는 동력의 역할을 해온 게 아닐까? 누가 알아주든, 알아주지 못하든 간에 말이다.

박형주 포스텍 수학과 교수