[자연과학]수학은 발견인가 발명인가

우주질서를 연구한 수학자들
공식과 진리의 좌표여행

영국의 철학자이자 수학자인 버트런드 러셀(1872∼1970). 그는 수학은 기본적으로 논리 법칙을 더욱 정교하게 다듬은 것이라는 입장을 취했다. 이는 수학과 세상을 연결하는 주요 연결고리가 됐다. 동아일보 자료 사진

◇ 신은 수학자인가?/마리오 리비오 지음·김정은 옮김/384쪽·1만8000원·열린과학

아이작 뉴턴(1642∼1727)이 만유인력의 법칙을 만들 때 행한 실험과 관찰에는 4%의 오류가 있었다. 그러나 그 실험 결과로 만든 수학공식의 정확도는 100만분의 1 단위까지 정확했다. 수학공식이 세상을 더 정확하게 묘사한 것이다.

몸무게나 지능지수(IQ)와 같은 인간의 특징뿐만 아니라 세상의 동식물 대부분의 특징이 모두 ‘정규분포’라는 한 가지 함수로 표현된다는 사실은 어떤 의미를 갖는가. 순수하게 수학적으로 만들어진 공식이 훗날 물리적 현상을 설명하는 도구로 쓰이는 사례가 빈번하다.

‘신이 수학자가 아닌가’라는 의문은 수학의 이런 무소부재(無所不在)하며 무소불위(無所不爲)한 능력 때문에 생겼다. 영국의 물리학자 제임스 진스(1877∼1946)가 “이 우주는 다름 아닌 수학자의 설계에 따라 창조되었을 것”이라고 말한 것도 이 때문이다.

고대 그리스의 철학자인 피타고라스나 플라톤은 우주를 표현하고 관장하는 수학의 능력에 이미 경외심을 품고 있었다. 수학과 현실세계를 본격적으로 연결한 이는 그리스의 아르키메데스였다. 그는 역학과 힘의 평형, 지레의 원리 등에 관한 해박한 지식을 이용해 실제 세계의 힘을 수학적으로 묘사했다. 적분과 미분의 기본개념을 고안한 것도 그였다.

우주는 수학적 질서로 구성돼 있으며 인간은 이를 ‘발견’하는 것일 뿐이라는 생각은 이런 뛰어난 수학자에게서 나왔다. 갈릴레오 갈릴레이(1564∼1642)는 수학을 인간이 자연의 비밀을 들여다볼 수 있는 강력한 추진장치로 여겼다. 르네 데카르트(1596∼1650)는 확실한 진리의 집합체로 보이는 수학을 이용해 과학과 윤리학을 비롯한 모든 지식의 통합을 시도했다. 아르키메데스와 갈릴레이가 ‘물리학적 우주는 수학이라는 언어로 쓰였다’는 것을 보여주었다면 데카르트는 한발 더 나아가 인간의 모든 지식이 수학적 논리를 따른다고 생각했다. 여기서 수학의 공리처럼 의심할 수 없는 명제로 ‘나는 생각한다. 고로 존재한다(Cogito ergo sum)’가 탄생했다. 데카르트는 한 쌍의 좌표값으로 위치를 특정할 수 있다는 놀라운 아이디어를 통해 데카르트 좌표계(우리가 학교에서 배우는 X-Y 좌표계)를 만들었고 이를 바탕으로 원이라는 기하학적 도형을 대수방정식으로 표현할 수 있다는 것을 발견해 기하학과 대수학을 통합했다.

데카르트의 적자였던 뉴턴은 만유인력의 법칙으로 신은 수학자라는 믿음의 꽃을 피웠다. 우주 전체를 하나의 수학적 테두리로 통합한 것이다.

그러나 ‘틈새’는 19세기 비(非)유클리드 기하학에서 생겼다. 기원전 300년경에 정립된 유클리드 기하학은 이마누엘 칸트(1724∼1804) 같은 철학자들도 ‘의심할 여지가 없이 단단한 토대를 갖춘 분야’로 인정했지만 그 뿌리가 흔들리게 된 것. 유클리드 기하학에서는 삼각형의 내각의 합이 항상 180도이지만 분명 이 우주에 존재하는 다른 공간에서는 그보다 작거나 크다는 것이 발견됐다. ‘수학이 발견이 아니라 발명일 수 있다’는 믿음에 큰 힘을 실어 준 것은 쿠르트 괴델(1906∼1978)의 ‘불완전성 정리’였다. 그는 아무리 강력한 형식 체계라도 본질적으로 불완전과 모순을 내포한다는 것을 밝혀냈다. 수학이 우주의 진실을 모두 획득할 수 없다는 의미였다.

그래도 의문은 남는다. 어째서 순수하게 수학적으로 고안된 공식들이 나중에 세상을 설명하게 되는 ‘비합리적 효용성’ 현상이 발생하는가. 저자는 수학이 발명과 발견의 속성을 다 포함하고 있다고 말한다. 그는 진화 과정에서 인간의 논리가 물리적 세계와 일치할 수밖에 없었고 수학은 논리학에서 유래했기 때문에 수학이 물리적 세계와 일치하는 것이라고 설명한다. “어떻게 보면 과학자들은 수학적으로 다루기 적합한 문제만 연구해 온 것”이라는 것이 그가 내린 나름의 결론이다.

실제로 다윈의 자연선택설은 수학적 형식을 기반으로 하지 않지만 종의 기원을 명확하게 밝혔고 미국인들의 가계소득은 정규분포를 따르지 않는다. 그럼에도 수학의 본질적인 특성을 살펴본 이 책은 ‘고도의 추상성과 엄밀성을 바탕으로 수학이 없었다면 인류의 발전은 불가능했다’는 메시지를 던진다.

허진석 기자 jameshuh@donga.com