[자연과학]“기하학은 내 사랑” 콕세터의 일생

◇ 무한공간의 왕, 도널드 콕세터/시오반 로버츠 지음·안재권 옮김/668쪽·2만5000원·승산

“유클리드를 타도하라! 삼각형에 죽음을!”

어느 프랑스 수학자의 이 비장한 선언이 말해주듯, 20세기 수학계에서 기하학은 찬밥신세였다. 수학이란 왜곡되기 쉬운 시각보다는 순수한 이성으로만 추론되어야 한다는 반시각적 운동이 득세했기 때문이다. 수학책은 아래첨자와 위첨자가 뒤얽힌 기호와 방정식으로 온통 뒤덮이게 됐고 도표와 모양은 사라지게 됐다.

하지만 이런 대세를 무시하고 도형을 신뢰하고 평생을 도형에 헌신함으로써 기하학의 고전적 전통을 보존하고 지탱한 영국 출신의 캐나다 수학자가 있었다. 도널드 콕세터(1907∼2003).

이 책은 ‘토론토 라이프’에서 일하는 저널리스트인 저자가 도널드 콕세터의 일대기와 주요 작업을 되짚은 전기다.

콕세터는 입자처럼 작고 세밀한 존재부터 지구상의 생물체, 우주에 이르기까지 수학과 과학에 두루 쓰일 수 있는 대칭성과 패턴의 개념인 ‘콕세터군(Coxeter groups)’과 ‘콕세터 도식(Coxeter diagrams)’을 고안한 학자다.

하지만 이런 기념적인 업적과 ‘기하학의 사도’란 별칭에도 불구하고 겸손하고 소탈했던 그의 모습은 기하학에 대한 개념이 전무한 사람들조차 매료시킨다. 수학적 업적에 대한 설명이 많은 부분을 차지하지만 저자는 독자의 눈높이에 맞춰 비교적 쉽게 주요 개념들을 소개한다.

어린 시절 콕세터는 악보를 보면서 수학적 체계에 대한 흥미를 처음으로 느끼게 된다. 작곡을 하면서 느꼈던 즐거움을 수학을 공부하면서도 동일하게 발견한 그는 케임브리지대에서 수학을 전공한다. 대학 시절 과외활동이나 연애는 뒷전에 두고 온힘을 다해 수학에만 파묻혔던 그는 십이지장궤양에 걸리기도 한다. 이에 관한 일화는 케임브리지의 트리니티칼리지 연보에 짤막하게 수록돼 있다.

“트리니티의 어느 수학자는/충분한 영향을 섭취하지 않아/결국 어느 날 침실담당 직원이/교과서를 치워버렸고/그래서 지금은 원기왕성하다네.”

기하학과 사랑에 빠졌던 내성적인 성격의 수학자는 토론토대에 정착한 뒤 화가 M C 에스허르, 건축과 벅민스터 풀러 등과도 폭넓게 교류했고 그들의 작업에 수학적 영향을 미쳤다. 어딜 가나 거울을 들고 다니며 초다면체의 대칭적 성질을 연구한 것, 할 수 있는 욕의 최대치가 ‘빌어먹을’이었다는 그의 순수하고 인간적인 면모 등은 웃음을 자아낸다. “기하학이 없으면 인생은 무의미하다”고 믿었던 한 수학자의 일생과 함께 현대수학의 쟁점들도 함께 살펴볼 수 있다.

박선희 기자 teller@donga.com