[신문과 놀자!/눈이 커지는 수학]“참인듯 거짓인듯…” 그럴듯한 모순으로 수학계 발전 이끈 ‘역설’

하나의 명제에서 모순 낳는 ‘역설’… 19세기 수학계의 사고 확장에 도움
수학자 러셀이 ‘집합’의 모순 발견, 이를 개선할 방법 찾으려 문제제기
괴델은 ‘불완전성 정리’ 발표… 판별불가능한 명제가 있음을 증명

영국 수학자 로저 펜로즈가 생각해낸 ‘펜로즈 삼각형’(왼쪽)과 이를 변형한 ‘펜로즈 계단’. 겉으로 보기엔 3차원의 세계를 2차원에 그린 것으로 보이지만 실제 3차원에서 존재할 수 없는 도형이다.

4월 첫날인 오늘은 악의 없는 장난이나 거짓말을 하는 만우절입니다. 서양에서 유래한 풍습이지만 우리나라에서도 교복을 서로 바꾸어 입는다거나 교실을 바꾸는 등 친구들이나 선생님에게 가벼운 장난을 하기도 합니다. 만우절을 맞아 다음 퀴즈 하나를 풀어봅시다.

‘나는 지금 거짓말을 하고 있다’는 거짓일까요, 참일까요?

이 말이 ‘참’이라 가정하면 나는 지금 거짓말을 하고 있으므로 “내가 지금 거짓말을 하고 있다”는 거짓이 됩니다. 한 문장이 참과 거짓, 두 가지가 모두 양립하는 모순을 일으킵니다. 그러면 이번에는 반대로 이 말이 ‘거짓’이라고 해봅시다. 나는 지금 거짓말을 하고 있으므로 “나는 지금 거짓말을 하고 있다”는 말은 참이 됩니다. 이 역시 모순이 됩니다.

언뜻 보면 일리가 있는 것처럼 보이지만, 분명하게 모순되거나 잘못된 결론을 이끄는 상황이나 전혀 예상하지 못한 결론이 나오는 상황을 ‘역설’이라 합니다. 위의 예는 거짓말쟁이의 역설로 불리는 문장입니다. 거짓말쟁이 역설은 ‘이 문장은 거짓이다’ 등 다양하게 변형이 가능합니다.

시각적인 역설을 한번 볼까요. 영국의 물리학자 겸 수학자였던 로저 펜로즈가 1950년대 생각해내어 널리 알려 이름 붙여진 ‘펜로즈 삼각형’은 3차원의 세계를 2차원의 평면에 표현한 것으로 보이지만, 실제로 3차원에서 존재할 수 없는 도형입니다. 또 이를 변형한 ‘펜로즈의 계단’은 2차원에서만 가능한, 오르고 내리는 것이 끝나지 않는 계단입니다.

○증명과 반박으로 발전한 수학

이러한 역설은 언뜻 보기에는 말장난이나 눈속임 같지만 우리 사고의 한계를 극복할 방법을 제시하고 실제로 19세기 이후 수학의 발전에 중요한 역할을 했습니다.

우리가 잘 아는 자연수를 수학적으로 설명하기 위해 노력한 수학자가 있습니다. 독일의 수학자 고틀로프 프레게는 1900년대 초 발전하던 ‘집합’의 개념과 논리의 법칙을 이용하여 자연수의 모든 성질을 증명하고자 하였습니다. ‘집합’은 특정한 조건에 맞는 원소들의 모임입니다.

그런데 영국의 수학자 버트런드 러셀이 이 이론에 모순이 있다는 사실을 지적합니다. 러셀이 발견한 모순을 쉽게 설명하면 다음과 같은 문제를 해결하는 것과 같습니다.

‘마을에서 단 한 명의 이발사(남성)는 스스로 수염을 깎지 않는 모든 사람의 수염을 면도하고, 그 이외의 사람의 수염은 깎지 않는다’고 선언합니다. 여기서 문제는 “이발사는 자신의 수염을 스스로 깎는가?”입니다. 다른 사람이 이발사의 수염을 깎는다면 이발사는 스스로 깎지 않는 사람이 되기 때문에 자기 자신이 수염을 깎아야 합니다. 또 만약 자신이 직접 수염을 깎는다면 스스로 수염을 깎는 사람이 되어 자신이 깎으면 안 됩니다.

이는 이발사로 비유된 러셀의 역설입니다. 앞서 본 거짓말쟁이 역설과 비슷해 보이지만 앞서 거짓말쟁이 역설이 의미와 인식에 중심을 둔 역설이라면, 러셀의 역설은 바로 집합으로 나타내면 뜻이 분명해지는 수학적, 논리적 역설입니다. 위의 역설을 집합이라는 수학적 개념을 이용해 설명해 볼까요.

A라는 집합을 ‘자기 스스로가 원소가 되지 않는 집합’으로 하고 이러한 집합을 원소로 하는 S라는 집합이 있을 때, 집합 S는 S의 원소가 될 수 있는가 하는 문제로 이해할 수 있습니다. S가 S의 원소라고 가정하면 S의 원소는 자기 스스로가 원소가 되지 않는 집합이라 자기 스스로 원소가 되어 모순이고, S가 S의 원소가 아니라고 가정하면 S의 원소는 자기 스스로가 원소가 되지 않는 집합이므로 S의 원소가 되어 또 모순입니다. 러셀은 집합을 바탕으로 한 이론에서 이러한 논리적 모순을 지적하며 이를 개선할 방법에 대한 문제를 제기한 것입니다.

○참-거짓을 판정할 수 없는 명제가 있을까?

자연수 이론과 집합이론에서 더 나아가 수학의 무모순성을 보이려던 노력도 있었습니다. 논리적으로 참과 거짓을 분명하게 알 수 있는 문장을 ‘명제’라 합니다. 어떤 명제가 참, 거짓인지를 가리기 위해서는 기준이 필요한데 그 기준 중에서 가장 기본적인 기준을 공리라 하고 그 공리를 모아 놓은 것을 공리계라고 합니다. 수학적 추론의 가장 근본이 되는 것이 공리계로, 공리계는 모순이 없어야 합니다.

1900년대 다비트 힐베르트는 모순이 없는 완벽한 논리체계를 만들 수 있다고 생각했습니다. 그는 수학에 있어서 참인 것은 반드시 증명가능하며, 온전한 공리와 추론규칙을 바탕으로 하면 아무리 형식적 추론을 전개해도 모순이 도출되지는 않는다는 것을 보이려 하였습니다. 그러나 수학자 쿠르트 괴델은 그것이 불가능하다 생각해 ‘참인지 거짓인지 판정할 수 없는 명제가 반드시 존재한다’는 ‘괴델의 불완전성 정리’를 증명했습니다.

어떤 명제의 옳고 그름을 항상 판별할 수 있는 것은 아니라는 수학적 교훈은 되짚어 보면 자기 자신의 옳고 그름을 스스로 볼 수 없다는 의미도 됩니다. 유쾌하고 가벼운 거짓말을 할 수 있는 만우절, 자신을 돌아보는 하루도 되길 바랍니다.