[자연과학]불확실한 세상… 확률은 어떻게 과학을 넘었나

◇불멸의 이론
샤론 버치 맥그레인 지음/이경식 옮김/640쪽·2만8000원/휴먼사이언스

2002년 개봉한 영화 ‘뷰티풀 마인드’는 미국의 수학 천재 존 내시의 실화를 바탕으로 했다. 내시가 1994년 노벨 경제학상을 받은 게임이론은 베이즈의 정리가 바탕이 된 것이었다. 동아일보DB

서해안에서 어선 한 척이 실종됐다고 치자. 사람 목숨이 걸렸으니 쓸 수 있는 방법은 총동원해야 할 터. 가장 확실한 방법은 연안 앞바다를 모조리 훑는 것이다. 하지만 그러려면 얼마나 많은 시간과 선박, 인력이 투입돼야 할까. 그때까지 배에 탄 선원들이 살아있을지도 모르는데. 그렇다면 확실하진 않더라도 ‘가능성 높은’ 지역부터 찾는 게 현실적이다. 일종의 도박이지만 어쩔 수 없는 선택이다.

이 ‘가능성 높은’에는 복잡한 함의가 숨어 있다. 짐작건대 배를 구출하기 위해 정부와 과학자들은 그간의 경험과 실종 어선을 둘러싼 다양한 변수를 고려할 것이다. 그리고 최대한 정답을 구하려 애쓸 게 분명하다. 하지만 앞서 말했듯 누구도 배의 위치를 장담할 수는 없다. 다시 말해, 가능성이 높다는 것은 결국 인간의 판단이 개입할 수밖에 없다는 얘기이기도 하다. ‘베이즈의 정리’는 바로 이 대목에서 탄생한 이론이다.

1740년대 영국의 토머스 베이즈 목사(1701∼1761)는 자신도 얼마나 대단한지 가늠할 수 없었던 엄청난 정리를 발견했다. 그는 ‘세상의 증거에 기초해 신의 존재에 대한 합리적 결론을 내릴 수 있을까’를 고민하다 결론을 도출할 방법 하나를 착안해 냈다. 간단하게 말하자면 “한 대상에 대해 가진 초기의 믿음을 객관적이고 새로운 정보로 업데이트할 때 보다 개선된 새로운 믿음을 확보할 수 있다”는 게 골자다.

무슨 소리인가 갸우뚱거려진다면 베이즈 목사가 직접 했던 실험을 사례로 들어보자. 당구대에 공을 굴리고 멈춰 선 위치를 찾는 게임을 한다고 상상해보라. 게임 도구는 다른 공들이다. 첫 공은 치운 뒤 두 번째 공을 굴려 보여주고 이 공이 ‘첫 공과 비교하면 오른쪽 아래에 섰다’ 정도의 정보를 알려준다. 그러면 정답은 몰라도 첫 공이 섰을 것이라 추측할 범위가 다소 줄어든다. 세 번째, 네 번째 공을 굴리고 나면 그 범위는 점점 줄어들 것이다. 베이즈의 정리란 이것이다. 새로운 정보가 추가로 투입될수록 정답에 가까워질 가능성이 더 커진다. 바로 ‘확률’이 높아진다는 얘기다.

토머스 베이즈 목사가 자신의 ‘베이즈 정리’를 기록한 노트. 휴머니스트 제공

지금 시대라면 이런 확률 이론이 익숙하지만 베이즈의 정리는 그 후 오랫동안 멸시를 당했다. 당대 지식인들은 전혀 과학적이지도 논리적이지도 않다고 봤다. 왜냐하면 이 논리엔 주관적 요소가 다분하기 때문이다. 출발부터가 그렇다. 처음 굴린 공이 당구대 밖으로 튀어나가지 않았다는 것은 누가 보장하나. 당구대에 있다는 전제를 인간이 자의적으로 만든 셈이다. 그리고 아무리 많은 공을 굴려도 결코 정답은 구할 수 없다. 99% 확실해도 1%의 오차는 존재한다. 그런데 이를 따른다면 이 역시 주관이 개입한 것이다.

하지만 이미 알고 있듯이 베이즈의 정리, 즉 확률은 현재 지구상에서 너무나 폭넓게, 그리고 유용하게 쓰인다. 저자에 따르면 이를 가장 적극적으로 수용한 것은 군대였다. 제2차 세계대전 때 독일의 암호를 풀어내는 데 결정적 역할을 했다. 아군이 쏜 대포가 어디를 맞힐지 예측하거나 전투에 내보낸 비행기가 추락할 위험도를 찾는 데도 도움이 됐다. 객관적 수치만으로 이를 찾기란 불가능하다. 당장 전쟁에서 이길지 질지 모르는데 100% 확실한 것을 언제 기다리겠나. 이처럼 확률은 효율성을 무기로 기존 과학의 입장을 무너뜨렸다.

솔직히 이 책은 상당히 어렵다. 이 분야에 관심이 없는 이라면 용어도 낯설고 등장인물도 생소하겠다. 분량 역시 만만찮다. 하지만 다행히 저자도 저널리스트이지 과학자는 아니라서 최대한 이해하기 쉽게 쓰려고 노력했다. 일종의 역사서적을 읽는 느낌이랄까. 최소한 수학책 들여다볼 때처럼 머리가 핑핑 돌지는 않으니 너무 걱정 마시길.

정양환 기자 ray@donga.com