[글로벌 북 카페]美 베스트셀러 ‘신호와 잡음’

오바마 재선 확률 90.9% 확신했던 통계학자 스토리

19일 한국 대통령선거를 앞두고 많은 언론사가 여론조사 결과를 쏟아냈지만 누가 당선자가 될지 가늠하기는 여전히 어렵다. ‘신의 영역’으로 불리는 예측 방법에 관심이 있는 독자라면 꼭 한 번 읽어 봐야 할 책이 미국에서 9월 출간된 후 베스트셀러 목록에 올라 있는 ‘신호와 잡음(The Signal and the noise·사진)’이다. 뉴욕타임스 정치 블로그(FiveThirtyEight.com)를 운영하면서 많은 팬을 보유한 젊은 통계학자 네이트 실버(34)가 쓴 책이다. 그는 올해 미 대선에서 버락 오바마 대통령의 재선 확률이 90.9%라고 예측했다. 여러 여론조사 기관과 전문가들이 박빙의 승부를 펼칠 것으로 보고 그를 비난했지만 선거가 끝난 뒤 일부는 그에게 공개사과까지 했다.

그가 정통 통계학자의 길을 걷지 않았다는 흥미로운 이력도 인기에 한몫을 하고 있다. 실버는 시카고대에서 경제학을 전공하고 2002년 회계컨설팅회사인 KPMG에 입사했지만 엉뚱한 일을 벌였다. 그가 좋아했던 메이저리그 야구선수의 성적을 미리 예측하는 시스템을 개발한 데 이어 카지노에서 통계확률기법을 활용해 단번에 1만5000달러를 딴 뒤 회사를 그만둔 것이다. 이후 수십만 달러를 포커판에서 긁어모았던 그는 정치 예측이 다 엉터리라고 보고 본격적인 정치 예측을 하는 블로그를 2008년 초부터 운영하기 시작했다.

‘왜 예측이 실패할 수밖에 없는가’를 주제로 한 이 책은 전반부에서 야구 기상 주가 경제수치 등 각 분야의 실패 사례를 소개한다. 후반부에서는 예측확률을 높일 수 있는 저자만의 방법을 제시했다. 그에 따르면 예측이 실패하는 중요한 원인은 숫자에 대한 과도한 믿음이다. 예를 들어 여성 유방암 환자의 80%가 유방조영상 검사에서 양성반응이 나온다. 하지만 유방암이 없는 여성의 9.6%도 양성반응을 보인다. 실버는 ‘그렇다면 유방암 검사로 결과를 정확하게 진단할 수 있는 확률은 몇 %일까’라고 질문을 던진다. 의사를 포함해 많은 사람은 유방암 환자를 대상으로 한 검사에서 80%의 수치가 나왔기 때문에 높은 확률이 나올 것으로 생각한다. 하지만 실제 결과는 8% 미만이다. 9.6%의 잘못된 양성반응처럼 항상 존재하는 긍정 오류(false positive)를 무시하지 않고서는 올바른 예측을 끌어낼 수 없다는 것이다.

수많은 ‘잡스러운’ 데이터에서 올바른 신호를 추출해내려는 이들에게 실버는 1700년대 영국의 수학자인 토머스 베이어가 처음 제시한 뒤 계속 발전해온 ‘베이어의 정리’를 참조할 것을 권한다. 이 정리에 기초해 방대한 데이터에서 새로운 결과가 나올 때마다 확률을 업데이트해야만 예측 결과가 실제와 가까워진다는 것. 그는 우리가 매일 2.5퀸틸리언(Quintillion·100만의 6제곱인 100경)의 정보가 쏟아지는 ‘빅 데이터’ 시대에 살고 있다는 점을 상기시킨다. 하지만 단순히 방대한 빅데이터가 있다는 것만으로 예측 확률이 높아지는 것이 아니라 얼마나 연관된 정보를 찾아내느냐가 중요하다고 강조한다.

일반 독자들은 어렵고도 생소한 통계확률 분야를 흥미롭게 서술했다고 이 책을 반긴다. 그러나 정통 통계학자들은 그의 기법이 비체계적이라며 의문을 제기하고 있다는 점에서 명암이 존재하는 책이기도 하다.

뉴욕=박현진 특파원 witness@donga.com