[책의 향기]여론조사-박스오피스, 얼마나 신뢰할 수 있나

◇증거의 오류/하워드 S. 베커 지음·서정아 옮김/428쪽·1만6000원·책세상

영화광 셋이 모여 아카데미 시상식에 대한 토론을 벌였다. 1986년 작품상을 놓고 ‘아웃 오브 아프리카’ ‘컬러 퍼플’ ‘거미 여인의 키스’, 여우주연상을 놓고 메릴 스트립, 우피 골드버그 등으로 의견이 갈렸다. 대화는 돈을 건 내기로 이어졌다. 한 명이 위키피디아에서 정답이 ‘아웃 오브 아프리카’와 배우 제럴딘 페이지임을 찾아낸다. 누구도 데이터의 타당성, 정확성을 의심하지 않았다. 결과에 승복했고, 승자는 돈을 챙겼다.

저자의 표현에 따르면 이는 “각각의 내기꾼은 수상작, 수상자에 대해 가설을 내세웠다. 데이터를 찾아냈고 데이터의 권위를 인정했다. 데이터를 증거로 활용해 결론을 정당화”한 결과다. 그런데 우리가 논하는 대상이 이 같은 단편 정보가 아니라 복잡한 이론이나 연구자료라면? 과연 우리는 이 데이터를 얼마나 신뢰할 수 있을까.

현대사회에서 가장 가치중립적이고 객관적으로 여겨지는 ‘데이터’는 생각보다 쉽게 흔들린다. ‘아웃사이더(Outsiders)’를 통해 낙인 이론의 기초를 제공하며 사회학 권위자로 꼽히는 저자가 데이터를 활용한 수많은 주장에 얼마나 많은 오류가 도사리는지 짚었다. 여론조사, 영화 박스오피스, 인구조사, 빅데이터 등 일상 속 많은 데이터는 생각과 행동을 결정하는 주요 잣대가 된다. 하지만 오류, 왜곡 가능성이 농후하다는 점은 쉽게 잊힌다.

저자는 통계, 설문, 연구자료 등 데이터를 생산하는 연구자들이 오류를 줄일 수 있는 방법에 대해 논하며, 연구자들이 데이터를 통해 기존 이론을 검증하고 뒤집는 데 어떤 어려움이 있는지 짚었다. 일반 독자들에게는 데이터의 집계·생산 과정을 보여주며, 데이터 독해력을 높이는 혜안을 던져준다.

1부에 사회과학과 자연과학 분야에 쓰이는 연구방법과 데이터가 증거가 되기까지 과정을 이론적, 역사적 관점에서 설명한다. 2부에는 인구조사, 정부기관의 데이터 연구, 정성 연구의 한계점 등을 담았다. 유명 사회과학자들의 이름과 이론이 종종 등장해 다소 어려운 부분도 있다. 하지만 일상에서 흔히 접하는 예시와 저자의 독창적 아이디어가 눈길을 끈다.

김기윤 기자 pep@donga.com