[여론조사 바로 읽기]이틀 간격 조사도 기관따라 10%P 차이

■여론조사 방법 무엇이 문제인가

11.7%포인트(KSOI), 4.4%포인트(글로벌리서치), 12.7%포인트(리서치&리서치), 5.1%포인트(중앙일보 조사연구팀), 14.9%포인트(미디어리서치).

국내 유수의 여론조사 전문기관 5곳이 이달 20일과 22일에 각각 실시한 여론조사 결과 나타난 한나라당 이명박 전 서울시장과 박근혜 전 대표의 지지율(선호도) 격차다. 그야말로 들쭉날쭉하다.

같은 날 또는 이틀 뒤에 거의 비슷한 수(700∼1000명)의 조사대상에게 전화면접조사를 실시한 것인데도 이렇게 제각각의 결과를 나타낸 것이다.

이런 조사 결과를 가져온 요인은 여러 가지가 있겠지만 여론조사 전문가들은 대체로 설문 문항의 차이에서 찾는다.

○설문 문항이 결과를 좌우한다?

‘차기 대통령 후보로 누가 낫다고 생각하느냐(또는 누구를 가장 선호하느냐)’(선호도·적합도)는 문항과 ‘내일(혹은 오늘) 투표를 한다면 누구를 지지하겠느냐’(지지도)는 문항에 대한 응답은 보통 다르게 나타난다는 것이 여론조사 전문가들의 지적이다.

대체로 지지도를 묻는 조사보다 선호도를 묻는 조사에서 이 전 시장과 박 전 대표의 지지율 격차가 크게 나타난다는 것이다.

한 여론조사 전문가는 “선호도를 묻는 것은 인기투표와 비슷하다”고 말했다. 그 후보에 대해 마음이 60% 정도 끌려도 응답에 참여한다. 그러나 지지도를 물을 때는 적어도 80% 이상 마음이 사로잡혀야, 즉 적극적 지지층이어야 응답을 한다는 것이다.

상대적으로 지지층의 결집력이 높다고 평가되는 박 전 대표의 지지율은 어느 쪽이든 큰 차이가 없다. 반면 적극적 지지층이 아닌 비(非)한나라당 층에서의 지지율이 상대적으로 높은 이 전 시장은 지지도를 묻는 조사에서는 지지율이 떨어진다는 것이다.

그러나 이달 20, 22일 조사결과에서 나타난 롤러코스터 같은 이-박 격차의 차이는 그것만으로는 설명이 불가능하다.

격차가 5.1%포인트였던 중앙일보 조사연구팀 조사의 문항은 ‘우리나라 차기 대통령으로 누구를 가장 선호하느냐’로 선호도(적합도)를 물었다. 반면 12.7%포인트를 보인 리서치&리서치의 문항은 ‘오늘 투표를 한다면 누구에게 투표하겠느냐’로 지지도를 묻는 것이었다.

여론조사 전문가인 나선미 씨는 아예 선호도 문항과 지지도 문항의 차이에 대해 큰 의미를 두지 않고 있다. 나 씨는 “문항이 달라진다고 선호하는 후보는 A인데 지지하는 후보는 B라는 식으로 바뀌지는 않는다”며 “이 전 시장의 경우 지지도 문항의 여론조사에서 무응답이 좀 늘어났을 뿐”이라고 말했다.

서로 다른 여론조사 기관의 조사 결과 드러난 격차의 차이보다는 각각의 여론조사 기관마다 그 격차가 줄어드는(혹은 늘어나는) 추이를 보는 것이 더 중요하다는 얘기도 있다.

○무응답을 어떻게 관리하나

이 전 시장과 박 전 대표의 지지율(선호도) 격차가 들쭉날쭉하자 여론조사 전문가들 사이에서 논쟁이 벌어지기도 했다.

김장수 고려대 연구교수는 16일 “특정 여론조사 기관 2곳의 이-박 지지율 격차가 다른 여론조사 기관들의 지지율 격차 전체평균보다 너무 작아 편향성이 있다”고 주장했다.

그러자 김 교수가 지적한 한 기관의 대표 연구원이 “지지율 격차 전체평균보다 너무 큰 여론조사 기관에 대해서는 아무런 문제도 제기하지 않고 있다”며 “김 교수가 오독(誤讀)을 했다”고 반박했다.

이처럼 이-박 지지율 격차 차이에 대한 뚜렷한 요인은 찾기 쉽지 않지만 여론조사 전문가들은 무응답에 대한 관리를 꼽기도 한다.

한귀영 한국사회여론연구소(KSOI) 연구실장은 “답변을 하지 않은 조사 대상에게 재차 질문을 하면 무응답층이 줄어든다”고 말했다.

대부분의 여론조사 기관은 무응답자에게 어떻게 대처할지 사전에 면접원에게 지침을 내린다. 그러나 면접원들의 성향이나 어떤 의도에서건 무응답률을 낮추려는 시도에 따라 문항에 대한 결과는 달라질 수도 있다는 것이다. 또한 면접원이 얼마나 경험이 있고 숙련도가 높은지도 중요한 요인이 된다.

조사일이 주말이냐 평일이냐, 평일이라면 금요일이냐 아니냐에 따라 결과가 다르게 나온다는 것이 중론이다. 주말에는 일반적으로 화이트칼라나 고소득층, 젊은 층이 집에서 전화를 받을 확률이 높다. 반면 금요일이 아닌 평일에는 주로 고연령층, 주부, 자영업자 등이 응답할 확률이 높다는 것.

문항 배치도 한 요인이 된다는 지적도 있다.

만약 ‘한반도 대운하’나 ‘한나라당 후보 검증 공방’에 대한 질문을 먼저 한 뒤 나중에 대선주자 선호도나 지지도를 묻는다면 해당 후보에 대한 응답자의 인식은 영향을 받게 된다. 그렇다고 이 전 시장을 지지하는 응답자가 박 전 대표를 지지한다고 하지는 않겠지만, 적어도 무응답을 할 가능성은 커진다는 것이다.

○한나라 ‘빅2’ 캠프의 여론조사 신경전

상황이 이렇다 보니 한나라당 이 전 시장과 박 전 대표 캠프에서는 특정 여론조사 전문기관에서 나온 결과는 믿을 수 없다는 의사를 공공연히 표시한다. 각 진영이 특정 기관을 ‘포섭’해 자기 측에 유리한 여론조사 결과가 나오도록 ‘조작’을 한다는 것이다.

박 전 대표 측 한 의원은 “A사의 전 간부는 한동안 이 전 시장 캠프의 회의에 참석해서 전략을 논의했던 사람”이라며 “A사의 조사 결과가 유난히 이 전 시장에게 유리하게 나온다는 것은 주지의 사실 아니냐”고 주장했다.

이 전 시장 측 관계자는 “양측 지지율 격차가 적게 나오는 B사의 사장은 C대학 출신인데 박 전 대표 캠프의 C대학 출신 참모를 통해서 ‘작업’을 한다”며 “B사는 표본설정을 의도적으로 무시하거나 조작할 수 있는 설문조사 방법을 쓴다”고 주장했다.

한마디로 여론조사 기관에서 마음만 먹으면 데이터 조작이 가능하지 않으냐는 것이지만 이를 뒷받침할 물증은 없다. 단지 개연성이 농후하지 않겠느냐는 주장이다.

여론조사 기관들은 ‘너희는 누구 편 아니냐’는 말을 들어보지 않은 곳이 거의 없을 정도다. 그러나 특정 후보에게 특정 기관이 우호적이라는 것은 지나친 해석이라는 지적이 나온다.

정창교 KSOI 수석연구위원은 “조사 결과는 100% 믿어도 된다. 다만 결과를 해석할 때 논란이 될 수는 있다”고 말했다.

○선진국선 응답률 30% 넘어야

여론조사 선진국인 미국에서는 전화면접조사를 할 때 조사 대상이 1000명이라면 전화를 거는 대상은 3000명 정도로 한정한다고 한다. 3000명 중 1000명의 응답을 들어야 응답률이 최소한 30%를 넘기 때문이다. 그러나 국내 여론조사 기관의 정치 관련 조사에서는 응답률이 30%에 미치지 못하는 사례가 많은 것으로 알려졌다.

오차범위 내의 차이를 과도하게 해석하는 문제도 있다.

1000명이 조사 대상이라면 대략 표본오차는 신뢰수준 95%에 ±3.1%포인트다. 100번 조사하면 95번은 결과가 맞게 나오고, 그때라도 6.2% 구간 내에서의 차이는 같다고 봐야 한다는 뜻이다. 0.1%포인트까지 나눠서 순위를 매기는 것은 위험하다는 지적이다.

여론조사의 영향력을 과대평가하는 것도 문제다.

김정혜 코리아리서치센터 상무는 “여론조사는 민심 흐름을 반영하는 참고자료로서의 기능과 역할을 해야 한다”고 말했다. 여론조사는 민심을 측정하는 수단일 뿐인데 시비를 가리는 ‘신’처럼 받아들이는 경우가 많다는 것이다.

익명을 요구한 한 여론조사 전문가는 “여론조사 결과는 순간의 지지율일 뿐인데 이를 마치 민심의 선택으로 간주해 정당의 대선후보를 결정하는 데 이용한다는 것은 이해하기 힘들다”고 말했다.

민동용 기자 mindy@donga.com

황장석 기자 surono@donga.com

■ 여론조사 제대로 읽으려면

“여론조사의 결과만 보지 말고 과정을 꼼꼼히 살펴봐야 한다.” 김성태 고려대 언론학부 교수는 “독자들은 선거를 앞두고 언론이 보도하는 여론조사 결과에 큰 의미를 두고 이를 자신의 ‘표심(票心)’을 정하는 기준으로 삼는 경향이 있다”며 여론조사의 중요성을 강조했다.

김 교수는 “여론이 제대로 반영되지 않은 조사는 잘못된 판단으로 이어질 수 있기 때문에 여론조사는 누구나 공감할 수 있게 정확하고 과학적으로 이뤄져야 한다”고 역설했다.

김 교수는 여론조사의 신뢰도를 가늠하려면 △여론조사 주체 △조사 대상과 신뢰도(표본오차) △여론조사 방식 등을 따져 봐야 한다고 조언했다.

일반적으로 여론조사 전문기관에 의뢰한 경우가 이익단체나 시민단체 등의 여론조사보다 객관성과 신뢰성이 높다는 것. 또 조사 대상을 무작위로 뽑지 않고 연령 성별 지역 등을 고려했는지 살펴봐야 하며 △전화 설문 △방문 조사 △e메일 설문 △인터넷 사이트를 통한 설문 등 어떤 조사 방식을 선택했느냐에 따라 신뢰성도 달라진다고 했다.

김 교수는 “여론조사 대상 표본이 조사 목적에 맞는 대표성 있는 표본인지 살펴봐야 한다”며 “여론조사 결과를 보도하는 언론도 어떤 시기에 누구를 대상으로 어떻게 조사했고, 조사 내용의 신뢰도와 표본오차는 어떻게 되는지를 기사에 반드시 포함시켜야 한다”고 말했다.

이상록 기자 myzodan@donga.com