많은 분석기사들이 집전화 전화 조사가 젊은층을 표집하지 못해서 틀린다고 하는데, 나는 이 진단이 맞을지 의심스럽다.
선거 여론조사는 다른 서베이 조사에 비해서 질문 문항이 간단하다. 상당히 표준화되어 있고. 따라서 질문 방식에 문제가 있을 가능성은 거의 없다.
문제가 발생할 수 있는 소스는 두 가지다.
(1) 표집틀
(2) 투표의향
우선 표집틀의 문제부터.
집전화 여론조사가 젊은층을 대표하지 못한다고 하는데, 지역/성/연령은 할당을 줘서 조사하고, 할당을 완전히 못채우면 가중치를 줘서 보정한다.
지역구별로 젊은층의 인구를 대표하도록 가중치를 주기 때문에, 전화여론조사가 젊은층을 과소대표할 가능성은 거의 없다고 해도 과언이 아니다. 전화여론조사는 성/연령에 따른 편향을 사전 정보를 이용하여 교정하도록 설계되어 있다.
젊은층 과소 대표가 문제가 아니라, <집전화 응답자>와 <집전화 비응답자>의 정치적 성향이 다를 가능성이 더 큰 문제다.
선거 조사의 오류 사례로 많이 인용되는게 미국에서 갤럽이 1948년 대통령 선거를 정확히 맞추고 다른 기관이 틀린 사례다. 당시 전화는 부유층만 보유하고 있었는데, 갤럽 외의 기관들은 전화 조사에 기반해 당선자를 예측하였다. 그 결과 조사 응답자의 성향이 부유층으로 편향되었다. 통계적으로 전화 보유와 투표 성향이 orthogonal 관계가 아니었다는 얘기다.
똑 같은 문제가 한국에서도 나타나고 있을 가능성이 있다. 즉, 집전화 응답자가 성, 연령에 관계없이 더 보수적인 성향을 가질 가능성이 있다는 것이다. 이 경우 성/연령을 가중치를 줘서 보정하는 것을 넘어, 젊은층을 할당량에 맞게 모두 채워서 조사해도 예측조사는 틀리게 된다.
특히 한국처럼 언론 환경이 보수 편향적인 사회에서는 이 가능성이 커진다. 집전화 응답자는 비응답자보다 정치 정보를 종편 등 보수 언론에서 취득할 확률이 높다. 집전화 비응답자가 집 밖의 사회적 관계에서 정보를 주로 취득하는 것과 대비된다.
또한 한국처럼 야근과 나이트 라이프가 활발한 사회에서 집전화 응답자는 직업적으로도 직장인 보다는 자영업자나 무직을 과대 대표할 가능성이 크다. 일반적으로 자영업자나 무직이 화이트칼라/블루칼라보다 정치적으로 더 보수적인 성향을 가진다.
이 진단이 맞다면 젊은층 할당을 더 채운다고 선거 예측 오류가 시정되지는 않는다. 지역구별로 휴대전화든 안심범호든 집전화 응답자 뿐만 아니라 비응답자를 포함하여 전체 유권자를 대표하는 새로운 표집틀을 구축하여야 한다.
여론조사의 정확도는 표집틀을 제대로 확립하는 것에서 시작된다. 표집틀이 편향되어 있으면 아무리 추가 비용을 들여도 백약이 무효다. 조사방법도 국가에서 통제하는 나라에서 새로운 표집틀 구축에 국가가 협조하지 않을 이유는 뭔가.
종편을 폐지하고 야근을 획기적으로 줄여, 집전화 응답자와 비응답자의 격차가 없어지도록 하는 (개인적으로 더 선호하는) 또 다른 방법도 있기는 하다.
다음으로 여론조사 회사의 노하우에 속하는 투표의향 파악이다.
여의도 연구소가 다른 기관보다 결과를 더 정확하게 예측하는 이유 중의 하나는 아마도 이 노하우가 있기 때문인 듯 하다.
19대 총선에서는 20대의 30%만 투표했는데, 20대 총선에서는 50% 가까이 투표했다는 보도가 있다. 투표율이 무려 20%포인트, 60% 넘게 증가한 것이다. 아마 정치 성향에 따라 투표율증감이 상당히 달랐을 것이다. 이 변화를 파악하는게 정확한 여론조사의 또 다른 과제다.
여론조사 회사는 투표 의향을 직접 묻는다. 그래서 적극투표을 구분한다. 하지만 투표를 선으로 여기는 사회적 분위기 때문에 이 항목에 대한 응답은 social desirability bias를 가진다. 도덕성을 중시하는 야권 지지층이 이 편향에 더 취약할 가능성도 있고, 국가를 중시하는 여권 지지층이 이 편향에 더 취약할 수도 있다.
현 정국 상황에 대한 만족도, 정국 변화의 필요성 등을 질문하여 투표를 예측하는 가중치를 개발할 필요성이 있다.
이 방법에 대한 노하우 개발을 게을리한 책임은 여론조사 회사에 있다. 하지만 지금처럼 국가가 나서 여론조사 회사의 독자적 가중치 개발을 막는 건 조사 기법의 발전에 전혀 도움이 안된다.
