뉴스타파에서 여론조사의 정확성을 분석하는 기사를 냈다. 이런 작업을 했다는 것은 매우 훌륭한 시도. 조사업계나 학계에서 나서서 할 일을 탐사보도 기관이 대신한 것. 그렇지만 이 분석에도 문제점들이 있다.
한국에서 여론조사의 정확도는 지역 특성에 따라 많이 다르다. 지난 2016년 총선에서 경북, 호남 지역은 조사의 정확도가 높았고, 수도권을 포함한 기타 지역은 낮았다. 대도시의 정확도가 중소도시나 농어촌보다 떨어진다. 여당이 우세한 지역인가, 야당이 우수한 지역인가에 따라서도 조사의 정확도가 다르다.
이 모든 요인은 조사회사가 통제할 수 없는 것이다. 대구경북 지역을 주로 조사하는 폴스미스나, 호남을 주로 조사한 전남리서치연구소의 정확도가 높은 이유 중 하나는 조사 지역의 특성 때문이다.
반면 수도권 지역에 조사가 집중되었던 조사회사는 에러가 크고 정확도가 낮은 것으로 나오기 마련이다.
에러와 성공확률의 상관관계가 약한 이유 중 하나는 접전지역의 선거일수록 조사를 많이하고 이 지역은 설사 에러가 작더라도 예측성공확률이 낮기 때문이다. 성공확률에 대한 측정은 선거의 접전 여부를 통제해야 의미 있는 분석이 된다.
한국 여론조사의 가장 큰 문제점은 사회적 분위기에 따른 편향이 거의 모든 선거조사에서 나타나는데, 학계에서 이에 대한 연구도 거의 없고, 조사업계에서 이를 통제하려는 노력도 별로 없다는 것이다. 아래 분석에서 말했지만 에러의 사이즈 자체는 큰 문제가 없다.
데이타 분석도 안해보고 여론조사의 문제점에 대해 상상의 나래를 펼치는 논평보다 뉴스타파의 분석이 천만배쯤 낫다. 하지만 분석의 깊이에서 아쉬움이 남는 건 어쩔 수 없다.
ps. 돈이 되는지는 모르겠지만 사회과학 저널리즘의 수요는 확실히 증가하고 있다. 데이타를 직접 분석하거나, 데이타 분석을 이해하는 저널리스트 수요는 더 커질 것.
