여론조사 회사 P대표님의 도움을 받아 중앙선거여론조사공정심의위원회에 등록된 20대 총선 지역구 여론조사를 분석 중. 


선거 1주일 전부터 여론조사 결과 공표가 불법이기 때문에 선거 14일 전부터 7일전까지 조사해서 선관위 공심위에 등록된 조사 결과를 전수 (541건) 분석 중. 


첫 번째 질문은 여론조사의 에러와 조사 응답률 간에 상관성이 있냐는 것. 


민주당 우상호 원내대표는 여론조사 응답률이 10%에 못미치면 공표를 금지하는 방안을 추진 중이라고 하고. 박영선 의원은 얼마 전 실제로 법안을 발의



분석 결과, 


응답률이 높으면 여론조사의 정확도가 높아지는 듯이 보이는데, 이는 다른 변수를 통제하지 않아서 생기는 착시 현상임. 


일반적으로 가장 문제시 된 집전화 여론조사의 경우 응답률과 조사의 정확도는 무관함. 집전화 여론조사의 응답률 평균은 14.2%이고, 이 번 총선 여론조사에서 가장 낮은 경우는 4.7%, 가장 높은 경우는 36.8%임. 하지만 응답률이 높다고 조사 정확도가 높아지지는 않음. 


응답률이 문제가 되는 조사는 ARS. 자동발신 전화조사의 경우 응답률이 높아질수록 정확도도 높아짐. 반대로 응답률이 낮아질수록 조사정확도도 떨어짐. ARS의 응답률 평균은 4.2%이고, 최하는 0.6%, 최고는 13.6%.  응답률이 1%포인트 높아질 때 마다 에러가 약 0.4%포인트 떨어짐. 


하지만 ARS 마져도 대권역별 조사지역 효과를 통제하면 응답률의 효과는 완전히 사라짐. 지역 효과를 통제하면 ARS와 집전화여론조사의 응답률 효과가 동일하게 통계적으로 0으로 바뀜.  


이 번 총선 여론조사에서 가장 알려지지 않은 사항이 조사지역별로 여론조사 정확도의 격차가 상당히 크다는 것. 지역 효과는 조사방법론의 격차를 모두 통제해도 나타남. 실제로 조사의 정확도를 높이고자 한다면, 조사방법론별 정확도 측정과 더불어, 지역별로 여론조사의 정확도가 달라지는 이유를 밝히는게 큰 과제. 


조사방법론의 문제인지, 사회적 분위기의 문제인지 확실하지 않음. 


응답률이 낮은 여론조사 공표금지 법안은 실제 여론조사의 오류를 야기하는 원인과는 무관. 여론조사에 열받은 정치인들의 화풀이 정책일 가능성이 매우 큼. 

Posted by sovidence
,