중앙 두 번째 기사: '文 못한다'…사람이 물으면 46%, 기계가 물으면 64%

 

정치 조사, 그 중에서도 지지도 조사는 매우, 대체로 등의 형용사를 포함한 Likert 척도를 거의 신뢰하지 않음. 옛날에 갤럽에서는 지지도 조사를 보통을 포함해서 5점 척도로 하기도 했음. 지금은 아무도 그렇게 안함. 2점 내지는 4점 척도로 하지.

 

그런데 중앙일보 보도에 나온 4점 척도 조사는 걍 그렇게 하는 것. 분석을 저렇게 4점 척도로 해서 크게 의미를 부여하는 조사분석가는 없음. 미국의 대통령 지지율 조사를 보면 모두 approval 과 disapproval 두 개로 보도하지 "매우 지지"의 비율을 분석하고 보도하지 않음. 

 

즉, (1) 매우지지-(2) 대체로지지-(3) 대체로 지지하지 않음-(4) 매우 지지하지 않음의 4점 척도로 조사해도 분석은 대부분 지지(approval)와 비지지(disapproval)로 두 개로 나눠서 함. 정치를 최종적으로 좌우하는 선거는 discrete choice이지 누군가에게 "대체로 지지"라는 투표를 하지는 않기 때문.

 

중앙일보는 여론조사의 문제를 과장하기 위해서 분석을 이상하게 하고 있음. 

 

아래 그래프는 중앙에서 여론조사가 황당하다고 주장하며 근거로 제시한 조사방법에 따른 천양지차의 여론조사 결과

이 결과를 찬반 두 개로 바꾸면 5가지 조사 방법의 결과는 아래와 같음. 논의의 편의를 위해서 ARS 조사의 표시 순위를 위 그래프와는 조금 바꾸었음. 95% 신뢰구간은 500명 샘플에서 찬반의 proportion에 따라 별도로 모두 계산하였음. (참고로 언론에 많이 나오는 1천명 조사에서 신뢰구간 +-3.1%는 최대표집오차임. 각 proportion의 표집오차는 proportion의 사이즈에 따라 다 다름. proportion의 분산은 proportion의 크기가 결정하기 때문.)

    지지 (95% 신뢰구간) 반대 (95% 신뢰구간)
전화면접 집+휴대(RDD) 42.9 (38.6~47.2) 50.9 (46.5~55.3)
  집+휴대(가상) 45.1 (40.7~49.5) 46.2 (41.8~50.6)
ARS 휴대(가상) 48.4 (44.0~52.8) 49.2 (44.8~53.6)
  집+휴대(RDD) 41.2 (36.9~45.5) 57.0 (52.7~61.3)
  34.2 (30.0~38.4) 64.0 (59.8~68.2)

아는 분들은 알겠지만 95% 신뢰구간은 순전히 표집오차만 계산한 것임. 전화면접과 ARS 조사방식의 차이, 집전화와 휴대전화 비율의 차이는 신뢰구간과는 무관. 따라서 조사방식을 달리해도 결과가 표집오차의 신뢰구간 내에 있다면 조사방식의 차이가 우연한 표집의 차이 보다 크지 않다는 것을 의미함. 

 

위 표에서 보다시피 ARS 집 전화 하나를 제외하고 나머지 4개 조사는 문통 지지율이 95% 신뢰구간에서 겹침. 두 개 전화조사 간의 차이는 완전히 표집오차의 범위 내에 있음. ARS 집 전화 Only 조사를 제외하고, 나머지 4개 조사는 상당히 일관된 결과임. 

 

지지(approval)가 아닌 반대(disapproval)로 보면 전화면접과 ARS 휴대 3개 조사는 95% 신뢰구간이 겹침. 집 전화를 포함한 ARS조사가 문제인데, ARS 조사 중에서 집+휴대 조사는 전화면접이나 ARS 휴대전화 조사 결과와 일부 겹침. 반면 집전화만 컨택한 ARS는 다른 조사 결과와 신뢰구간이 겹치지 않음. 

 

이로부터 내릴 수 있는 결론은 ARS 집전화 조사를 제외한 나머지 조사는 상당히 일관된 결과를 보여준다는 것. ARS 조사를 한다면 집 전화를 완전히 제외하고 휴대(가상)번호) 조사만 하면 전화면접과 상당히 유사한 결과가 나옴. 

 

조사방법에 따라 "천양지차"가 난다는 중앙일보의 분석과는 거리가 멈.

 

중앙일보에서는 익명의 통계학과 교수를 인용해서 "한국의 풍토나 시스템을 고려하면 그 어떤 조사방식도 정확하다고 말하기 힘들다"는데, 도대체 왜 어떤 조사방식도 정확하지 않은데 이렇게 일관된 결과가 나오는지, 그 교수 분과 중앙일보는 설명해야. 

 

한국의 여론조사가 문제가 있다는 점은 누구보다도 동의함. 그런데 명확한 근거도 없이 여론조사는 조작이라는 음모론적 기사를 메인 일간지에서 쓰면 어쩌라는 거임? 위의 분석에서 나오는 정도의 일관성을 가진 여론조사 결과가 아니면 유튜브의 선동을 믿어야겠음? 

 

마크 트와인이 말했다고 알려진, "거짓말, 빌어먹을 거짓말, 그리고 통계"라는 비난은 바로 중앙일보 기사처럼 적당히 통계를 섞어서 잘못된 주장을 하는 행위를 지적하는 것. 모든 음모론이 뭔가 그럴듯한 근거를 가져다 붙임. 자세히 따지고 보면 헛소리지만. 

Posted by sovidence
,