중앙일보: 수상한 여론조사. 응답자 절반이 문재인 투표층

 

엉터리 기사. 선거 후에 여론조사를 하면 승자에게 투표했다는 비율이 높은게 문재인 정부, 박근혜 정부에서만 나타나는 특이한 현상이 아님. 역대 모든 정부 공통이고, 전 세계 공통임. 정치 여론조사에 관심 있는 사람들은 다 아는 사실. 

 

승자에게 여론을 몰아주는 "밴드웨건" 효과가 선거 전 여론조사에서는 거의 나타나지 않지만, 선거 후 여론조사에서는 거의 대부분 나타남. 선거에서 이긴 후보 지지층이 여론조사에서 과대 대표(=표집 문제)되는게 아니라, 선거 결과가 나온 후의 조사에서는 이긴 후보를 찍었다고 답하는 비율이 높아지는 현상(=응답의 부정확성)임. 그래서 선거 후 여론조사로 선거승패 원인을 파악하는 분석은 믿을게 못됨. 

 

중앙일보의 분석은 여론조사에서 마치 표집의 편향이 있는 것처럼 썼는데 그거 아님. 표집 (sampling) 문제가 아니라 응답의 측정오차(measurement error)임. 둘은 완전히 다른 주제임. 전자는 질문할 대상을 어떻게 뽑느냐는 문제이고, 후자는 질문에 대한 응답이 정확한가라는 문제. 표집에 문제가 없어도 측정오차가 생길 수 있고, 표집에 문제가 있어도 측정오차가 없을 수 있음. 중앙일보 기사는 여론조사와 서베이에 대한 무지로 인해 둘을 적당히 섞어 놓고 여론조사에 대한 엉뚱한 불신감을 높이는 잘못된 기사. 

 

질문방법에 따라 결과가 다르다고 중앙일보에서 비판하는데, 이는 당연한 결과임. 여론조사 전문가들의 상식. 측정오차 문제도 아니고 어떻게 해석할 것인가의 문제. 

 

예를 들어 중앙일보 기사를 보면 이미선 헌재후보 적격성에 대한 여론조사에서 문통 이름 언급 이전과 이후 조사의 적격 응답 비율이 크게 달랐음. 질문의 내용이 다르니 두 결과의 직접 비교가 어렵다는 점은 분명함. 하지만 그렇다고 두 조사 결과의 비교가 의미 없는 것은 아님. "이미선 후보의 자격이 미달이라고 생각하지만, 대통령이 임명하겠다면 그걸 반대할 생각은 없다"라는 여론의 반영인 것. 두 조사의 내용이 다르기 때문에 다른 해석이 필요할 뿐. 그래서 여론조사 보도는 여론조사 전문가가 필요함. 

 

결국 여론조사의 문제를 제대로 보도할려면, 

(1) 표집

(2) 측정오차

(3) 해석

(4) 그리고 측정오차 외의 다른 비표집오차

각각에서 어떤 문제가 있는지 구분할 줄 알아야 함.

 

중앙일보는 예전에 자체 여론조사 팀을 가지고 있었음. 조선일보 홍영림 기자, 중앙일보 신창운 기자가 여론조사 전문기자로 나름 알려졌던 사람들. 그런데 이런 기사가 나오는걸 보니 지금은 중앙일보에 여론조사 전문가가 없는가 봄. 

 

서베이조사가 겉으로 보기에 쉬워도 결코 쉬운게 아님. 한국에서 서베이조사 전문가를 제대로 교육하는 기관도 사실 없음. 미국도 극소수의 학교만이 서베이 조사 관련 학과가 있음. 대부분의 통계학자, 사회학자, 정치학자가 여론조사의 일부에 대해서만 알고 있지, 서베이 방법론 전문가가 아님. 

 

그러니 이런 엉터리 기사가 나오는게 이해가 안되는 것도 아님. 

Posted by 바이커 sovidence

댓글을 달아 주세요

  1. 한 독자 2019.11.05 18:11  댓글주소  수정/삭제  댓글쓰기

    항상 글 잘 보고 있습니다.

    찾아봐도 잘 모르겠어서 그런데,
    측정오차가 나타나는 원인이 뭔지 궁금합니다.

    1) 현 대통령을 찍은 사람들이 임기 중에는 더 적극적으로 응답하는 것
    2) 현 대통령을 찍지 않았어도 임기 중에는 찍었다고 답하는 것

    중에 1의 효과는 미미하고, 2의 효과가 더 크다는 것일까요? 아니면 다른 이유가 있을까요?

    • 바이커 2019.11.05 19:18  댓글주소  수정/삭제

      정확하게는 모릅니다. 저는 2)의 가능성이 더 높다고 보는데, 대선 직후 (국회 또는 지방) 선거에서 집권여당이 대선 때의 지지율을 넘어 상당히 크게 이기니까요.

      한국에서 1)인지 2)인지 검증하는 손쉬운 방법이 있는데...

      여론조사 관계자 분 중에 자료를 공유해서 논문 같이 쓰실 분이 있는지 알아봐야 되나 싶습니다.

  2. 따라쟁이 2019.11.06 04:37  댓글주소  수정/삭제  댓글쓰기

    저 기사 최고의 개그는 "대선 득표율에 따라 결과를 보정하는 여론조사는 드물다" 면서 가중값 대상 시비를 걸다가 글 끝단의 여론조사 불법행위 천태만상에서 뭔가 대단한 잘못을 저지른 것 처럼 예시로 들어 둔 게 "정당 가중값으로 추가 보정한 조사가 공직선거법 위반"이란 거 아니겠습니까ㅋㅋㅋ

  3. 글쎄 2019.11.06 09:20  댓글주소  수정/삭제  댓글쓰기

    이 기사가 엉터리란 거야 잘 알겠지만 기사 타이틀 빼고는 심각하게 틀린 말을 하는 건 아니라고 보이네요. 나름 기사말미에 집권여당을 까는 듯 하다가 이건 사실 통계의 문제입니다...라고 전형적인 꼬리내리기까지ㅎㅎ 뭐... 얼마나 많은 사람들이 그래서 통계 건너뛰고 문재인이 문제다!! 이렇게 될런지는 모르겠는데...
    역으로 이런 여론조사가 믿음직하지 못하면 문재인이 아니라 지금 야당의 지지율에 대해서도 똑같은 의구심을 가지는 게 맞겠죠.

    • 바이커 2019.11.06 10:40  댓글주소  수정/삭제

      기사는 엉터리인데 내용은 별로 틀리지 않았다면 이게 무슨 말이 됩니까?

      기사는 처음과 끝이 모두 정당가중치 문제입니다. 판단이야 각자 하는거지만, 여론조사의 핵심 문제가 정당가중치라는 판단에 동의하신다는 건지.

  4. 아인 2019.11.08 08:26  댓글주소  수정/삭제  댓글쓰기

    심히 안습인건 저게 요즘 보수언론 특히 조,중이 미는 포인트더라구요. 위에 조선일보의 홍영림? 정확히 그분인지는 모르겠지만 직함은 조선일보 여론조사분석팀장쯤 되는걸로 봤는데 지면에 비슷한 논조로 기사쓰신지 꽤 된걸로 압니다. 그 분은 정권초에는 지금과는 다르게(지금은 리얼미터를 맹비난하지만) 리얼미터는 이정도인데 왜 갤럽은 그거보다 더 많이 나올까? 이 개인적 궁금증을 지면에 쓰기 시작하시더니 언젠가부터는 여론조사는 믿을게 못된다고도 하시고.. 여론조사 분석팀장이 ㅠㅠ 이제는 아예 언론사 자체가 그냥 하지도 않은 말을 기사에 인용으로 넣어서 리얼미터하고 싸우는 지경까지 됐더라구요. 전에 누가 한번 찾아보라고 해서 확인한건데 조선일보는 17년 5월 이후로, TV조선은 17년 7월 이후로 여론조사 실시 자체를 아예 안하고 있습니다ㅠㅠ

    • 바이커 2019.11.08 10:34  댓글주소  수정/삭제

      서베이에 대한 대중의 신뢰 하락에 편승할 수 있으니까 저러겠죠. 서베이 신뢰 하락은 한국만의 현상은 아닙니다.

      중앙에서 한국리서치 조사를 인용해서 "심지어 서베이에 대한 서베이"까지 했다고 했는데, "서베이에 대한 서베이"를 이용한 연구 논문도 있습니다. 미국 사례 연구입니다. https://academic.oup.com/poq/article-abstract/75/1/165/1843074