통계청장을 왜 교체했는지, 교체가 정당했는지 여부는 각자 알아서들 판단할 일. 아무리 논쟁해도 이거는 결론이 안날 것.
논쟁을 하고 정리해서 대략 합의가 가능한 점들은
(1) 가계동향조사의 시계열적 비교에 문제가 있었느냐는 점과,
(2) 데이타 제공을 둘러싼 통계청의 태도가 적절했냐는 점.
(1)과 (2) 모두에 문제가 있어도 통계청장을 교체하지 않을 수도 있고, 둘 다 문제가 없어도 교체할 수 있는 것. 이념에 관계없이 위 두 가지를 같이 논의할 수 있는 사람이 있고, 그럴 수 없는 사람이 있음. 후자의 사람들은 뭐...
자 그럼 통계의 객관성에 대해 상당한 신념을 가지고 있는 제가 왜 통계청장 교체에 대해 별 불만이 없는지, 합의 가능한 위 두 가지 문제에 대한 좀 더 자세한 제 생각을 말씀드리겠음.
블로그 글은 가능한 요점만 간단히 짧게 쓸려고 하는데, 워낙 논란인 주제인데다, 가계동향조사 조사방식이 일반적 상식으로 알고 있는 내용이 아니다 보니, 이 번 포스팅은 좀 길고, 다른 포스팅보다 좀 지루할 것.
가계동향조사를 둘러싼 논란의 핵심은 2016-2018년 데이타의 연도별 비교가 적절하냐는 것. 통계청장의 교체를 둘러싼 논란은 각자의 판단 영역이지만, 가계동향조사의 연도별 비교 적절성 여부로 논쟁을 좁히면, 적절하지 않다는 입장이 받아들여질 가능성이 매우 농후함. 왜 그런지 한 번 보겠음.
가계동향조사는 연도별 비교를 염두에 두고 설계되어 있음. 한 번 조사대상 샘플 가구가 되면 3년간 지속해서 조사함. 매년 1/3씩 기존 샘플을 탈락시키고, 1/3씩 신규 샘플을 추가하는 설계. 그런데 연도별 샘플 교체도 한꺼번에 하는 것이 아니라 6개월에 걸쳐서 월별로 조금씩 바꾸게 되어 있음. 따라서 연도별 비교를 하면 적어도 2/3 정도는 작년에도 있었던 샘플임. 표본 설계상 연도별 비교에서 한꺼번에 샘플이 바뀌는 일이 없고, 설사 표집오차가 있더라도 연도별 비교에 큰 무리가 없게끔 설계되어 있다는 것.
이 때문에 가계동향조사는 횡단면 조사이지만, 종단면 조사의 성격을 가지고 있음. 2/3 정도의 샘플은 연도별 종단면 변화를 추적할 수 있게끔 설계되어 있음. 미국으로 치면 4-8-4 Outgoing rotation group으로 설계된 Current Population Survey(CPS)와 비슷함. 뒤에 자세히 얘기하겠지만, 미국은 CPS의 이런 특성을 연구자들이 모두 이용할 수 있게 자료를 제공하는데 한국 통계청은 그러지 아니함.
어쨌든 이렇게 연도별 비교에 아무런 문제가 없어야 정상인 조사설계가 작년에 가계동향조사를 없애니 마니 하면서 큰 요동을 치게됨. 작년에는 5,500가구의 소규모 샘플로 진행하다가, 올해 가계동향조사 정상화로 8,000가구로 확장한 것.
이에 따라 1/3만 신규 가구여야 정상인 조사가 올해는 작년 대비 57%의 가구가 신규 가구로 구성되었음. 게다가 올해는 2010년 센서스가 아닌 2015년 센서스 기준으로 표본 구성을 변동시킴에 따라 노인가구의 비중이 높아짐. 과거와 달리 가계동향조사 샘플의 연속성이 크게 낮아짐.
게다가 조사방식도 과거에는 기장식, 즉 응답자가 직접 기입하는 방식이 주였는데, 올해 조사에서는 고소득층의 응답률을 높이기 위해 기장식이 아닌 면접식을 대폭 확대했다고 함.
그 결과 연도별 직접 비교가 가능한지에 대해 세심한 주의가 필요해짐.
두 연도 간 수치에 큰 변화가 없다면 연도간 비교에 별 문제가 없다고 일반적으로 가정할 수 있지만, 최근에 논란이 되었듯이 소득 분위별로 소득 증가율이 크게 달라졌다면 이 결과가 샘플의 변화로 인한 통계적 우연인지, 실체적 변화를 반영하는지 검증할 필요가 있음.
그런데 검증을 어떻게 할 수 있겠음? 여기서 가계동향조사의 특성을 이용할 수 있음. 설사 표본에 큰 변화가 있더라도 샘플 교체와 신규 유입이 완전 랜덤이라면 신규 샘플과 연속 샘플의 소득 변화에 별로 다른 점이 없어야 정상임. 연속 샘플만으로 분석해도 전체 표본을 분석했을 때와 질적으로 동일한 결과가 나타나야 한다는 것.
통계청에서 발표한 가계동향조사 전체 샘플 결과는 전반적인 인구구성변화를 반영하고 샘플 크기를 늘린 것. 전체 샘플은 인구 대표성이 높은 장점이 있고, 연속 샘플을 이용한 패널 기법은 연도별 변화를 추적하기에 더 적합함. 각각이 서로 다른 장점이 있음. 전체 샘플과 연속 샘플의 결과가 유사해서, 가계동향조사를 횡단면적으로도 종단면적으로도 분석할 수 있어야 정상임.
그런데 고려대 이우진 교수가 검증해 보니, 1분위의 소득 감소는 신규 샘플에서만 나타나고, 연속 샘플에서는 그런 경향이 안나타났다고 함. 이우진 교수의 분석에 따르면 연속 샘플에서는 "1분위(저소득층) 소득은 2016~2017년 감소했다가 올해 17% 증가했다. 5분위(고소득층)의 경우 2016~2017년에는 소득이 15% 늘었다가 2017~2018년에는 2% 줄었다."
연속 샘플에서는 저소득층 소득이 17% 늘었다니 전체 샘플을 이용한 통계청의 발표와는 달라도 너무 다른 결과임. 통계청 발표에 근거해 소득주도성장 때문에 저소득층의 소득이 오히려 줄었다고 공격하는 보수의 논리와는 완전히 다른 결과가 연속 샘플에서는 나온다는 것. 이 결과에 바탕해 소득주도성장으로 저소득층의 소득이 사실은 크게 늘었다고 말할 수도 있음.
두 연도를 비교할 때, 횡단면 조사 두 개를 비교하는 것보다, 동일 샘플의 연도별 변화를 비교하는 패널 기법이 overtime 변화에 대한 기법으로 신뢰도가 더 높다는 것은 논란의 여지가 없이 명확한 것임.
그런데 논란이 된 올해 가계동향조사는 전체 샘플을 이용한 횡단면 비교와, 패널로 유지된 샘플로 한정한 종단면 비교의 결과가 완전히 반대로 나온 것. 이렇게 되면 결과를 신뢰할 수 없게됨. 시쳇말로 나가리 판이 되는 것임.
도대체 왜 두 결과가 반대인 것임?
여기서 참고로 가계동향조사의 연속 샘플과 탈락 샘플은 일반적인 패널조사의 attrition과는 다름. 일반적인 패널조사는 샘플의 지속성 유지가 목표지만, 가계동향조사는 3년마다 샘플을 체계적으로 바꾸도록 설계되어 있음. 탈락 샘플과 연속 샘플 간에 차이가 원래는 거의 없어야 정상임. 즉, 연속 샘플은 소득이 증가한 가구만 남고 탈락 샘플은 소득이 감소한 가구로 이뤄져서, 연속샘플로 조사하면 저소득층의 소득 증가가 과대 계상되는 그런 상황이 아님. 이우진 교수의 방법론이 어떤 체계적인 bias를 가질 가능성이 없어야 정상임.
통계청 담당 과장은 조사 대상의 중복률이 아니라 표본의 대표성이 더 중요하다며 대통령 지지율 조사를 예로 들었다는데, 위에서 자세하게 얘기한 연속 샘플과 신규 샘플의 격차를 전혀 설명하지 못하는 말도 안되는 변명임. 유경준 전임 청장도 표본의 대표성만 얘기하지, 연속 샘플과 신규 샘플의 격차에 대해서는 전혀 말하지 않았음.
통계청 담당 과장의 변명은 예전에 (2012년인가? 기억이 가물) 가계금융복지조사와 가계동향조사의 불평등 정도가 크게 다르게 나타났는데, 당시 담당 과장이 그래도 가계동향조사가 더 신뢰할만한 국가 공식 지표라고 아무런 설명도 없이 박박 우기는 답변을 내놓았던 것과 비슷하다는 생각임. 지금의 통계청 공식 입장은 조만간 소득불평등 근거 자료를 가계동향조사가 아닌 가계금융복지조사로 바꾸는 것임. 가계동향조사에 문제가 없다던 당시 담당과장의 입장에서 180도 선회한 것.
그래서 저소득층의 소득이 줄었다는 것임 늘었다는 것임? 어느 결과가 맞는 것임?
세가지 가능성이 존재함. 첫번째는 2018년 추가 샘플에 문제가 있었을 가능성; 두번째는 연속 샘플에 바이어스가 있을 가능성; 세번째는 2018년 자료에서 연속샘플 추가샘플 둘 다 문제가 없는데 2017년 자료에 문제가 있었을 가능성. 즉 마지막 가능성은 2017-2018년 사이에 저소득층의 소득이 증가했는데, 2017년 자료가 저소득층의 소득을 제대로 측정하지 못해서 이런 사단이 벌어졌다는 것. 2017년 조사는 2010년 센서스 기반이라 노인가구가 적었고, 저소득층이 더 많이 샘플에 포함되어 있었어야 하는데, 무슨 이유에선가 2017년 샘플에서 저소득층이 체계적으로 누락되었다는 것. 2017년에 엉망이던 샘플을 2018년에 제대로 바로 잡으니 문제가 생겼을 가능성.
즉 세번째 가능성은 가계동향조사는 어차피 없어질 조사라고 생각해서 2017년 조사가 정교하지 않게 이루어졌을 가능성임. 이게 다 사람이 하는 일이라 항상 휴먼 에러가 있음. 2018년에 없어질 가계동향조사를 2017년에 뭐 때문에 그렇게 열심히 하겠음. 대충하고 말지.
통계청 휴먼 에러의 한 사례로 예전에 센서스 직업코드를 교체하면서 두 센서스간 연속 비교가 가능한 crosswalk 표를 제대로 안만들어서 생난리가 났던 적도 있음.
어쨌든 저소득층의 소득이 작년 대비 올해 늘었는지 줄었는지, 샘플에 따라 차이가 나는 이유가 위에 언급한 셋 중 어느게 맞는지는 현재까지의 분석 결과로써는 알 수 없다가 정답임.
무엇이 되었듯 그래서 내릴 수 있는 결론은 가계동향조사 소득분위별 2016~2018년 변화 비교를 신뢰할 수 없다는 것. 저는 이 정도는 이념에 관계없이 합의할 수 있는 영역이라고 생각함.
다음 주제로 넘어가기 전에 덧붙이는 말. 그럼 이렇게 신뢰하기 어려운 가계동향조사를 생산한 통계청은 크게 잘못한 것인가?
그런거 아님. 통계는 항상 표본오차와 측정오차를 가지고 있음. 어쩌다가 결과가 튀기도 하고 그런 것. 이 번 가계동향조사처럼 우여곡절을 겪으면 통계 원자료의 안정성이 낮아지는게 일반적임. 위에서 말했지만 2017년 조사가 이상하고, 2018년 조사가 제대로 된 것일 가능성도 배제할 수 없음. 2018년에 조사 제대로 한 통계청 사람들이 무슨 죄임? 통계를 분석하고 이용할 때는 이러한 문제점들을 인식하고 여러 가능성에 대한 열린 태도를 가져야 함.
그런데 한국에서는 통계 결과를 무슨 불변의 진리인양 간주하고 생난리를 피우는 경향이 있음. 교수들이 통계청 결과를 공격할 때도 에러의 가능성, 여러가지 통계가 일치하지 않지만 그래도 자료로써의 가치가 있는 정도를 보지 않으려고 함.
아래 최근 논란을 둘러싼 통계청의 태도를 비판하겠지만, 한 편으로는 통계청의 태도가 이해되는 측면도 있다는 점을 미리 말해 둠.
위에 얘기한 가계동향조사의 문제점에 대해서는 통계에 대한 지식이 있는 사람들이라면 그래도 쉽게 합의할 수 있겠지만, 통계청의 대응 태도가 문제가 있었는지에 대해서는 좀 더 의견이 갈릴 것. 그래도 이 논란 와중에 통계청의 대응과 태도는 어떤 문제점이 있는지 한 번 따져보겠음.
우선 위에서 언급한 연속 샘플과 교체 샘플의 큰 격차가 국가적 논란이 생긴 후 통계청이 아닌 학자들에 의해서 이의가 제기되었다는 것 자체가 통계청의 문제점을 드러냄.
내부 사정을 자세히 알 수 없지만 가계동향조사 표본을 설계하고 원자료를 가장 먼저 분석한 통계청이 문제점을 충분히 인식했을 가능성이 상당함. 그럼에도 불구하고 문제에 대한 자세한 설명없이 오랫동안 깔아뭉개고 있었다는 비난을 면할 길이 없음. 국가적 논란에도 불구하고 주무 부처인 통계청의 대응이 안일했음.
안일하기만 했으면 그 나마 다행인데, 예전에 청와대에서 가계동향조사를 개인소득으로 바꿔서 노동자 가구의 소득은 늘었다고 대통령이 직접 얘기할 때 통계청에서 그런 통계는 없다는 식으로 대놓고 딴지를 놓기도 했음.
통계청에서 원자료를 가공하여 새로운 함의를 도출하는 방식에 대해 딴지를 거는 것은 이해하기 어려움. 왜 그런지 밑에 다시 자세히 말하겠음.
다음으로 언론 보도에 따르면 통계 원자료를 제출하라는 청와대의 요청에 제대로 응하지 않을려고 했다는데, 이 태도도 잘못된 것.
통계법에 따르면 통계 원자료는 공식 발표 하루 전에 유관 기관에 제출할 수 있지만, 국가 경제 위기나 국가적 혼란이 예상될 때는 그 전에라도 원자료를 제공할 수 있음.
통계청은 이 법조문을 자료를 제공하지 않는 근거로 삼는데, 저는 오히려 이 법조문을 자료를 제공하는 근거로 삼아야 한다고 봄. 가계동향조사 결과가 경제적 위기와 국가적 논란의 대상이 되기 때문에 유관기관에 공식 발표 이전에 원자료를 제공했다고 하면 깔끔하지 않음? 지금과 같이 통계자료로 경제적 문제가 심각하게 대두될 때 통계청에서 유관기관에 자료 제공을 한정하면 어쩌자는 것임?
통계법을 자료 제공을 막기 위한 방패막이로 사용하는 태도가 잘못되었다고 봄. 통계법은 통계의 원활한 작성과 이용을 위한 것이지, 통계청의 콧대를 높이라는 법이 아님.
통계법으로 통계 이용을 제한하는 해석이 왜 잘못인지, 통계법 적용의 예를 하나 들어 보겠음. 통계법에 따르면 인구총조사 (즉 센서스)에 정당한 이유없이 응하지 않을 경우 과태료 100만원에 처할 수 있게끔 되어 있음. 한국만 그런게 아니라 미국도 비슷하게 처벌함. 하지만 유사 이래 이 법으로 과태료를 물은 사람은 내가 알기로 단 한 명도 없음. 처벌을 목적으로 한 법이 아니라, 국민은 통계 작성에 협조해야 한다는 의무에 대한 선언적 의미가 있는 것. 센서스에 제 때 응하지 않는다고 통계법대로 과태료 100만원씩 때리면 볼만할 것임.
이처럼 통계법은 통계의 원활한 작성과 활용의 편의를 위한 것이지, 자료 이용의 제한을 위한 규제가 되어서는 안됨.
그럼 통계 원자료를 제공하는게 왜 중요한가.
통계청은 통계 생산에 최고의 전문성을 가진 기관임. 통계 분석이 아님. 장담하는데 통계 분석 능력은 통계청 직원들보다 대학 교수들이나 연구원들이 앞섬.
일반적으로 착각하는 것 중의 하나가 (a) 통계 원자료 생산과 (b) 생산된 원자료 분석 능력이 같은 건줄 아는 것. 양자는 매우 다름. 대학 교수나 연구원들은 전자의 능력이 별로 없고, 통계청 직원들은 후자에 특화되어 있지 않음. 통계청의 원자료 분석은 대부분 기술 통계임.
여담으로 대학 교수 중에 통계 원자료 생산을 제대로 하는 분은 아마 KGSS를 생산하는 성균관대 김지범 교수일 것. 미국 시카고대 NORC에서 미국 GSS 자료 생산하다가 한국에 오신 분. 샘플링 기법을 제대로 적용해서 조사함. 그래서 KGSS가 매우 비싼 자료인데, 그 가치가 뭔지 대부분 모름. 여론조사 회사들도 분석 능력보다는 생산 능력에 전문성이 있는 기관임.
반면 통계청은 복잡한 통계 모형을 이용한 자료 분석이 아니라, 복잡한 샘플링 기법을 이용한 자료 생산에 특화되어 있음. 이 때문에 자료 분석 훈련을 주로 받은 박사나 연구원들이 통계청에 취직하면 별로 기를 피지 못함. 통계청에서 박사들을 제대로 활용 못하는 이유는 이 조직이 잘못되어서가 아니라 통계청에서 필요로 하는 지식과 박사들의 지식이 불일치하기 때문임. 박사들이 통계청에 특화된 전문성을 확보할 때 까지 시간이 걸림.
여기서 또 한가지 착각하지 말아야 하는 것은 기술통계가 중요하지 않다는 식의 태도임. 국가통계는 다변량 분석을 하는 것이 아니고 기술 통계로 기초적이고 연속적인 자료를 제공하는 것이 목적임. 이런 목적에 맞는 활동을 통계청이 수행함.
그런데 이런 기술 통계를 넘어선 분석이나, 또는 기술통계라도 인구에 따른 교차 분석의 필요성이 있을 때는 원자료가 반드시 필요함. 기술통계는 샘플에 대한 가정 외에 많은 "추정"이 들어가지 않지만, 어떤 정책적 판단을 위해서는 기술통계를 넘어선 복잡한 다변량 분석으로 정책 효과 등을 추정할 필요가 있음.
그런데 통계청이 정책 생산 분석 기관에 자료 제공을 꺼려하면 어쩌라는 것임?
통계청이 원자료 제공을 꺼려하는 이유는 겉으로는 프라이버시 보호지만, 실제로는 자신들의 오류가 드러나거나, 통계를 둘러싼 논란의 대상이 되는 것을 피하려는 조직 보호, 조직 이기주의 논리일 개연성이 매우 높음.
이 번에 이우진 교수와 다른 팀에서 분석한 대체 샘플과 유지 샘플의 격차도 통계 원자료가 없으면 불가능한 것임. MDIS의 일반 공개용 원자료에는 대체 샘플과 유지 샘플에 대한 변수가 없음. 어느 샘플이 대체된 것이고 어느 샘플이 연속된 것인지 알 길이 없음. 이우진 교수와 같은 분석은 샘플링에 대한 정보를 포함한 원자료가 없으면 아예 분석이 불가능함. 아마 심상정 의원이 통계청 원자료를 구해서 이우진 교수팀에게 제공했을 것. 그 때문에 가계동향조사의 문제도 제대로 밝혀진 것.
그런데 통계청이 청와대에서 통계 분석에 특화된 연구원들에게 자료 분석을 시키기 위해서 통계청에 원자료를 요청한다고 통계 조작이고 간섭이라고 불만을 터뜨린다는게 말이 됨?
그럼 다른 나라에서는 어떻게 하나? 나라마다 다르지만 한국이 맨날 떠드는 천조국의 예를 들어 보겠음.
가계동향조사와 가장 유사한 미국의 CPS는 대체 샘플과 유지 샘플에 대한 전체 정보를 공개함. CPS를 패널 자료로 만들 수 있는데 그 과정이 좀 복잡함. 그래서 미국 센서스국에서 원자료 전체를 미네스타 대학 인구센타에 제공해서, 미네소타 인구 센타에서 친절하게 CPS를 패널자료로 전환한 자료를 무료로 전세계 모든 사람들에게 제공함. 등록만 하면 데이타를 다운 받을 수 있음.
한국 통계청은 청와대에서 자료를 달라고 해도 정권이 통계 조작할려고 한다고 노조가 성명서를 발표하는데, 미국은 전세계 모든 인민들에게 자신들의 자료를 공개하고 있음. 미네소타 대학의 자료는 추가 linking 작업과 harmonization 때문에 시기적으로 늦게 자료가 제공되기라도 하지만, NBER에 가면 아무런 가공이 없는 원자료가 1~2달 갭을 가지고 올라옴. 모든 학자가 능력만 되면 이 원자료를 분석할 수 있음.
황수경 전청장 시기에 자료 제공을 특히 빡빡하게 했다고, 통계청의 독립을 지켰다고 기사에 나왔던데, 제가 보기에 이게 자랑거리가 아님. 오히려 욕먹을 일이지.
정권이 통계를 조작하는 것은 결코 해서는 안되는 일이지만, 정권이 통계 원자료로 어떤 일이 벌어지는지 분석하는 것은 매우 권장해야 할 일임. "증거기반정책" 생산은 통계 분석없이 불가능함. 후자를 했다고 전자를 의심하고 공격하는 건 말이 안됨.
마지막으로 평소 소신 반복함. 복지 국가는 통계 국가임. 통계 입국이 복지 입국의 길임. 복지를 제공할려면 통계가 필요하고, 세금을 부과할려면 통계가 필요함. 프라이버시를 강조하며 통계 원자료 활용을 막는 것은 복지의 발전을 막는 우회적 방법임. 그래서 앞으로 통계를 둘러싼 진보와 보수의 대립은 계속될 것으로 예상함. 진보는 데이타를 더 공개하자는 쪽으로, 보수는 프라이버시를 기치로 더 막자는 쪽으로.
자료공개와 이용 얘기하면 빅브라더 떠올리며 프라이버시 강조하는게 진보인줄 아는 분들 있는데 그거 아님.
본인이 진보적이면서 동시에 객관적이고 싶으면 통계 공부 열심히 할 것. 심지어 미국에 이런 웹사이트도 있음: 진보 통계돌이를 위한 직업 알선 사이트.
