아니한만 못한 논문 출간
지금 인터넷에서 화제가 되고 있는 논문인데,
3명의 경제학자들이 전세계 44개 대학의 경제학자들을 대상으로 cv의 퀄러티에 대한 실험 조사를 실시. 다섯가지 종류의 cv를 랜덤하게 뿌린 후 레쥬메의 퀄러티에 대해 평가해달라고 함. 다섯가지 cv에는 아래와 같은 논문 출간 실적이 적혀 있었음.
(1) top 5 경제학 저널 논문 실적이 있으면서 area top journal 등 우수저널에만 총 8편을 출간한 경우.
(2) 위에서 말한 8편의 논문 실적을 그대로 가지고 있으면서 이에 더하여, 랭킹이 낮은 저널에 실린 6편을 추가하여 총 14편을 출간한 경우.
(3) top 5 경제학 저널에 논문이 없지만 area top journal 등에 총 8편을 출간한 경우
(4) top 5 저널이 없지만 (3)에서 리스트된 상당히 훌륭한 저널 8편이 있고, 랭킹이 낮은 저널에 실린 6편을 추가하여 총 14편을 출간한 경우.
(5) 랭킹이 높지 않은 저널에만 14편을 출간한 경우
그랬더니 평가가 아래와 같음. 랭킹이 낮은 저널에 6편을 추가로 출간하는 것보다는 랭킹이 높은 저널에 8편만 출간하는게 더 훌륭한 레쥬메로 평가됨.
낮은 랭킹 저널에 출간한 추가 논문의 marginal effects는 음의 효과를 가짐.
이걸 두고 일부 사회학자들이 경제학은 이러구 있다고 욕하던데 사실 사회학도 마찬가지임.
10년 전에 대가에게 들었던 충고 중의 하나가 (area) top journal에 정기적으로 출간할 능력이 되면 2번 정도 reject 먹은 논문은 랭킹이 낮은 저널에 다시 보내기보다는 논문을 버리라는 것이었음.
그렇게 하는게 옳아서라든가, 랭킹이 낮은 저널은 가치가 없어서가 아니라 저널의 랭킹에 대한 편견이 광범위하게 퍼져 있고, 그에 근거해서 학자들을 평가하기 때문.