연구재현 가능한 논문들보다 불가능한 논문들이 더 자주 인용되는 것으로 나타났다. 지난달 21일 『사이언스 어드밴시스』는 「재현 불가능한 논문이 재현 가능한 논문보다 더 많이 인용된다」는 제목의 연구결과를 공개했다. 행동경제학자인 마르타 세라-가르시아 캘리포니아대 경영대학원(래디스쿨) 교수 외 2명의 연구진은 국제 학술지에 발표된 심리학, 경제학, 과학 등 관련 출판물들을 메타분석했다.

인용은 논문의 질을 평가하는 주요 기준이다. 그런데 연구재현성이 부족한 논문은 흥미로운 연구결과를 이끈 경우가 많았다. 놀라운 과학적 결과들이 언론에서 더욱 주목 받기 때문이다. 또한 과학연구자들은 출판 압박에 시달리며 서둘러 연구결과를 공개하려 한다. 그래서 문제는 리뷰어와 편집자의 역할론으로까지 확장된다. 연구진은 그 이유로 출판 편집·리뷰어팀이 연구재현성과 흥미로운 연구결과 사이에서 ‘절충의 전략’을 선택한 것이라고 비판했다. 이목을 끌기 위해 연구재현성 기준을 낮춘 경우가 있었던 셈이다. 아울러, 연구진은 사회과학 분야에선 연구결과의 일부만 선택적으로 채택해 출판하는 경우도 있다고 밝혔다.

연구진은 연구재현성을 담보하는 방법 중 하나로 원고에 편집자의 이름을 넣자고 했다. 그러면 연구재현이 불가능해졌을 때 편집 과정에 대한 절차와 코멘트를 편집자를 통해 직접 받을 수 있다. 또 다른 방법은 연구실험을 위한 데이터 수집 전에 연구설계 구성을 리뷰하는 것이다. 이 방법은 전체 리뷰 과정에 연구설계 디자인 검토만 추가하면 된다.

연구진은 연구재현이 불가능하다고 판단됐던 원 논문들을 추적했다. 연구진은 논문의 출판 시점 후 2019년 말까지의 인용기록을 ‘구글 스칼라 인용’을 이용해 수집했다. 그 결과 심리학은 12%, 경제학은 9%, 과학은 15%의 언론과 저널들만 원 논문들의 연구재현 불가능성을 인용문에서 밝혔다. 평균은 12%다. 특히 시간이 지나면서 연구재현 불가능한 논문이 가능한 논문보다 평균적으로 153배 더 많이 인용된다는 점이 밝혀졌다.

연구진은 연구재현성을 판단할 때 여러 실험들 중 하나만 재현했다는 점에서 한계가 있다고 밝혔다. 가령 경제학 분야에선 여러 실험들 중 첫 번째 실험만 연구재현성을 검토했다. 또한 원래 연구가 수행한 방식을 정확히 반영할 수 없다는 한계도 분명 존재한다고 분석했다.

이에 대해 호원경 서울대 교수(의학과)는 <교수신문>과 인터뷰에서 “생명과학 분야는 데이터를 조작하는 경우가 아니라면 연구재현성을 오랜 기간 숙련하는 과정이 필요하다”라며 “연구재현성 과정에서 연구조건을 제대로 다루는 게 관건이다”라고 말했다. 박현성 서울시립대 교수(생명과학)는 “과학 연구에선 여러 연구결과가 시간이 지나며 걸러진다”며 “가설과 믿음에 대한 여러 목소리들이 일치가 될 때 과학이론이 된다”라고 강조했다. 

김재호 기자 kimyital@kyosu.net
 

김재호 다른기사 보기