지난 5월 16일에 발표된 DORA 선언문을 계기로 <교수신문>은 4회에 걸쳐 기초과학, 공학, 사회과학, 인문학 분야에서 임팩트 팩터(이하 IF)의 연구내용·연구능력을 평가 불합리성을 살펴봤다. 이번호에서는 IF의 문제점을 논의한 안병찬(울산대 생명공학부), 김형순(인하대 신소재공학부), 강명구(서울대 언론정보학부), 장영준(중앙대 영어영문학과) 교수의 제언과 더불어 질적 평가에 대한 연구자들의 대안을 들어본다.

최근 서울의 주요 대학들이 교수의 연구업적에 대해 ‘질적 평가’를 강화하려는 움직임이 보이고 있다. 고려대의 경우 논문 게재 저널의 등급을 구분해 점수를 차등 배정하고, 중앙대의 경우 논문 게재 저널 등급을 2등급에서 4등급으로 세분화했다. 경희대는 국내외 석학으로 평가단을 꾸려 연구실적에 대해 정성평가를 할 예정이고, 한양대도 논문 게재 저널 등급을 구분해 점수를 차등 배정한다. 같은 SCI급 논문이라도 게재된 저널의 등급을 세분화함으로써 점수에도 변화를 준다는 이야기다.

서울 주요대 질적 평가 강화… 진실은?

얼핏 듣기에는 교수 승진 심사자격이 주어지는 5년간 영향력 있는 논문 한두 편이면 승진이 가능하기에 연구자들에게 보상을 통한 동기부여를 유도하는 것처럼 보인다. 그러나 김형순 교수는“질적 평가에서 주요 지표를 차지하고 있는 IF의 근본적인 문제점을 외면하고, 질적 평가라는 허울 좋은 구호 뒤에 획일적인 평가 기준(IF)이 국내 학문 생태계를 얼마나 황폐하게 만들지가 은폐돼 있다”라고 말했다. 그는“155명으로 시작한 DORA선언이 지난달 27일 기준으로 8천 명을 돌파했다”라고 말하며“IF를 개발한 해외에서는 DORA선언처럼 IF의 문제점에 대해 학자들이 집단적인 반발 움직임을 보이고 있는데, 국내에서는 이것을 질적 평가의 절대적 기준인 양 뒤늦게 쫓아가고 있는 양상”이라고 지적했다. 특히 위에 언급한 서울 상위권 대학들이 이런 흐름을 주도하며 교수들의 연구를 옭죄고 있는 형국이다.

지난 기고에서 나온 주요 주장을 정리해보자. 안병찬 교수가 지적했듯이 IF는 한 논문에 담긴 연구의 과학적인 질을 측정하기 위해서 만들어진 평가도구가 아니다. 그는 편집 정책에 의해 IF가 조작될 수 있음을 지적했는데, 사용된 데이터의 투명성과 개방성이 충분하지 않다는 것이 그 이유였다. 그는 IF보다는 논문 차원의 계량 수치와 연구내용 평가의 정성적인 수치가 업적평가와 연구과제 심사에 반영돼야 한다고 주장했다.

과학논문에서 요구되는 독창성 외에 응용성 또한 중요하게 다루는 공학 분야에 대한 IF의 문제점을 짚은 김형순 교수는 IF가 학문 분야의 특성을 고려치 않아 상호간의 비교가 어렵다는 점을 학문 분야별 IF 평균을 통해 살폈다.

IF 평가가 10년 더 지속된다면 국내 사회과학 기반이 훼손될 것이라고 경고한 강명구 교수. 그는 정치학, 사회학, 인류학, 사회복지학, 커뮤니케이션학 5개 분야의 Top 저널 3개를 선택해, 이들 저널에 실린 10년 치 논문의 필자와 주제를 분석했다. 비미국, 비유럽 필자의 논문이 5% 미만이었다는 충격적인 통계 자료는 맹목적인 IF 신봉이 나은 결과였고, 그는 저서평가 역량이 부족한 국내 출판사와 대학, 학술지 편집인을 비판하며 주관적 평가와 객관적 평가를 혼용하자고 주장했다.

장영준 중앙대 교수(영어영문학과)는 한국형 IF는 학술지 줄세우기가 될 수밖에 없기에 인문학에 대한 평가 자체를 하지 말라는 다소 도발적인 주장을 하기도 했다. 다소 차이가 있는 이들의 주장에서 발견되는 공통점은 질적 평가를 위해서는 IF만으로는 부족하다는 점이다.

IF 위주의 평가에 대한 지적은 한국연구재단 안에서도 찾을 수 있었다. 3주 전 한국연구재단 주재로 열린 학술지 편집자 워크숍에 참석했던 이정민 서울대 명예교수(언어학과)는 우수학술지를 선정하는 과정에서, SCI에 이미 선정돼 있는 저널을 다수 뽑을 가능성이 있다는 점과, 연구자들이 많이 몰리는 응용분야가 강세를 띨 것으로 예측했는데, 그 우려를 확인한 자리였다고 말했다.

지성인이 될 것인가 기능인으로 남을 것인가

IF가 참고 기준은 될 수 있지만 지금처럼 상당한 영향력을 발휘하는 평가 잣대로 사용되는 것은 문제가 있다고 지적한 그는 문제가 제도라기보다는 평가자에 있다고 주장한다. 그가 지난 2000년 서울대 인지과학연구소장을 맡으며 국제저널로 출범시킨 <Journal of Cognitive Science>의 경우, 제출된 논문을 세계 최고의 학자들이 심사하기에 게재까지 2년 정도의 시간이 걸린다고 말했다. 그는 이런 질적인 노력을 과연 한국연구재단이 평가할 수 있는가라고 반문했다. 국내 저널의 경우 대개 2주에 걸쳐 심사를 하면 2~3개월 만에 등재저널에 게재가 가능하다. 형식만 갖고 평가를 하는 한국연구재단의 외형적 기준으로는 질적 관리가 쉽지 않다는 이야기다.

한국학저널 <Acta Koreana>를 인문학 국제학술인용색인 A&HCI에 국내에서 3번째로 등재시킨 이윤갑 계명대 한국학연구원장 역시 평가 제도보다는 사람이 문제라고 지적했다. 그는“교수사회가 연봉제로 바뀌면서 그에 대한 객관적 평가기준으로 IF를 쓴다는 것 자체가 근본적으로 문제가 있다”라며“순수하게 연구와 교육을 진작시키겠다는 목적이라기보다는 일반 기업과 다를 바 없는 기준으로 업적, 능력평가를 하고 있다”라고 비판했다. 그는 “인용지수가 높으면 우수학술지로 평가되고, 지원액도 달라진다. 높은 IF로 유능한 교수가 되기를 꿈꾸는 요즘 교수들에게서는 선배 세대들의 연구에 임하는 순수성, 사명감이 잘 보이지 않는다. 지성인이 아니라 기능인적 성격이 강한 작금의 풍토에서는 제도가 아무리 바뀐다고 해도 근본적 문제를 해결하지 않고서는 제자리걸음일 것이다”라고 말했다.

제대로 된 질적 평가를 위해서 개선할 점은 무엇일까. 김형순 교수는 연구업적을 평가하는 계량서지학(bibliometric)이 발달한 유럽을 예로 들었다. 김 교수에 따르면 네덜란드의 경우 IF만 사용하는 것이 아닌 다면적인 방법(SJR2, SNIP2 등)으로 평가를 전문적으로 연구하고 있다. 서지학과 통계학의 융합이다. 김 교수는 평가를 거부하는 연구자들이 존재하더라도 누군가는 끊임없이 논문에 대한 모니터를 하며 질적평가를 한다면 지금의 획일적인 평가 기준을 벗어나는 단계에 도달할 수 있을 것으로 전망했다. 최근 한국연구재단이 IF 유효기간을 2년에서 5년으로 연장한 것에 대해서도 인용 사이클이 짧은 공학·사회과학 분야와 긴 자연과학·인문학 분야에 함께 적용할 수 없는 불공정한 게임일 뿐이라고 덧붙였다.

OECD 국가 중에서 학술지를 지원하는 국가는 한국이 유일하다. 외국의 경우 출판사의 서평 권위가 인정돼 자체적인 평가와 경쟁이 가능한 기반이 형성돼 있다. 물론 출판사의 영리적 목적에 따라 IF 남용을 하는 부정적인 경우도 존재하지만, 대학 연구자와 학회, 출판사의 오래된 공생구조가 쌓아올린 탄탄한 공생구조는 한국연구재단의 연구업적 평가기준과 서울 주요 대학의 평가기준에 시사하는 바가 크다.

윤상민 기자 cinemonde@kyosu.net

윤상민 기자 다른기사 보기