지난달 16일 세계 각국의 저명한 과학자 150여 명과 주요 과학자 단체 75개는 ‘영향력 지수(Impact Factor, 이하 IF)가 학술지와 연구자의 질을 평가하는 척도로 쓰이는 것에 반대한다’는 입장을 발표했다(http://am.ascb.org/dora/). 이른바 ‘연구 평가에 관한 샌프란시스코선언(San Francisco Declaration on Research Assessment, DORA)’이다. 샌프란시스코에서 전 세계의 많은 학자들이 한 목소리를 내어 IF의 문제점을 지적한 것은 연구자들에게 대단한 의미가 있다. 그간 학자들이 IF 사용에 대한 불만을 국지적으로 표시한 적은 있었지만 이번처럼 수많은 학회와 유명 학자가 함께 공개적으로 선언문에 서명하고 출판사, 학회, 평가기관, 연구자들에게 IF 관련 세부적인 개선사항을 제시한 것은 처음이다(<교수신문>687호 참조). 6월 2일 현재, 이 선언에 동참을 밝힌 연구자는 6천360명, 기관 240개로 증가해 향후 그 여파에 관심이 모아지고 있다.

IF는 논문당 평균 인용빈도를 의미하는 것으로, 최근 2년간 출판된 논문이 당해 연도에 평균적으로 인용된 횟수를 수치화한 것이다. IF는 한정된 예산으로 운용되는 도서관에서 우선적으로 구독할 학술지를 선별하기 위한 판단 자료로 개발됐다. 그런데 그 탄생의 목적과는 달리 점차 논문과 연구자의 질을 평가하는 수단으로 사용하게 됐다. 그간 학회들과 학자들은 IF의 계산에 많은 문제점이 있다고 지적해 왔다. 학문 분야의 특성을 고려치 않아 상호 간의 비교가 어려우며, 많은 참고문헌을 포함하는 해설논문을 출판하는 학술지가 높은 IF를 나타내기 때문이다.

타학문에 비해 IF낮은 공학

상대적으로 발간 주기가 짧은 학술지 또는 흥미 있고 논쟁을 제공할 수 있는 사설, 항목들을 포함하고 있는 학술지의 IF가 높다. 특히 IF는 논문의 인용빈도가 시간이 경과할수록 급격히 감소하는 학문 분야에 유리하다. 그러나 학술지의 인용 정도는 논문의 질뿐 아니라 네트워킹 기술에도 의존하는 경향이 있으므로, 특정 학술지의 IF 증가가 문제시되는 사례가 종종 발생하기도 한다. 지난해 자료에 의하면 약 8천 종의 과학기술학술지의 IF는 101.78에서 0.005의 범위에 있다. 또한 2007년부터 IF와 함께 발표해 온 5년간 IF는 67.41~0.002의 범위에 있는데, 학술지의 인용이 느린 경우 즉, 수명이 긴 학술지들은 여전히 5년간 IF에서도 그 인용빈도를 제대로 반영하지 못하고 있다.

공학은 학문의 여러 특성상 타 학문에 비해 IF가 낮다. 최근 공학기술의 급속한 발전과 함께 전공이 세분화되면서 학술지가 분리된 데다 수많은 신생학술지가 태동해 논문 지면 수가 축소됐기 때문이다. 더욱이 편당 약 20개인 공학논문의 참고문헌 수는 편당 40~50개인 의학, 생명, 기초과학에 비해서 매우 적은 편이다. 이러한 것들이 실제로 IF와 h지수 등 계량서지적 평가지표에 영향을 준다. 지난해의 평균 IF를 보면, 의학 2.54, 물리·천문 2.16, 화학 2.07인 반면 공학 분야는 기계 1.66, 전기·전자 1.67, 공학 1.42, 컴퓨터 1,27로, 공학학술지의 IF가 다른 과학학술지의 IF보다 낮았다. 공학학술지의 최대 IF 역시 한 자리 수로 5 정도였다.
공학은 산업현장에 기반을 두고 있으므로, 사회가 변하면 산업의 성격과 영역도 달라지고 관련 학문의 영역도 변한다. 학문의 특성상, 공학은 결과물을 발표하는 방식이 기초과학과 사뭇 다르다. 공학 분야는 전통 학문과 최신 학문을 포함하며, 학문의 주제 대부분이 산업체의 응용과 관련되므로 많은 연구자료가 프로시딩(학술발표논문집), 기술해설지(회보지), 웹 문서(기술보고서), 단행본, 특허 등에 공개돼 톰슨사이언티픽(Thomson Scientific, 구 ISI) / 스코퍼스(Scopus)뿐 아니라 콤펜덱스(EI Compendex) 등의 여러 데이터베이스에서 관리된다.

공학논문은 과학논문에서 요구되는 독창성 외에 응용성 역시 중요하게 다룬다. 일반과학논문은 새로운 영감, 이론, 패러다임을 중시하지만 공학논문은 응용성을 고려한 새로운 아이디어, 분야, 방법, 결과, 해결책, 설명, 응용 등까지 포괄해 언급한다. 과학기술 측면에서 동료들이 많은 관심을 갖고 그 논문을 인용할 수 있기 때문이다. 즉, 공학논문에서는 산업현장에 미치는 영향과 미래의 응용가능성도 중요한 평가요소로 고려한다. 중국이 수년 전부터 공학 데이터베이스로 유명한 EI Compendex와 Index to Scientific & Technical Proceedings (ISTP)를 SCI나 SCIE 만큼 중시해 이에 등재된 결과물도 중요한 업적으로 평가하게 된 것도 이 때문이다.

미래의 응용가능성도 중요한 평가요소

그러나 공학논문을 평가하는 국내 현실은 어떨까? 아쉬운 점이 한두 가지가 아니다. 국내의 많은 산업체의 연구자와 엔지니어가 연구사례, 최근 기술과 동향 등을 회보에 게재해 지식을 공개하고 있지만 이들 학술지가 비SCI나 SCIE, 비재단 등재지라는 이유로 그 연구 업적이 제대로 인정받지 못하고 널리 인용되지 못하는 실정이다. 이에 따라 공학연구자들이 점차 회보 출판을 지양하고 IF가 높은 학술지의 출판을 지향하게 된 점을 필자 또한 공학인의 한 사람으로 매우 안타깝게 생각한다.

현 정부가 언필칭 주장하는 창조경제, 신산업 창출의 성취는 IF에 의존하는 현재의 평가방식에서 벗어난 한국적 평가시스템을 도입하고, IF가 높은 학술지 출판만 선호하는 풍토를 개선해 공학 특성을 고려한 다양한 출판물과 매체에도 투고할 수 있는 분위기와 그것을 인정해 주는 합리적인 연구업적 평가제도가 선행돼야 가능하다고 본다. 공학연구자들이 IF가 높은 SCI나 SCIE만을 추구하고 평가기관도 이를 주로 인정하는 분위기에서 벗어나 실제로 산업현장과 직결되는 공학적 특성을 고려하여 EI Compendex, ISTP 등의 데이터베이스에 등재된 출판물도 중요하게 평가하는 것을 고려해야 한다.

특정 학술지가 학계에 미친 영향 정도를 파악하고 활용할 목적으로 고안된 평가지표들이 그 목적에 맞게 쓰이고 있는가, 어떻게 활용할 수 있는가 등의 질문은 연구자, 편집자, 출판사에게 모두 적용되는 고민이다.
학술지의 인용 데이터를 분석하는 IF, IF를 보완하기 위해 제시된 지표들 중 Scopus 데이터베이스에 등재된 학술지를 대상으로 영향력을 측정해 지수를 발표하는 SJR2(SCImago Journal Rank), SNIP2(Source Normalized Impact per Paper) 등 여러 평가지표가 학계에 학술지 비교를 위한 많은 선택사항을 제공하며, 이들이 제공한 학술지·연구자·기관의 성과 비교가 과학과 학술출판의 일부분이 되고 있는 상황에서 이를 거부할 수는 없다. 그러나 연구자·출판사·관리자의 상황을 고려한 형평성 있는 평가기준을 마련하고 다양한 학술지 지수(IF, SJR2, SNIP2, h 등)들을 적용하는 방법을 도입하는 등 다차원적인 평가를 한다면, 과거보다 더 합리적인 결정을 내리는 데 도움이 될 것이다.

김형순 인하대·신소재공학부