해외에서 나타난 오류

인용도 정확성 여러 곳서 빗나가

국내와 마찬가지로 외국에서도 영향력 지수(IF:impact factor)가 큰 영향력을 발휘하고 있다. 과학자의 연구활동을 측정하는 대표적인 지표로서 이용되는데 이는 곧 연구비 지급과 평가, 정책결정에 직접적인 영향을 미친다. 따라서 연구자나 연구소, 정부, 각 저널 등은 ISI에서 발표되는 IF에 촉각을 곤두세울 수밖에 없으며 이로 인해 인용 통계의 이용에 따른 정확성이나 한계에 대한 논란도 끊이지 않고 있다. 다만 국내와 다른 점은 그들이 이용하는 대부분의 저널들은 SCI에 등재돼 있어 등재여부 보단 IF의 중요성이 상대적으로 크다는 것과 국가별로 차이는 있지만 SCI이외의 다양한 지표들을 사용하고 있다는 것이다.

네이처의 유명논문 조차 낮게 평가

ISI사는 자사의 인용분석 자료에 한계가 있을 수 있다는 것을 공개적으로 밝히고 있지만 정보를 상업적으로 판매하고 있고 독립적인 계량서지학 연구자들이 기본 데이터에 접근하는 것을 차단하고 있다. 결국 자료의 정확성에 대해서는 책임을 지지 않고 있는 것이다.
정확성 문제의 구체적 사례를 보자. 지난해 국제인간유전체컨소시엄(International Human Genome Sequencing Consortium)은 네이쳐(Nature)에 인간게놈의 초안을 발표했다. 이 논문은 생물학계 뿐만 아니라 많은 영역에서 주목을 받았고 인용된 역사적인 논문이다. 하지만 이 논문은 인용지수가 낮게 매겨져 ISI사에서 발행하는 ‘사이언스 와치’에 포함되지도 않았다. 네이처의 스탭들은 이 논문뿐만 아니라 저자가 컨소시엄 형태로 돼 있는 몇몇 유명한 논문들이 상대적으로 낮게 계산됐음을 발견했다. 물론 지금은 사이언스 와치의 화제의 논문(hot paper)란의 가장 위에 올라있다.
인용도의 정확성 문제는 다른 유명 저널에서도 발견된다. 권위 있는 의학 저널인 란셋(Lancet)은 1998년 IF가 11.79였다. 하지만 그전 4년 동안의 지수는 17이었는데, ISI가 1997년 란셋의 지면 개편을 고려하지 않고 계산한 결과다. 또한 인용할 수 있는 것과 없는 것을 구분하지 않아 네이쳐 자매지들의 IF값이 해마다 변하는 결과를 초래하기도 했다.
네덜란드의 레이던(Leiden) 대학의 과학기술학센터는 SCI와 ISI와 관련된 인용지표 중에서 8백만개의 논문과 2천만개 이상의 참고문헌을 뽑아내 분석했다. 그 결과 전반적으로 7%가 잘못된 인용으로 밝혀졌다. 인용 통계값은 부정확한 참고문헌, 저널의 편집 성향, 언어적 문제, 저자 구분 문제, 생소한 외국 저자의 이름 등과 같은 요인에 의해 영향을 받고 있었다. 이 연구소의 헨크 F. 모드는 “과학자들은 계량서지학적인 방법으로 평가받고 있는데, 이것을 사용하는 정책 공무원들은 한계와 문제점들을 알고 있어야 한다”고 말한다.

비영어권 저널들도 불이익

저널이 비 영어권 언어로 발행된다면 인용지수가 상대적으로 낮아질 가망성이 있다. 중국의 국립자연과학재단 출판부의 솅리 렌(Shengli Ren)은 이런 불이익을 구체적으로 토로한다. 영문판 ‘차이니즈 저널 오브 그래픽스’(Chines Journal of Geophysics)의 중국어 판은 역사적인 이유로 Diqui Wuli Xuebao 등 몇 개가 존재한다. 이 저널은 2000년에 2백 60회 이상 인용되었지만 ISI의 2001년 JCR에는 인용점수가 13으로 발표되었다. ISI는 이 저널의 중국어판이 있다는 사실을 알지 못했다. SCI에 등재된 중국의 영문판 저널은 12개인데 이중 8개는 중국어판이 따로 있다. 이에 따라 중국은 자국에서 발행되는 각종 저널들에 대해도 인용 통계를 만들어 분석하고 있는 등 SCI 이외의 다양한 평가 지표를 사용하고 있다.

등재학술지 선정방법과 IF

'발행주기' 핵심 선정기준

잘 알려져 있다시피, SCI는 미국 필라델피아의 톰슨 사이언티픽 계열 민간회사인 과학정보연구원(ISI：Institute for Scientific Information)이 과학기술분야 학술잡지에 게재된 논문의 색인을 수록한 데이터베이스이다. 서지정보와 인용문헌 검색을 제공함으로써 논문의 질을 평가할 수 있게 하는 도구이다.
ISI는 과학과 기술이 아닌 다른 분야들에 대해서도, SCI와 유사한 형태를 띤, 인문학 논문 색인 AHCI(Arts and Humanities Citation Index), 사회과학 논문색인 SSCI(Social Sciences Citation Index) 등을 제공하고 있다. 특히 SCI는 자연과학분야 저널 약 3천5백여종의 논문, 종설, 학술회의 초록 등을 포함하고 있다. ‘색인’은, 논문들의 참고문헌을 가공해 만들고, 특정논문이 다른 논문에 인용된 것을 알 수 있게 해주는 ‘인용색인’(Citation Index), 특정 저자가 해당 연도에 발표한 것을 알 수 있는 ‘출처색인’(Source Index), 저자나 논문을 알지 못해도 주제로 검색할 수 있는 ‘주제색인’(Permutern Subject Index)으로 이뤄진다. SCI 는 다양한 매체로 배포된다. ‘SCI 등재 학술지’가 되기 위한 첫 번째 단계는 마그네틱 테잎으로 발행되는 SCIE (SCI Expanded)이다. ISI는 전세계에서 출판되고 있는 6만여 종의 과학기술관련 저널 중, 심사를 거쳐 5천6백여종의 저널을 선별해 이를 SCIE에 포함시킨다. SCIE에 포함된 저널 중 핵심저널을 다시 선정하는 작업을 거쳐 이른바 SCI 등재 학술지(SCI Core)의 여부가 판가름난다. SCI에 수록된 정보는 출판물(SCI Print-edition)과 씨디롬(SCI CD-edition)의 두 가지 형태로 배포된다. 온라인으로 매주 업데이트 되는 정보를 제공하기 시작한 것은 1974년부터였으며, 1997년 이후로는 웹상에서도 접근가능한 형태가 마련됐다.(Web of Science) 국내 학술지 중에서는 대한화학회지, 한국물리학회지 등, 한국산업미생물학회의 출판물 등이 SCI 코아(core)에 포함돼 있다.
그런 SCI 등재 학술지는 어떻게 선정되는가. 등재 대상 학술지는 △전문가의 판단 △학술지의 기준 준수 여부 △인용분석 자료의 수치 등 3가지 요인에 의해 선정된다. 이들이 수록 대상 학술지를 평가하는 데는 다음과 같은 기준들이 주요하게 적용된다. △정기적으로 발행되는 학술지일 것 △이 학술지의 국제적인 편집규정을 준수할 것 △영문으로 된 논문명, 초록, 주제어, 참고문헌이 있을 것 △투고 논문의 적합성, 연구방법, 독창성, 참고문헌 등에 관한 심사과정이 있을 것 △투고 논문의 심사위원들과 저자들이 지역적 대표성을 가질 것 △학술지의 주제분야가 많은 연구자들이 연구하는 학문분야 일 것. 일반적으로 SCI를 얘기할 때는 위에서 언급한 SCI와 SCIE 외에도 저널인용보고서인 JCR(Journal Citation Report)과 혼용되기도 한다. 그러나, JCR 역시 ISI에서 제공하는 데이터베이스이지만, 성격은 조금 다르다. 간단히 말해서 JCR은 SCI에 등재된 학술지 중, 다빈도로 인용된 저널의 목록을 중심으로 추출해 냄으로써, 학술지의 평가하는 자료로 사용된다. 특히 여기에 수록된 인용 정보에 대한 자료가 가공되면 영향력지수 IF(Impact Factor)가 매겨지게 된다. 즉, Impact Factor란 특정 잡지에 실린 한 편의 논문이 어느 특정 연도나 특정기간 동안 인용된 빈도수의 척도로서 그 논문이 실린 잡지의 수준을 평가하는 척도로 활용된다. 그런데, JCR 영향력 지수(인용지수)는 학술지 출간후 평가까지의 시차를 필요로 하기 때문에, 전년도를 기준으로 계수가 매겨진다. 따라서 어느 특정 잡지의 IF는 아래표와 같은 방식으로 산정된다. 그러나 IF 값이 높은 학술지라고 해도 SCI 가 아닌 학술지에 실리는 경우는 얼마든지 있으며, 이러한 요인들로 인해 SCI와 JCR 혹은 IF간의 불일치는 빈번하게 일어난다.

영향력 지수(IF)=학술지의 논문이 인용된 총 횟수/학술지에 수록된 논문의 수

A：해당년(2002)년에 발행된 잡지에 실린 논문에서 특정 학술지의 논문이 인용된 건수
B：A의 인용된 건수 중 이전 2년간(2000-2001)의 발행분에 대한 인용 건수 (※ B⊂A)
C：이전 2년간(2000-2001) 해당 특정 학술지에 실린 논문의 수
D：그 특정 학술지의 그 해의 (2002년도)
Impact Factor = B/C

김병수 객원기자 bskim@kyosu.net
박소연 객원기자 shanti@kyosu.net

SCI 이용료 얼마나 되나

ISI가 제공하고 있는 SCI, SCIE, A&HCI, SSCI, JCR, NCR 등은 상당히 고가의 연구데이터베이스이다. 대학이나 연구기관이 이를 이용하기 위해서는 상당한 금액을 지불해야 한다. 인터넷을 통해 매주 업데이트되는 인용색인 데이터베이스인 ‘웹 어브 사이언스’(web of science)는 대학의 규모와 학생의 인원에 따라 조금씩 가격이 차이가 나지만 대략 6만 달러 수준(한화 7천8백만원)이다. 지난해 서울대는‘웹 어브 사이언스’를 구입하는데 6만3천3백달러를 썼다. 씨디롬 형태로 제작된 SCI 에디션 버전은 3천달러 정도(3백90만원)이다. 가격문제 때문에 규모가 작은 대학은 한해 한번씩 제작돼 배포되는 SCI 씨디 롬 버전만을 구입하고 있다.
영향력지수(IF)를 통해 각 저널 단위로 제공하는 각종 인용분석 정보를 이용할 수 있는 저널분석 데이터베이스 JCR은 7~8천 달러 수준. 각 국가별, 분야별 인용통계 정보를 이용할 수 있는 NCR은 3만2천 달러(4천1백60만원)수준이다.