이건창 교수 연구팀은 이번에 개발한 ‘연구성과 추적시스템 모델’을 “연구성과의 양적·질적 수준을 측정, 정량적 결과를 나타낼 수 있는 복합지표”라고 소개했다. 복합지표는 현행 단순 논문 개수 세기 수준의 양적 성과 계산을 극복, IF와 피인용횟수 등 질적 성과 평가를 도입했다. 또 각 연구논문에 투입된 연구비에 따라 연구지원등급을 나눠, 연구비 대비 연구성과를 계산해 연구효율성을 감안한 것이 특징이다.

이 교수는 이번 모델 개발 이유에 대해 “기존 R&D 사업의 평가시스템은 논문 발표빈도수에 의존하는 단순한 평가구조로 효율적으로 성과 및 학진의 투자효과를 측정하는데 한계가 있다”면서 “학술논문 및 프로젝트가 제시한 성과물이 다른 후속 성과물에 미치는 영향이나 다른 학제에 미치는 영향 등은 평가 대상에서 제외돼 왔다”고 지적했다.

연구팀은 우선 학진이 지원한 과제의 논문 중 SCI급 연구결과논문 1만2천418편을 대상으로 영문 논문명, 전체 저자 수, 권, 호, 시작페이지, 종료페이지, 학술지명, 발행처, IF, 출판년도 등의 논문 기본 속성들이 실제와 같은 지 확인대조작업을 거쳤다.

이 후 ISI Web of Knowledge(http://isiknowledge.com)를 통해 1차인용된 논문 및 2차인용된 논문 정보 검색을 4개월에 걸쳐 실시했다. 또 학진 지원과제 중 2004년에 발행된 2천289편의 KCI급 연구결과 중 1천576편을 정비, 이 중 논문 215편에 대한 1·2차 피인용지수를 계산해 정리된 논문들을 대상으로 DB화를 추진했다.
연구팀은 KCI(학진등재(후보)지 인용색인) 학술지 게재 논문이면서 SCI급이 아닌 논문을 빼고, DB화하기에는 원소스에 문제가 있는 논문을 제외했다. IF 조사가 불가능하거나 논문명 검색이 불가능한 논문도 조사에서 제외했다. 따라서 이번 DB는 SCI급 저널 논문을 중심으로 평가해 인문·사회과학 등 상대적으로 SCI 데이터베이스에서 검색이 어려운 논문은 제외됐다.

연구팀은 DB내 논문에 대한 IF별 1·2차피인용횟수을 계산해 가중치를 산출, 1차 피인용횟수 84.147%대 16.852% 가중치와 IF 가중치를 포함시켰다. 이에 따라 ‘전체피인용횟수 = 1차피인용횟수×0.84147 + 2차피인용횟수×015852’로, ‘복합지표 = IF×0.514 + 1차피인용횟수×0.393 + 2차피인용횟수×0.093’으로 계산했다.
연구팀은 연구비를 1억6천5백만원, 5천9백만원, 2천8백만원으로 가~라의 4등급으로 구분, 각 등급 안에서 복합지표 점수에 따라 논문 성과를 A(우수), B(보통), C(미흡), D(부적정)의 4가지로 각각 25%의 비율로 상대평가했다.

연구팀은 “복합지표를 활용해 연구비 규모에 따라 평가등급을 정해 지원된 연구비의 규모별로 과제, 사업, 대학 등의 연구성과에 대한 질적 평가를 도출할 수 있다”면서 “연구자별 성과논문의 지표값에 따라 우수성과 논문을 측정하는 기준으로 활용될 수 있다”고 밝혔다.

박상주 기자  sjpark@kyosu.net