UPDATED. 2022-10-05 14:46 (수)
연구자 60% “연구업적 정성평가 필요”
연구자 60% “연구업적 정성평가 필요”
  • 김재호
  • 승인 2022.09.19 08:58
  • 댓글 1
이 기사를 공유합니다

한국연구재단, ‘연구업적 평가제도’
연구책임자 3천268명 설문조사

“연구의 질 향상을 위해 동료평가에 의한 정성평가 제도가 필요하다.” 국내 연구책임자의 59.8%는 연구업적의 정성평가 제도가 필요하다며, 33.3%는 필요한 정성적 요소로 동료평가를 언급했다. 지난 7일, 한국연구재단은 3천268명이 설문조사에 참여한 「2022 국내·외 대학의 연구업적 평가제도 소개」(이하 보고서)를 공개했다. 설문 참여자의 76.5%인 2천500명은 현직 대학교수들이다. 설문은 올해 4월 18일부터 12일간 진행됐다.

 

 

응답자의 53.1%는 정량적 연구업적 평가가 부실의심 학술지·학술대회 참여를 유도한다고 답했다. 소속기관의 연구업적 평가 방식을 묻는 질문에 정량평가(51.6%), 혼합평가(45.9%), 정성평가(2.0%) 순으로 나타났다. 연구업적 평가방식의 개선이 필요한지에 대한 질문에는 필요(36.6%), 매우 필요(14.5%)로 총 51.4%는 필요하다고 했다. 다시 말해 국내 연구진의 절반은 현재의 정량적 연구업적 평가가 연구윤리 위반을 유도하기 때문에 개선이 필요하다는 것이다.

정성적인 연구업적 평가방식의 도입이 필요한 이유는 연구의 질 향상(46.4%)의 뒤를 이어, 정량평가와 정성평가 혼합 필요(27.5%), 정량평가 한계 극복(24.1%)으로 조사됐다. 업적 평가 시 필요한 정성적 요소로는 △동료평가(33%) △승진평가 위원회(19.1%) △본인기술 평가서(15%) △사회적 영향력(12.6%) △전문가 추천서(11.9%)로 나타났다. 사회적 영향력은 연구 출판물 이외의 사회 영향 정도로 기초 데이터, 특허, 사업권, 정책 반영 등을 말한다.

특이 사례로 한양대는 2019년부터 교원들에 대한 정년보장(테뉴어) 심사에서 ‘레퍼런스 제도’ 도입을 통해 대표업적에 대한 정성평가를 실시하고 있다. 논문 수를 평가하지 않고, 심사 대상 교수가 ‘대표업적’으로 내세울 만한 2~3편의 논문이 학계에서 실질적으로 유의미한지를 외부의 시각에서 평가하는 방식이다. 이를 위해 한양대는 해외 유명 학술지의 편집위원, 국내외 다른 대학 교수 등 총 4~5명의 외부인사에게 일정한 대가를 지급하고 평가서를 제출받는다.

기존 동료평가 제도는 평가를 받는 교수의 소속 학과장이 임의로 국내 교수 위주로 평가위원을 선정하다 보니 익명성이 거의 보장되지 않는다는 게 학계의 공통적인 지적이다. 또한 외부 평가위원이 교내 평가위원과 함께 참여하기 때문에 독자적 권한이 없는 거수기 역할을 할 수밖에 없었다는 지적이 있었다. 이에 한양대의 레퍼런스 제도는 외부 인사만의 심사를 통과해야만 테뉴어를 받을 수 있는 방식으로 운영된다. 7~8개의 평가 항목에 따라 세밀한 의견이 첨부되고 4~5명의 독립적인 편집위원 등의 평가가 반영되기 때문에 기존 동료평가보다 심사에 미치는 영향력이 크다는 게 특징이다. 

 

한국연구재단의 「2022 국내·외 대학의 연구업적 평가제도 소개」(이하 보고서)에 따르면, 정성적인 연구업적 평가 도입 시 적정 비중은 20∼40%(41.3%)이 제일 많은 답을 얻었다. 그 다음으로 40-∼60%(31.7%), 20% 이하(14.8%), 60∼80%(8.8%), 80∼100%(3.4%) 순으로 답했다. 부실의심 학술지·학술대회 이용 방지를 위해 연구업적 평가 시 정성적 요소를 강화하도록 하는 것은 적절한 대안인가에 대해선 긍정(31.3%), 매우 긍정(8.2%)을 합하면 39.5%였다. 부정(16.6%)과 매우 부정(7.4%)을 합하면 24%이다. 즉, 정성적 평가제도 도입에 대해 부정보다 긍정이 많다. 

 

SCI 논문지표만이 능사 아니다…‘저널 지명도와 논문 수’ 집착 넘어야 

소속기관의 연구업적 평가방식의 개선이 필요하다고 생각하는지 물었다. 이에 대해 필요(36.6%), 매우 필요(14.8%)를 합하면 51.4%가 필요하다고 밝혔다. 가장 개선해야 하는 부분에 대해선 △계열 특성을 반영한 평가방식 조절(31.0%) △정성평가 도입(18.9%) △업적인정 범위확대(17.6%) △정량평가 축소(15.0%) △연구업적 배점 상향(13.1%) 순이었다. 

 

연구책임자 51.4%, "업적 평가방식 개선 필요하다"

'계열 특성 반영한 평가 방식 조절' 개선 요구 커

소속기관의 연구업적 평가 기간은 1년이 78.5%로 가장 많았다. 2년은 10.6%, 학기별은 3.1%이었다. 연구업적 평가방식은 기관특성, 즉 지역이나 연구 혹은 교육 중심을 반영하고 있는지 질문했다. 이에 대해 긍정(34.6%)과 매우 긍정(5.2%)을 합한 긍정은 39.8%, 부정(18.2%)과 매우 부정(7.4%)을 합한 부정은 25.6%이었다. 보통은 34.5%였다. 즉, 연구업적 평가방식이 기관특성을 반영하고 있는지에 대한 질문에 긍정이 부정보다 많았고, 보통이라고 답한 연구자들도 상당했다. 

국내 주요 대학들의 연구업적 평가규정을 비교 분석한 결과, 학문계열마다 약간씩 차이가 있으나, KCI 등재지 논문보다 SCI 등재지 논문의 평가배점이 3배 이상이었다. 분석대상은 가천대부터 홍익대까지 세계·아시아 대학평가 및 국내 대학평가 순위목록에 최소 1회 이상 포함되어 있는 국내 대학 중 ‘교원업적 평가규정’을 공개하고 있는 41개 대학들이다. 

매해 6월 발표되는 JCR의 영향력 지수 또한 34개 대학이 활용하여 가산점 등을 부여하고 있다. 충남대는 JCR의 영향력지수뿐만 아니라 피인용수도 업적물 평가배점의 가산점으로 적용하고 있다. 또한 국내보다 국제 학술대회 발표가 평가배점에서 2∼3배 많았다. 국내 전문서적의 평가배점은 KCI 논문보다 약 1.5배 높았고, 창작도서(사전, 문학류, 일반 교양서적 등)의 평가배점은 국내 전문서적의 약 3분의 1 수준이었다. 41개 대학 중 8개 대학(20%)은 학술지 논문의 문서 유형(Document Type)에 따라 평가배점을 차등 적용 중이다. 

또한 보고서는 THE, QS 등의 세계대학 순위 상위 50개 대학 중에서 대학내규 등 문헌조사를 통한 비교분석이 용이한 10개 대학의 업적 평가 문서를 분석했다. 예를 들어, 스탠퍼드대의 질적 평가요소에서 업적평가는 학문·교육·봉사·임상 등의 영역에서 이루어지나 학문과 교육이 중점 심사 대상이다. 런던대는 외부 추천서, 학생지도 등 다양한 부분으로 교수 평가를 진행한다. 대부분은 학문(연구), 교육, 봉사 영역으로 업적을 평가하며, 일부 대학은 산학협력에 대한 평가 요소도 가지고 있다.

보고서에 따르면, 국내 대다수 대학의 연구업적 평가방식은 동료평가보다는 연구결과물이 수록된 매체의 지명도와 결과물의 양을 측정하는 정량평가 방식이었다. 연구업적 관련 기사 한계점을 보완하기 위해 JCR 영향력지수 또는 논문 피인용 수를 활용하고 있으나 ,연구의 질적 수준을 적절하게 평가하지 못하고 있다는 비판이 있다. 이를 보완하기 위해 국내 주요 대학들은 SCI 논문지표의 정량 평가를 개선하기 위해 동료평가를 활용한 질적 평가제도 도입을 확대하고 있다. 

보고서는 다음과 같이 연구업적 평가의 8대 원칙을 제안했다. △타당성(평가의 정량화, 평가의 정성화) △신뢰성(지표의 다각화, 지표의 최신화) △공정성(평가의 투명화, 평가데이터의 객관화) △공평성(학문분야에 따른 다양화, 지표의 국제화 및 지역화). 

김재호 기자 kimyital@kyosu.net


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 1
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
신준석 2022-09-21 15:12:17
뭔가 '본말전도' 또는 '주객전도' 된 듯... 국민혈세로 연구하는 경우, 사회적영향력, 인류사회 기여여부를 판단하는 것이 가장 우선순위가 되어야 할 것 같은데, '동료평가'가 먼저라니... 아직도 인민재판식 평가를 하고 싶은 것인가? 협조를 잘 하지 않은 동료들이 무엇을 평가한다는 말인가? 이런 인식이 더 많다면 학계가 심하게 걱정된다.