UPDATED. 2024-03-29 20:45 (금)
같은 기관이 평가했는데 ‘평가지표’·‘가중치’ 바꾸자 대학 순위 들쑥날쑥
같은 기관이 평가했는데 ‘평가지표’·‘가중치’ 바꾸자 대학 순위 들쑥날쑥
  • 권형진 기자
  • 승인 2010.11.29 14:17
  • 댓글 0
이 기사를 공유합니다

[언론사 대학평가를 평가한다] ②무엇이 문제인가

포스텍(총장 백성기)은 올해 세계대학 평가에서 최고의 해를 보냈다. 포스텍 홈페이지에 들어가 보면 실감이 난다. 홈페이지 첫 화면에는 ‘아시아를 넘어 세계와 경쟁하겠습니다’라는 자신감이 넘친다. 괜한 허세가 아니다. 포스텍은 영국 일간지 <더 타임스>가 지난 9월 발표한 올해 세계대학 평가에서 28위에 올랐다. 서울대(109위)와 카이스트(79위)를 따돌리고 국내 1위를 차지했다. 아시아에서도 홍콩대(21위), 도쿄대(26위)에 이어 3위에 올랐다.


세계대학 순위평가에서 국내 대학이 20위권 이내에 진입한 것은 포스텍이 처음이다. <더 타임스> 세계대학 평가에서 포스텍이 2008년 188위, 2009년 134위로 상승세인 점을 감안하더라도 지난해에 비해 100단계 넘게 순위가 수직상승했다.
포스텍은 당시 보도자료를 내고 “이번 평가는 그간 포스텍이 양적 성장보다 질적 발전을 위해 부단히 노력해온 것을 제대로 인정받은 결과”라며 “포스텍이 세계 최고 수준의 대학으로 발전할 수 있도록 모든 역량을 집중하겠다”는 소감을 밝히기도 했다. 


그런데 세계대학 평가 순위가 눈에 띄게 상승한 대학은 포스텍만이 아니다. 중국과학기술대의 약진도 괄목할 만하다. 지난해 <더 타임스> 세계대학 평가에서 154위에 머물렀던 중국과학기술대는 올해 49위로 순위가 껑충뛰어올랐다. 이 대학은 2008년 141위 등 <더 타임스> 평가에서 그간 140~150위권에 머물렀다. 

평가지표 바꾸자 포스텍 134위 쮡 28위로


올해 <더 타임스> 세계대학 평가에서 순위 변동이 심했던 데에는 이유가 있다. <더 타임스>는 지난해까지 세계대학 평가를 공동으로 실시해 오던 QS(Quacquarelli Symonds)와 결별했다. QS는 지난해부터 <조선일보>와 함께 아시아대학 평가를 실시하고 있는 영국의 직업·교육 평가기관이다. 대신 <더 타임스>는 톰슨로이터社와 손잡고 올해 처음 세계대학 평가를 실시했다.


톰슨로이터는 SCI 논문과 인용 정보 등을 관리하는 세계적인 연구평가기관이다. 덕분에 평가지표가 확 바뀌었다. 논문 피인용 지수 비율이 20%에서 32.5%로 늘었다. 교수 당 박사학위 수여자 수(6%), 학사 수여자 대비 박사 수여자 비율(2.25%), 연구비(5.25%) 등의 평가지표를 추가했다. 한 마디로 미국의 연구 중심 대학이나 박사학위자를 많이 배출하는 대학에 유리한 평가라고 볼 수 있다.


평가지표와 가중치가 바뀌면서 런던대와 맥길대가 20위 밖으로 밀려났다. 미국 대학 가운데도 시카고대, 콜롬비아대, 펜실베니아주립대 등의 순위가 눈에 띄게 하락했다. 듀크대는 14위에서 24위로 쳐졌다. 국내 주요 대학의 순위 하락도 두드러진다. 서울대는 지난해 47위에서 순위가 50단계 넘게 하락했다. 카이스트는 지난해 69위에서 10계단 떨어졌다. 2008년 203위에서 지난해 151위로 올랐던 연세대도 올해 <더 타임스> 평가에서는 다시 190위로 하락했다.


같은 언론사에서 실시하는 대학평가 순위가 이처럼 차이가 나는 것 자체가 언론사 순위평가의 맹점을 고스란히 보여준다는 평가다. 평가의 일관성을 평가기관 스스로 허무는 일이 될 수도 있기 때문이다. 올해 <더 타임스> 세계대학 평가는, 평가지표를 바꾸고 지표의 가중치에 변화를 주게 되면 대학 순위가 얼마든지 오락가락 할 수 있다는 사실을 언론사 스스로 보여주는 한 사례인 셈이다.


평가지표와 가중치가 변하면서 대학 순위가 왔다 갔다 하는 사례는 올해부터 독자적으로 세계대학 순위를 발표하고 있는 QS의 사례에서도 확인할 수 있다. QS는 지난 5월 <조선일보>와 공동으로 아시아대학 평가 결과를 발표했다. 이어 9월에는 독자적으로 세계대학 평가 결과를 발표했다.


QS에서 실시한 두 평가 결과를 보면 재밌는 사실을 발견할 수 있다. QS 세계대학 평가에서 100위 안에 든 아시아 대학 15개의 순위를 비교해 왔더니 불과 4개월 시차를 두고 이뤄진 평가인데도 변동이 꽤 심했다. 두 평가 모두 아시아 대학 가운데 1위를 차지한 홍콩대와 11위에 오른 도쿄공업대, 13위를 한 카이스트를 제외하고는 적게는 1계단에서 많게는 6계단까지 아시아 대학 안에서의 순위에 차이가 났다.

QS, 세계·아시아 대학평가서 순위 변동 심해


특히 국내 주요 대학의 순위 변동이 상대적으로 심하게 느껴진다. 5월 아시아대학 평가에서 62위에 오른 경희대는 9월 세계대학 평가에서는 아시아 대학 가운데 52위를 차지해 순위가 10단계나 상승했다. 부산대 역시 71위에서 60위로 11단계 뛰어올랐다. 카이스트와 경희대, 부산대를 제외한 나머지 8개 대학의 순위는 일제히 하락했다.


아시아대학 평가에서 6위에 올랐던 서울대는 세계대학 평가에서는 9위로, 3계단 내려앉았다. 연세대는 19위에서 20위로, 고려대는 29위에서 31위로 순위가 떨어졌다. 서강대는 52위에서 61위로 9단계나 내려갔고, 성균관대도 43위에서 51위로 8단계 하락했다. 이화여대(48→53위)와 한양대(49→54위)도 순위가 각각 5계단  떨어졌다. 아시아대학 평가가 처음 도입될 당시 국내 대학가에는 ‘대학평가를 새로 시작하려는 언론사와 세계대학 평가에서 저평가 받고 있다고 생각하는 일부 상위권 대학의 이해관계가 맞아떨어진 것 아니겠느냐’는 이야기가 나돌았다. 평가 순위만 놓고 보면, 아시아대학 평가가 적어도 국내 상위권 대학에 불리한 평가는 아닌 셈이다.


똑같이 QS에서 실시한 평가이고, 시차가 4개월 정도밖에 되지 않는데도 아시아대학 내 순위가 다른 이유 중 하나는 평가방법이 다른 데에 있다. QS가 실시하는 세계대학 평가는 동료평가 점수가 총 평가점수의 40%를 차지한다. 아시아대학 평가에서는 동료평가 비중을 30%로 낮췄다. 연구의 질을 평가하는 항목에서도 세계대학 평가는 교수 1인당 피인용 횟수 20%를 반영하지만 아시아대학 평가는 교수 1인당 논문 수 15%와 논문 한 편당 피인용 횟수 15%를 반영해 점수를 산출한다.


평가지표와 가중치가 순위에 미치는 영향력은 올해 <더 타임스>와 QS가 나란히 발표한 세계대학 평가 순위를 보면 더 확연히 알 수 있다. <더 타임스> 세계대학 평가에서 순위가 떨어져 자존심을 다쳤던 런던대와 맥길대, 시카고대, 콜롬비아대대, 펜실베니아주립대, 듀크대는 QS 세계대학 평가에서는 지난해와 비슷한 순위를 유지했다. <더 타임스> 평가에서 순위가 급상승했던 중국과학기술대도 QS 평가에서는 지난해와 같은 154위에 올랐다.


평가 전문가인 이영학 동의대 교수(교양교육원)는 “순위평가에 영향력을 미치는 순서는 평가지표, 가중치, 점수 산출 방법의 순”이라며 “평가지표, 가중치, 점수 산출 방법에 따라 그 결과가 다르게 날 수 있어 1~2등 차이는 아무런 의미가 없는데도 우리나라 대학들이 과도하게 반응하는 측면이 있다”라고 말했다.

권형진 기자 jinny@kyosu.net



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.