‘유에스뉴스’의 대학순위도를 얼마나 신뢰할 수 있을지에 대해서는 논란이 많다. 비판의 초점은 통계기법의 변화, 설문조사의 성실도에 따른 순위변동, 동문기부금의 과도한 평가비중, 재학생의 만족도에 대한 부실한 평가 등에 맞춰지고 있다. 지난해 8월, 미국의 시사일간지 ‘뉴욕타임스’는 ‘유에스뉴스’에서 대학순위를 산정했던 에이미 그레이엄이 월간 ‘워싱턴’에 기고했던 글을 인용하며 비판을 던졌다.

우선 평가방법에 대해서는 평가방법이 달라지면 순위가 고무줄처럼 늘어난다는 것이다. 학생 1 인당 교육비에 대한 평가방법을 개선한 이후 1년 사이에 캘리포니아 공과대는 9위에서 1위로 존스홉킨스대는 14위에서 7위로 순위가 급상승했다.

통계절차와 점수산출 방법에 따라 순위에 변동이 생기는 것 역시 순위조사의 신뢰도에 악영향을 미치고 있다. ‘뉴욕타임스’에 따르면, 캘리포니아 공과대의 순위가 지난 98년 9위에서 이듬해 1위가 되었다가 2000년에는 4위로 바뀌었던 것은 “교육의 질이 아니라 통계 방법이 약간씩 변화된 데서 발생한 차이일 뿐”이라는 것이다.

‘유에스뉴스’의 우수대학 선정기준 자체가 학문의 질을 종합적으로 평가하지 못한다는 비판은 결정적이다. 지난 해 9월에 발표된 대학별 순위를 살펴보자. 프린스턴대가 1위이고, 하버드대와 예일대가 99점을 얻어 공동 2위로 평가받았다. 4위는 96점을 얻은 캘리포니아 공과대, 이어서 MIT대, 스탠포드대, 펜실베니아대가 95점으로 공동 5위를 차지했다. 종합순위는 지명도, 졸업생 수, 교수 대 학생 비율, 재정형편, 그리고 동문기부금 규모 등의 기준을 수치화해서 평가하고 있다. 그렇다면 규모가 크고 재정이 넉넉한 종합대학일수록 유리한 위치를 차지할 수밖에 없게 된다.

무엇보다 대학을 평가할 때 순위 자체는 그다지 중요하지 않을 수 있다는 지적은 이번 대학원 순위를 지켜보는 독자들이 유념해야할 부분이다. 흔히 미국대학의 순위매기기 경쟁을 유럽대학의 평가방법과 비교하면 더욱 그렇다. 영국만 해도 정부기관인 고등교육재정위원회(HEFCE)가 매 4년마다 대학을 평가하지만 절대평가일 뿐, 종합 랭킹은 발표하지 않는다. 오랜 세월 사회화과정 중에 형성된 대학의 이미지에 비해 순위를 그다지 신뢰하지 않는 국민정서는 미국과 분명한 차이가 난다.

평가는 ‘하나’의 기준일 뿐이다. 미국 내에서 손꼽히는 대학평가 자료만 해도 가지가지라는 사실을 다시 한번 떠올려보자. 미국의 경제전문지 ‘비즈니스 위크’의 경영학대학 평가, 잭 고먼 박사가 2년마다 개정판을 내놓는 ‘고먼 리포트’, ‘배론 프로필’(Barron’s Profiles of American College), ‘피터슨 가이드’, ‘에듀케이셔널 랭킹스’(Eudcational Rankings) 등, 평가와 순위는 관점과 평가자에 따라 달라지는 상대적인 기준이다. ‘유에스뉴스’ 대학 순위 역시 하나의 평가 기준이라는 사실을 잊지 말아야할 것.
이옥진 기자 zoe@kyosu.net