UPDATED. 2024-03-29 08:45 (금)
[평판도 설문의 문제점은]소수의 응답자 입, 너무 막강하다
[평판도 설문의 문제점은]소수의 응답자 입, 너무 막강하다
  • 권형진 기자
  • 승인 2010.11.29 14:19
  • 댓글 0
이 기사를 공유합니다

<더 타임스>는 올해, 2004년부터 세계대학 평가를 공동으로 실시해 오던 QS와 헤어지고 톰슨로이터社와 손을 잡았다. <더 타임스>는 QS와 결별한 이유 가운데 하나로 설문조사 비중이 지나치게 높다는 점을 들었다. QS의 세계대학 평가에서 설문조사가 차지하는 비중은 50%(동료평가 40%, 고용자 평가 10%)에 달한다. <더 타임스>가 톰슨로이터와 올해 처음 실시한 세계대학 평가에서는 설문조사 비중을 34.5%로 낮췄다. 그래도 전문가들은 설문조사 비중이 높다고 본다.


<더 타임스>가 든 또 하나 이유는, 설문조사 응답자 수가 너무 적다는 점이다. <더 타임스>에 따르면, 2009년 세계대학 평가에서 설문조사에 응답한 사람은 약 3천500명이다. 전문가에게 의뢰한 결과 설문조사 응답자 수를 최소 5배에서 최대 10배까지 확대해야 한다는 권고를 받았다고 <더 타임스>는 홈페이지에서 밝히고 있다. 응답자 분포도 문제가 있었다. 2008년 평가의 경우, 독일은 응답자 수가 182명인데 비해 영국은 563명이었다. 이 같은 응답자 수의 차이는 독일 대학이 영국 대학에 비해 세계대학 평가 순위에서 상대적으로 낮은 평가를 받는 원인 가운데 하나로 지목된다.


이에 대해 이영학 동의대 교수(교양교육원)는 <대학교육> 11·12월호(한국대학교육협의회)에 기고한 「국내외 언론사 대학평가 현황」에서 “<더 타임스>와 톰슨로이터는 2010년 평가에서 1만3천388명이 설문에 응답했고, 지역 및 학문 분야의 분포가 고르며, 10개월간 전문가들의 의견을 청취해 결정했으므로 신뢰성이 높다고 밝히고 있다”라면서도 “QS와 달리 국가와 학문 분야별로 설문 응답자 분포 자료를 공개하고 있지는 않다”고 지적했다.


설문조사 형식의 정성평가는 국내에서 <중앙일보>가 실시하고 있는 대학평가에서도 해마다 논란이 되고 있다. <중앙일보>는 일반기업 및 정부기관 인사담당자 650명과 고교 교장·교감, 진학지도 교사 등 350명을 대상으로 사회평판도 부문에 관한 설문조사를 실시하고 있다. QS나 <더 타임스> 순위평가와 비교해 볼 때 설문조사 응답자 수가 가장 적다. 총 350점 가운데 17.1%인 60점이 사회평판도 점수다.


설문조사에 어떤 사람들이, 얼마나 참여하는지 못지않게 <중앙일보> 대학평가에서는 설문 문항 자체도 논란의 대상이 되고 있다. <중앙일보>가 밝힌 사회평판도 조사는 △신입사원으로 뽑고 싶은 대학 △업무에 필요한 교육이 잘 돼 있는 대학 △향후 발전 가능성이 있다고 판단되는 대학 △입학을 추천하고 싶은 대학 △기부하고 싶은 대학 △국가나 지역사회에 기여가 큰 대학을 순서대로 20개 고르는 식으로 진행된다. 1순위 대학은 20점, 2순위 대학은 19점, 이런 식으로 점수를 부여해 Z점수로 변환한다. 이름이 거론되지 않은 대학에는 0점을 부여한다.


한국대학교육협의회 대학평가대책위원장을 맡고 있는 이현청 상명대 총장은 지난 17일 교수신문과의 인터뷰에서 “우리 사회는 특정 대학에 평판이 이미 정해져 있다. 동문들의 활동이나 사회 전반적으로 볼 때 이미 특정 대학이 우수할 수밖에 없고 이미 많은 득을 볼 수밖에 없는 지표”라고 지적한 바 있다. 학벌사회, 대학 서열화로 대표되는 한국 사회에서는 몇몇 상위권 대학들이 기본점수를 받고 평가에 들어가는 거나 마찬가지인 셈이다. 이 총장은 “평판도는 양적 평가라기보다 질적 평가인데, 문항을 보면 너무 막연하다”라며 ”평가는 신뢰도와 타당도, 객관성이 생명인데 특히 평판도 조사에서 이에 대한 우려가 많다”고 덧붙였다.

 
한 지역 사립대 평가팀장은 “대학 순위평가에 관심 있는 대학은 서울 소재 대학과 지역 거점대학 몇 개 정도다. 나머지 지역 사립대는 사실 별 관심 없다”라며 “상위 20개 정도의 대학들의 ‘도토리 키 재기’를 위해 나머지 대학이 들러리 서는 셈이다”라고 말했다.

권형진 기자 jinny@kyosu.net



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.