UPDATED. 2024-03-29 14:20 (금)
지표 비중만 바꿔도 지역대학 5%가 뒤집혀
지표 비중만 바꿔도 지역대학 5%가 뒤집혀
  • 권형진 기자
  • 승인 2013.06.05 15:37
  • 댓글 0
이 기사를 공유합니다

정성평가 도입한다고 교육역량강화사업 근본문제 없어지나

교육부가 올해 대학 교육역량강화사업에 정성평가를 처음 도입하면서 재정지원 제한대학 평가도 비슷한 방향으로 가지 않겠느냐는 전망이 나온다. 재정지원 제한대학 평가 역시 기본적으로는 정량지표로 구성된 산식을 활용하는 포뮬러(Formula) 방식이기 때문이다. 홍민식 교육부 대학재정지원과장은 “몇 가지 지표만으로 선정하는 데 대한 비판이 있어 (정성평가 도입을) 여러 대안 중 하나로 검토하고 있다”라고 말했다.

A대가 경영부실대학 지정에서 빠진 이유

그런데 정량지표 외에 정성평가를 일부 보완하는 방식이 전혀 새로운 것은 아니다. 이미 경영부실대학 지정에서 활용하고 있다. 경영부실 대학은 학자금 대출제한 대학을 대상으로 정량평가를 실시한 뒤 실태조사를 거쳐 최종 확정한다. 지난해의 경우 학자금 대출제한 대학  13곳 가운데 이미 경영부실대학으로 지정된 5곳을 제외하고 8곳을 대상으로 실태조사를 실시했다. 교육부가 서남수 장관 인사청문회 때 국회에 제출한 자료를 보면, T점수 합산 결과가 50점 미만인 대학 4곳이 경영부실대학 지정 대상이었다.

이 가운데 유일하게 경영부실대학 지정에서 제외된 A대학을 보면 올해 정성평가가 어떤 식으로 진행될지 짐작할 수 있다. A대학은 설립자가 횡령 등으로 구속돼 임시이사가 선임된 대학이다. 대학구조개혁위원회는 학교 정상화를 위한 신임 이사장과 총장의 의지가 강하고, 학교를 건실하게 운영하고 있는 점을 높이 평가했다. 특히 A대학은 등록금 수입 외에 수익사업이 전혀 없는 상황에서도 기숙사 신축과 교육시설 개선 등에 15억6천만원을 투자했고, 이 때문에 교육비 환원율이 낮아지게 됐다고 구조개혁위는 판단했다. 유형고정자산으로 지출된 9억1천만원을 직접교육비에 지출했을 경우 교육비 환원율이 135.2%로 높아져 학자금 대출제한 대학에 포함되지 않는 점도 구조개혁위가 A대학을 경영부실대학 지정에서 제외한 이유 가운데 하나다.

결국 정성평가에서는 개별 대학의 특성과 사정을 고려해 지표값이 갖는 의미를 살펴보고, 지표값의 변화 추이, 개선 노력과 의지 등을 중요하게 보는 셈이다. 하지만 경영부실대학 지정에서 보듯 기본은 정량평가 결과다. 포뮬러 펀딩 방식의 재정지원사업에서 정량평가 순위와는 다르게 선정했을 경우 탈락한 대학이 쉽게 수긍할 수 있을지는 의문이다. 대학이 반발이라도 할 경우 교육부도 부담이 될 수 있다. 결과적으로 정성평가는 커트라인 조정에 활용하는 정도에 그칠 가능성도 있다.

지표 타당도·순위 결정 방식도 문제

정성평가로 일부 보완한다 해도 교육역량강화사업 평가방식이 갖는 근본 문제는 사라지지 않는다. 우선 평가지표의 타당성은 교육역량강화사업에서 단골로 지적되는 메뉴다. 평가지표가 교육역량을 제대로 측정하고 있는가에 대한 문제 제기다. 박경호 경운대 교수가 2009년 교육역량강화사업을 대상으로 평가지표의 구인타당도와 신뢰도를 분석한 결과, 성과지표는 문제가 있는 것으로 나타났다. 특히 취업률 지표는 다른 지표들과의 상관관계가 상대적으로 낮았다. 같은 성과지표인 재학생 충원율과는 상관관계가 높아야 하는데 거꾸로 부(-)적인 관계였다.

오범호 경남대 교수는 교육역량강화사업 선정에 영향을 미치는 요인을 분석한 적이 있다. 2009년, 2010년 교육역량강화사업이 대상이다. 분석 결과 지표 비중이 높은 취업률과 재학생 충원율의 영향이 결정적이었다. 2009년의 경우 취업률이 1% 높은 대학은 사업 선정 가능성이 1.59배 가량 높았다. 2010년에는 1.88배로 늘었다. 재학생 충원율이 1% 높아지면 선정 가능성이 2009년에는 1.66배, 2010년에는 1.53배 높았다. 둘 다 대학의 노력과 상관없이 지역대학이 불리하다고 지적돼온 지표들이다. 단순 불만이 아니라 이유가 있었던 셈이다. 게다가 교육여건과 성과가 같을 경우 수도권 대학의 선정 가능성이 지역대학보다 높은 것으로 분석됐다.

포뮬러 방식의 평가에서는 어떤 지표를 넣느냐, 지표별 가중치를 어떻게 두느냐에 따라 평가 결과가 달라진다. 채창균 한국직업능력개발원 선임연구위원이 지표 가중치를 다르게 해서 선정 결과를 분석했더니 중위권 대학의 순위 변동이 심했다. 특히 지역대학의 순위 변동 폭이 상대적으로 컸다. 대략 순위에 1~3위 정도의 변화가 있었다. 교육역량강화사업에서 순위는 지원금액에도 영향을 미친다. 이 뿐만이 아니다. 순위뿐 아니라 선정 자체에도 영향을 미쳤다. 지역대학의 경우 지표 비중을 달리 하면 기존에 선정된 대학의 5% 이상이 교체되는 것으로 나타났다.

최근에는 순위 결정 방식에도 문제가 있는 것으로 확인됐다. 강홍준 박사가 2011년 교육역량강화사업을 분석한 결과, 8개 유형별로 최하위 1개 대학을 제외했을 때 6개 유형에서 순위가 뒤바뀌는 현상이 발생했다. 더군다나 수도권 소규모 대학에서는 기존에 선정됐던 대학이 탈락하고, 탈락한 대학이 선정되기도 했다. 지표별로 점수를 표준화하고, 합산하는 방식에 문제가 있는 것이다. 순위 역전은 주로 취업률의 변화 탓이었다. 이는 비슷한 방식을 사용하고 있는 재정지원 제한대학 평가에서도 순위 결정의 신뢰성과 안정성이 문제가 될 수 있다는 말이다.

이러한 실증 분석 결과만  봐도 대학 관계자와 전문가들 사이에서 “설계를 전면적으로 새롭게 해야 한다”는 문제 제기가 나오는 것이 무리는 아니다. 한국대학교육협의회 평가지원부장과 대학평가원장을 지낸 이영호 서울기독대 교수는 “교육역량강화사업은 매년 포뮬러 지표와 산정방식을 둘러싼 잡음이 발생했고, 이를 개선하는 시행착오를 되풀이하고 있다. 대학교육의 역량 가운데 무엇이 얼마만큼 개선됐는지를 따져봐야 한다”라고 말했다. 채창균 위원은 앞의 연구에서 “교육역량의 개념을 명확히 정의하고, 이의 향상 정도를 측정할 수 있는 지표를 개발·적용해야 한다”라고 지적했다.

2011년 교육역량강화사업에서 수도권 소형(학부 재학생 수 5천명 이하) 대학에서는 총 13개 대학 가운데 6개가 선정됐다. 위 표와 같이 1위에서 6위 사이에서 순위 역전은 10위에서 13위까지 4개 대학을 제외했을 때, 9위부터  13위까지 5개 대학을 제외했을 때 등 총 4번에 걸쳐 나타났다. 특히 탈락대학에 해당하는 8위부터 13위까지 6개 대학을 제외했을 때 탈락 대상이었던 150대학의 순위가 선정 대학이었던 146대학의 순위를 앞선 것으로 나타났다. 최하위 대학부터 하나씩 제외했을 때 순위 역전이 나타났는지 확인한 결과 수도권 소형 대학에서의 순위 역전은 선정과 탈락의 역전 결과까지 초래했다.

권형진 기자 jinny@kyosu.net



댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.