누리사업 선정 평가의 '타당성'과 '신뢰도'가 비교적 높다는 연구결과가 제출되었다. 지난 7월 29일 이병식 한국교육개발원 부연구위원, 허명회 고려대 교수(통계학), 이규민 계명대 교수(교육학) 등 3인이 공동연구해 제출한 보고서에('한국교육' 제32권 제2호에 수록)에 따르면 선정 평가의 신뢰도는 1점 만점에 0.8점으로 나와서 높은 수준을 보였다.

이번 보고서에 따르면 총 4개의 평가항목 가운데 '정성평가' 항목이 선정에 가장 큰 영향을 미친 것으로 드러났다. 이는 교육부의 정책의도가 실제 평가에서도 반영됨으로써 성공적인 결과로 해석되고 있다. 정성평가 중에서도 평가자들 간의 '내적일치도'를 나타내는 Cronbach a가 0.98점으로 매우 높게 나왔다. 그러나 '정성평가' 이외의 평가항목인 '지역검토', '정량평가', '행제재감점' 등의 항목에서는 0.7 전후를 왔다갔다하는 수준인 것으로 나타나 '정성평가'의 높은 신뢰도와 대조됐다.

보고서가 지적하고 있는 것은 4개의 평가항목의 '이질성'이 평가의 신뢰도를 떨어뜨린다는 것. 각각의 항목을 평가할 때는 별 문제가 없지만, 이것을 합쳐서 종합점수를 낼 때 불합리한 점이 발생한다는 지적이다. 연구자들은 종합점수를 낼 때 다른 방식을 도입하거나, 아니면 평가자의 수를 좀더 늘리는 것이 대안이 될 수 있다고 말한다.

연구원들은 이런 연구결과를 바탕으로 다음 두가지를 제안한다. 평가항목의 이질성을 줄이기 위해 두개의 평가항목을 과감하게 버리자는 것. 즉, 대학의 교원확보율 같은 '정량적 요건'은 최하기준을 둬서 참여요건으로 명문화해놓되, 평가점수에는 반영이 되지 않게 해야한다는 것이다. 마찬가지로 교육부로부터 행정제재를 받은 것도 해당 사업을 수행하는 것과 별 상관이 없으므로 평가점수에 반영하지 않는 게 좋겠다는 것.

두번째는 정성평가의 항목을 간소화할 필요가 있다는 것이다. 현재 평가항목이 너무 많고, 이것을 25-30개 수준으로 줄이더라도 신뢰도에 변화가 없는 것으로 나타났다는 것이 이들의 주장이다.

이번 연구는 누리사업 선정 평가에 대한 철저한 계량적 접근을 취하였다. 평가항목과 지표의 적절성 파악에는 '상관분석', '요인분석' 등의 방법론을 적용했고, 평가결과의 신뢰도에 대해서는 '내적일치도 분석'과 '일반화 가능도 모형'을 활용했다.

강성민 기자 smkang@kyosu.net

강성민 기자 다른기사 보기