Posted September. 21, 2017 08:32,
Updated September. 21, 2017 08:44
대학수학능력시험 등 각종 시험에 주관식 문항을 도입해야 한다는 목소리가 끊이지 않지만 채점의 어려움이 발목을 잡아왔다. 그런데 대규모 시험에서 주관식 문항을 채점할 수 있는 기술적 기반이 마련됐다.
한국교육과정평가원은 대규모 평가에서 학생들이 작성한 주관식 답안을 효과적으로 채점할 수 있는 ‘한국어 서답형 문항 자동채점 프로그램’을 개발해 최근 4건의 특허를 취득했다고 20일 밝혔다.
한국어는 조사나 어미를 활용해 다양한 형태로 유사한 의미를 표현할 수 있고, 어순이 비교적 자유롭고 생략이 빈번해 기계로 처리하기 까다로운 언어로 꼽힌다. 평가원은 “축적된 한국어 자연언어 처리 기술과 기계 학습 기반 자동분류 원리를 활용해 프로그램을 설계함으로써 한 문장 정도의 답안을 정확하게 채점할 수 있는 수준”이라고 밝혔다.
평가원이 개발한 자동채점 프로그램을 2016년 국가수준 학업성취도평가의 표집 채점에 실제 적용해본 결과 사람이 직접 한 채점보다 정확한 것으로 나타났다. 학업성취도평가에서 단어·구 수준의 답안을 요구하는 문항에 대해 복수의 채점자가 자동채점 프로그램을 이용해 채점한 뒤 결과를 비교해보니 채점자 간 결과가 일치하는 답안의 비율(일치도)은 국어와 과학은 100%, 사회는 99.6%로 나타났다.
반면 복수의 채점자가 직접 한 채점자 간 일치도는 국어 97.5%, 과학 99.3%였다. 이는 다량의 채점을 하다 보면 피로해지고, 주관적 판단도 개입하면서 일관성이 떨어지기 때문으로 분석된다. 노은희 평가원 연구위원은 “태블릿PC 등을 이용한 답안 작성 방식이 도입되면 수능에서도 충분히 서답형 문항 출제와 채점이 가능하다”고 말했다.