“ETS공신력 뒤엔 현미경 검증”

문제당 10단계 검토… IT 기술 활용 수정 또 수정
국내 첫 ‘초청프로그램’ 참여 이희경 고려대 교수

인종-문화 불이익 없도록 출제 후에도 지속 관리
국내 공인시험 성공하려면 통계적 검증절차 확충해야

“꼼꼼한 통계적 검증과 엄격한 심사 아래 정보기술(IT)을 활용한 출제 방식이 전 세계인들에게 공신력을 얻은 바탕이었습니다.”

토익, 토플 출제 기관인 ETS(Educational Testing Service)가 지난달 4주 동안 미국 뉴저지 본사에서 연 ‘초청 학자 프로그램’에 한국인으로는 처음 참여한 이희경 고려대 교수(영문학)는 ETS의 강점을 이렇게 설명했다. ETS는 2000년부터 세계 각국 대학 교수를 비롯한 학자를 본사로 초청해 시험 문항 개발법, 교육 평가, 평가의 공정성에 대해 연구하는 프로그램을 진행해 오고 있다. 1947년 출범한 ETS는 토익, 토플 외에도 대학입학자격시험(SAT), 일반대학원 입학 자격시험(GRE)을 출제하는 비영리기관으로 한국교육과정평가원(KICE)과 비슷한 기능을 맡고 있다. 미국 내 교사인증제도도 담당하고 있다.

이 교수는 “본사에 방문해 보니 공정한 시험을 개발하려고 노력하는 것은 물론 비영어권 지역 영어 교육에 이바지하겠다는 준(準)교육기관으로서의 진정성도 느낄 수 있었다”고 말했다.

이 교수에 따르면 ETS에서 1차로 만든 시험 문제가 실제 시험에 쓰이려면 10단계에 걸친 검토 절차를 통과해야 한다. 검토 단계를 통과한 후에도 파일럿 테스트(모의시험) 결과 공정성에 문제가 있다고 판단되면 ETS는 이 문제를 문제은행에서 삭제한다.

검증 작업은 출제 후에도 계속돼 통계 분석 전문 부서를 두고 사후관리에도 심혈을 기울이고 있다. 이 교수는 “‘사과: 빨강=레몬: ( )’이라는 문제에 대한 통계 분석 결과 유독 히스패닉의 정답률이 낮았는데 히스패닉 문화에서 레몬은 노랑이 아니라 녹색이기 때문”이라며 “ETS는 특정 인종이나 문화에 불리한 문제를 내지 않도록 각별히 신경 쓰고 있다”고 말했다.

IT를 적극 활용하는 것도 ETS 출제 방식의 특징이다. ETS는 시험별로 문항 개발 컴퓨터 프로그램을 도입해 출제 과정을 온라인으로 진행한다. 이 교수는 “ETS는 위키(Wiki) 기술을 기반으로 출제위원들이 문제를 공동 출제한다”며 “원래 실명제였지만 이 방식을 사용한 뒤 바뀌었다”고 말했다. 위키는 인터넷 최대 백과사전인 ‘위키피디아’에 활용된 기술로 참여자 누구나 자유롭게 내용을 수정할 수 있는 방식이다. ETS는 출제위원이 문제를 수정할 때마다 기록을 남긴다. 문제가 수정되면 출제위원들이 수정 내용에 대해 토의를 거치는 방식으로 문항을 최종 완성한다.

교육과학기술부는 토익 토플을 대체할 ‘국가공인 영어시험’을 2012년까지 만들기로 하고 현재 연구를 진행하고 있다. 장기적으로 대학수학능력시험 외국어 영역도 이 시험으로 대체할 계획이다. 하지만 “개발한 지 10년이 넘은 텝스도 모든 분야에서 인정받는 것은 아니다”며 성공 가능성에 의문을 제기하는 사람이 적지 않다.

이에 대해 이 교수는 “출제 시스템이 달라 직접 비교는 곤란하지만 ETS는 출제위원들이 1년 내내 시험 문항을 개발하고 평가하는 일에만 집중한다”며 “우리도 시험 개발에 시간과 인력, 비용 투자를 늘려야 한다”고 조언했다. 그는 특히 “우리나라에 부족한 통계적 검증 절차를 확충해야 공신력을 얻을 것으로 본다”고 말했다.

황규인 기자 kini@donga.com