카카오, AI 한국어 독해능력 평가서 인간 눌렀다

카카오가 자체 개발한 인공지능(AI) 언어모델이 한국어 독해능력 평가에서 인간을 눌렀다.

카카오는 AI언어모델이 한국어 학습 데이터 ‘KorQuAD(The Korean Question Answering Dataset)’를 바탕으로 한 기계 독해 능력 평가에서 91.85점을 받으며 1위를 차지했다고 31일 밝혔다.

이는 평가 주최인 LG CNS가 인간의 문장 판별 및 독해 능력 수준이라고 밝힌 91.20점보다 0.65점 높은 수치다. AI가 인간보다 높은 점수를 기록한 것은 처음이다.

LG CNS가 운영하는 기계 독해 능력 평가는 미국 스탠포드 대학에서 시작된 AI 언어지능 연구용 질의응답 학습 데이터셋인 SQuAD(The Stanford Question Answering Dataset)와 동일한 방식으로 구현된다. LG CNS는 지난해 12월 한국어 학습을 위한 데이터인 KorQuAD를 구축해 오픈소스로 공개했다.

평가는 데이터셋에서 추출한 내용을 질문으로 제시하고, 개발 모델이 답을 찾아내는 방식으로 진행됐다. 예컨대 “아이유는 1993년 5월 16일 서울특별시에서 태어나 경기도 하남시와 의정부시를 거쳐 서울특별시 광진구에서 자랐다. 하남천현초등학교에서 3학년까지 다니다가 서울 광진구의 서울양남초등학교로 전학가 졸업했다”는 지문을 제공하고, “아이유가 졸업한 초등학교는 어디인가”라는 질문에 “서울양남초등학교”라는 정답을 찾아내는 식이다.

카카오의 AI 언어모델(BERT LM fine-tuned (single) + KHAIII)은 구글의 AI 언어모델 BERT에 카카오의 형태소 분석기 ‘카이(khaiii, Kakao Hangul Analyzer III)’를 접목한 것이다. 조사의 사용과 어미의 다양한 변형 등 한국어의 고유 특성에 최적화했다.카카오는 지난해 말 딥러닝 기술 기반의 형태소 분석기 카이를 국내 최초 오픈소스로 제공했다.

김응균 자연어처리파트장은 “카카오의 인공지능 자연어 처리 기술을 활용해 인간의 독해 능력을 넘어서는 최초의 모델을 구현했다”며 “이번에 개발한 언어모델 기술을 스마트 스피커 카카오미니에 적용하기 위한 연구를 진행 중”이라고 밝혔다.

【서울=뉴시스】