머릿속 훤히 읽고 말로 표현… ‘AI 아바타’ 말솜씨 좋아졌네

AI가 뇌 활동 포착해 언어화
뇌중풍-루게릭병 환자 도와
기존 장치 대비 4배 빨라져
오류율은 5분의 1 수준으로

말하는 능력을 잃은 환자가 뇌-컴퓨터 인터페이스를 이용하는 모습. 사진 출처 국제학술지 네이처 ⓒSteve Fisch

머릿속에 떠올리는 생각과 상상은 나만의 비밀 영역이다. 과학자들이 이 같은 비밀 영역의 베일을 벗기기 위한 진일보한 기술을 개발했다. ‘뇌-컴퓨터 인터페이스(BCI)’ 기술이다.

국제학술지 네이처는 23일(현지 시간) 뇌와 컴퓨터를 연결해 상호 작용하도록 만드는 BCI 기술로 마비 환자의 생각을 읽고 해독하는 데 성공한 2편의 연구 결과를 공개했다. 기존 기술보다 빠르고 정확하게 더 많은 어휘를 해독할 수 있다는 게 골자다.

뇌중풍(뇌졸중)이나 루게릭병 등 신경학적 장애가 있는 환자는 근육 마비로 말을 하기 어려운 경우가 있다. 기존 연구에 따르면 마비가 있는 사람의 뇌 활동을 말로 해독하는 것은 한정된 텍스트 형태와 어휘를 제한된 속도와 정확도로만 가능했다. 이번에 발표된 논문들은 이 같은 기존 한계를 뛰어넘는다는 점에서 주목된다.

프랜시스 윌렛 미국 스탠퍼드대 신경보철·번역연구소 연구원 등은 인공지능(AI) 기술인 인공신경망으로 발성을 해독하는 훈련을 받은 새로운 BCI 장치를 고안했다. 뇌에 삽입한 미세 전극 배열을 통해 단세포의 신경 활동을 수집하는 방식이다. 연구팀은 이 BCI 장치를 말을 하기 어려운 루게릭병 환자를 대상으로 실험했다.

실험 결과 평균 분당 62개 단어를 말하는 속도로 의사소통을 할 수 있었다. 기존 장치 대비 3.4배 향상된 속도다. 일반인의 평균적인 대화 속도는 분당 160개의 단어를 사용한다. 일반인 대화 속도에 점차 가까워지고 있는 것이다. 단어를 잘못 인식하는 비율도 줄었다. 오류율은 2021년 BCI 버전보다 3분의 1 수준인 50개 단어 기준 9.1%였다. 12만5000개 어휘 기준으로는 23.8%의 오류율을 보였다.

에드워드 창 미국 샌프란시스코 캘리포니아대(UCSF) 신경외과 교수 연구팀은 다른 방식의 BCI를 개발했다. 뇌 표면에서 언어피질 영역의 세포 활동을 감지하는 비침투 전극을 사용해 뇌 활동에 접근했다. 연구팀은 이를 통해 뇌 신호를 해독해 글자, 음성, 말하는 아바타 등 세 가지 형태를 동시에 생성할 수 있는 BCI를 만들었다.

연구팀은 ‘뇌간 뇌졸중’으로 중증 마비가 있는 환자로부터 수집한 신경 데이터를 해독하기 위해 딥러닝 모델 훈련도 시행했다. 이 BCI는 뇌 활동을 글자로 번역하는 속도가 분당 78개 단어를 말하는 속도로 이뤄졌다. 이는 이전 기록보다 4.3배 빠른 수준이다.

50개 구절 기준 오류율은 기존 BCI보다 5분의 1로 줄어든 4.9%였다. 1000개 이상 어휘로 구성된 문장을 해독할 때는 25%의 오류율을 보였다. 뇌 신호는 누구나 이해할 수 있는 합성 음성으로 전환됐고, 언어뿐 아니라 표정을 나타낼 수 있는 아바타 얼굴의 움직임으로도 표현됐다. 연구팀은 “BCI의 안정적인 고성능 해독을 몇 달에 걸쳐 입증했다”며 “신경학적 손상으로 마비가 있는 사람들이 보다 자연스럽게 의사소통할 수 있는 가능성이 열리고 있다”고 말했다.