멀티모달 신호 융합 딥러닝 네트워크 연구

[올해의 우수 산학 프로젝트]
산업부 장관상 VDSL팀 - 서강대, 현대모비스

자율주행차 시대가 도래하면서 탑승객의 편리한 주행 환경을 위한 다양한 분야의 AI 연구가 진행되고 있다. 그중 올해 산학 프로젝트 챌린지에 참가한 VDSL팀은 멀티모달 기반 영상 분할의 정확도 개선을 통해 고품질의 AI 서비스를 제공하는 기술 개발로 산업통상자원부장관상을 수상했다.

멀티모달이란 이미지, 텍스트, 음성, 비디오 등 다양한 모달리티를 동시에 받아들여 사용하는 것을 말한다. 기존의 자율주행 영상 분할 딥러닝 기술은 미리 지정된 범위에 대해서만 딥러닝 모델을 학습시키기 때문에 학습 과정에서 사용되지 않은 범주에 대해서는 처리하지 못했다. 또한 영상 내 객체 간의 관계, 영상의 특정 상황에 대한 이해력이 부족하고 사용자가 원하는 객체만을 검출하는 것은 불가능했다. 이러한 한계점을 개선하고자 VDSL팀은 멀티모달 신호를 효과적으로 융합하는 딥러닝 네트워크를 개발해 제약 없는 언어 표현이 지칭하는 타깃 객체에 대한 영상 분할 정확도를 향상했다. 이를 통해 기존에는 AI가 전해주는 영상 정보만 받을 수 있었지만 멀티모달 AI 기술 활용으로 사용자가 원하는 정보를 입력해 전달받는 것이 가능해졌다. VDSL팀은 이번 연구 내용을 바탕으로 SCIE급 저널에 논문을 제출했으며 프로젝트에 참여한 학생은 대기업 산학 장학생으로 선정돼 취업까지 연계됐다.

이번 프로젝트를 이끈 서강대 VDSL팀 조유빈 팀장은 “이러한 기술을 효과적으로 활용해 사람들의 삶을 더 편리하고 새롭게, 더 나은 방향으로 이끌어 가는 것이 공학도로서의 목표”라고 밝혔다. 이어 “차별화되고 트렌디한 기술들로 시야의 폭을 확장해 나가며 인공지능 연구개발에 더욱 매진해 다른 AI 전문가에게도 인사이트를 제공하는 영향력 있는 AI 전문가가 되겠다”는 포부를 밝혔다.