AI로 만든 아이돌과 함께 춤을… 동서대 ‘메타버스 가상 공연’ 눈길

[현장속으로]뮤지컬 전공 학생과 콜라보 연출… 공연 모습은 유튜브로 생중계
다음엔 ‘AI 웹드라마’ 제작 계획… 동의대-동명대도 디지털 기술 활용
다양한 메타버스 이벤트 진행

지난달 29일 부산 사상구 동서대 소향아트홀에서 열린 인공지능 가상 아이돌 메타버스 공연 모습. AI 기법으로 만들어진 ‘AI돌’ 버니가 무대 중앙에서 춤을 추고 있다. 동서대 제공

“나에게 널 맡겨 봐. 베이비. 새로운 세상에서….”

지난달 29일 오후 부산 사상구 동서대 소향아트홀. 여전사 복장을 한 가수 ‘버니’가 화염이 솟구치는 배경을 한 무대에서 노래를 부르고 춤을 췄다. 댄서 6명은 중앙에 있는 버니가 더 돋보일 수 있게 안무를 도왔다. 세계적으로 유명한 K팝 그룹 ‘포뷰트’의 새 멤버를 뽑는 오디션에 15억 명의 지원자가 몰렸고 ‘스노우’ ‘오사랑’ ‘윈디’와 함께 최종 결선에 올랐다.

이 같은 장면들은 실제 상황은 아니다. 미래의 한국의 모습을 가정해 제작됐다. 무대에서 파워풀한 매력을 뽐낸 ‘버니’도 사람이 아니라 인공지능(AI)으로 만들어진 가수인 ‘AI돌(AI-DOL)’이다. 실제 사람을 3차원(3D) 스캔해 형상을 본뜨고 그 위에 매력적인 모습을 덧입혀 가상의 캐릭터를 만들었다. AI가 현존하는 수많은 K팝 여가수를 학습하고 분위기와 성격 등 조건에 맞는 캐릭터를 결과물로 도출한 것이다.

이날 오디션에서 AI돌이 부른 노래 4곡 모두 신곡이다. K팝 곡들의 음원과 가사를 머신러닝(기계학습)한 뒤 캐릭터에 맞는 노래를 AI가 만들어냈다. AI 작사모델인 ‘Ko-GPT2’와 작곡 모델 ‘Marenta’가 활용됐다.

AI돌의 공연 모습은 무대 앞부분의 홀로그램막에 투영됐고 이 막 앞과 뒤에서 동서대 뮤지컬과 학생들이 춤을 춰 콜라보 무대가 연출될 수 있었다.

동서대는 지난해 문화체육관광부와 한국콘텐츠진흥원의 ‘2021 인공지능 연계 콘텐츠 혁신인재 양성사업’ 플랫폼 기관에 선정된 뒤 첫 성과로 이날 ‘인공지능 가상 아이돌 메타버스 공연’을 했다. 이 모습은 유튜브로도 생중계됐다.

아이디어에 그쳤던 ‘AI 참여 공연’을 현실화하는 데 걸린 시간은 약 6개월. 동서대는 AI전문기업인 ㈜펄스나인과 함께 일반인과 학생 등 22명을 교육하고 7월부터 가상 아이돌 제작에 본격적으로 나섰다. 콘텐츠진흥원 등으로부터 지원받은 4억8000만 원이 투입됐다.

지역 대학이 4차 산업혁명 기술을 활용해 유례가 드문 미래형 예술 콘텐츠를 만들어 냈다는 것에 의의가 크다는 평가가 나온다. 특히 동서대는 AI를 통해 댄스와 발라드 등 다양한 장르의 음악을 제작하는 경험을 쌓았다.

사업을 총괄한 동서대 김기홍 소프트웨어융합대 교수는 “디지털 신기술만 잘 활용하면 음악 전공자가 아니어도 단시간에 K팝 같은 예술 콘텐츠 제작에 나설 수 있다는 것을 학생들이 체험했을 것”이라며 “가상인물이 실제 배우와 연기를 하는 ‘AI 웹드라마’도 앞으로 작품으로 내놓을 계획”이라고 말했다.

동서대뿐만 아니라 부산지역 대학들이 최근 메타버스나 AI 등 디지털 신기술을 활용해 다양한 혁신 실험에 나서고 있다. 동의대는 8월 신종 코로나바이러스 감염증(코로나19) 여파로 후기 학위수여식을 열 수 없게 되자 ‘메타버스 졸업식’으로 대신했다. 메타버스 플랫폼 ‘마인크레프트’를 활용해 가상캠퍼스에 졸업생을 아바타로 참여시켜 단체사진을 찍고 다양한 이벤트를 진행했다. 동명대도 10월 시각디자인학과 졸업전시회를 메타버스 플랫폼 ‘게더타운’을 활용해 열었다.