포스트코로나(Post-COVID). 코로나19 이후 시대를 뜻한다. 강제적으로 다른 사람과의 만남을 제한했던 코로나19의 제약은 많은 것을 변화시켰다. 집합문화의 대명사였던 학교는 온라인 교육을 병행하고, 매일 회사로 출퇴근을 반복했던 직장인은 집 한켠에 나만의 사무실을 만들어 업무를 진행한다. 가게를 방문한 손님은 키오스크 앞에서 주문하고 결제해 원하는 상품을 구매하며, 몸이 아픈 환자는 노트북 또는 스마트폰 화면 속 의사에게 증상을 말하고 약을 배송받는다. 포스트코로나, 비대면 시대는 자연스럽게 일상 속으로 찾아왔다.
비대면 문화의 확산과 함께 주목받는 것이 메타버스(metaverse)다. 초월 또는 그 이상을 뜻하는 메타(meta)와 세상을 뜻하는 유니버스(universe)를 더한 메타버스(metaverse)는, 온라인 공간을 이용하는 새로운 방식을 제안한다. 지금까지 사람들은 다양한 방식으로 온라인 공간을 구성하고 활용했다. 인터넷 등장 초기에는 텍스트 기반의 채팅, 게시판 등을 통해 소통했고, 이후 정보를 담은 이미지 기반의 홈페이지와 블로그로 확장했다. 이제는 지구 반대편의 소식을 빠르게 실시간 동영상으로 접한다.
이러한 방식들은 대부분 사실, 생각, 감정 등의 정보를 전달하는 소통의 창구다. 메타버스는 여기서 한단계 더 나아간다. 현실세계를 동일하게 또는 일부 변형해서 구현한 온라인 공간을 활용한다. 학교, 회사, 공연장, 공원 등 여러 사람이 모일 수 있는 온라인 공간을 입체적으로 구현한 뒤, 사람들이 아바타(avatar)를 이용해 온라인 공간에 입장, 현실세계와 같은 사회적 활동을 이어간다. 사람들은 자신의 아바타를 조정해 다른 사람의 아바타와 함께 입학식･졸업식･회의 등과 같은 공동 활동을 하고, 공연을 관람하며, 휴식을 취한다. 공간 자체는 가상적이지만 경험의 효과는 실제적이다.
판교에 위치한 메타버스 허브에서 만난 컬쳐커넥션 유현식 대표, 출처: IT동아
메타버스 속 공연을 현실과 연결하는 ‘실감음향’
IT동아: 만나서 반갑다. 먼저 컬쳐커넥션은 어떤 기업인지 소개를 부탁드린다.
유현식 대표(이하 유 대표): 한마디로 정리하자면, 실감콘텐츠를 개발하는 스타트업이다. 메타버스 속에서 현실과 같은 공연을 제공하기 위해 플랫폼을 개발하고 있다. 현실에서 즐기는 콘서트, 뮤지컬 등과 같은 공연을 메타버스 안으로 그대로 옮기고 있다(웃음).
IT동아: 쉽게 말해 가상세계 속에서 실제세계와 같은 공연을 즐길 수 있도록 제공한다는 뜻인가.
유 대표: 맞다. 우리의 지향점이다. 현실 속 공연을 메타버스 속 공연으로 변환하기 위해 노력하고 있다. 우리가 집중하고 있는 것은 공연이다. 기존의 온라인·비대면 문화는 현실의 공연을 그대로 옮겨오기에 부족했다. 공연의 특성인 특유의 현장감과 무대 위의 모습을 관객이 함께 느끼고 소통하는 것이 어려웠다. 메타버스 초기 공연장을 360도 카메라로 촬영해 공연을 관람할 수 있도록 제공했지만, 현실 속 공연과는 거리가 멀었다. 공연과 함께한다는 느낌을 받기 어려웠다고 할까?
컬쳐커넥션을 소개하고 있는 유현식 대표, 출처: IT동아
IT동아: 동의한다. 3~4년 전, 메타버스 초기에 360도 콘서트 동영상, 360도 공연 시스템 등이 많았지만, 이후 이렇다 할 공감대를 형성하지는 못했다. 뭔가 부족했다. 현실 공연과 달리 가상세계 속 공연은 괴리감을 느끼게 만들었다. HMD(Head mounted Display) 착용해 360도를 둘러볼 수 있긴 했지만, 뭐랄까… 현장의 분위기를 오롯이 체험하기에는 모자랐다. 무언가 하나가 빠진 느낌이었다.
유 대표: 현장감, 소통, 몰입감 등으로 얘기할 수 있겠다. 공연의 특성 중 하나인 함께 느끼고 즐기며 소통하는 과정이 부족했다. 공연을 촬영해 보고 듣는 것은 지금의 온라인 중계 플랫폼과 크게 다르지 않다. 관객 입장에서 생각해보자. 360도로 이곳저곳을 둘러볼 수 있다지만, 결국 한 자리에 멈춰서 있다. 그저 둘러볼 수 있을 뿐이다. 들려오는 소리도 다르지 않고… 현장의 경험을 100% 옮겨오지 못했다.
이러한 부분을 해결하고자 실감음향 솔루션을 개발했다. 컬쳐커넥션의 실감음향 솔루션은 소리의 방향과 청취자의 위치에 따라 소리의 상호작용을 구현한다. 실제 공간을 분석한 데이터를 통해 소리의 반사와 잔향을 재현한 6DoF 기반의 실감음향 및 상호작용 오디오를 개발했다. 또한, 실제 공연장의 전기음향을 메타버스 가상공연장에 시뮬레이션해 실제 공연장의 현장감과 관객들이 상호작용할 수 있도록 준비했다.
컬쳐커넥션이 개발한 메타버스 가상공연장 ‘컬쳐버스’ 모습, 출처: 컬쳐커넥션
IT동아: 그러니까 공연장, 현장에서 듣는 소리를 옮겨왔다는 뜻인가? 대형 공연장이나 콘서트장에서 듣는, 무대 위 소리가 벽에서 튕겨 나오는 그 현장감을 느낄 수 있다는 뜻인지.
유 대표: 맞다. 움직일 수도 있다. 관객이 위치를 바꾸면, 들려오는 소리가 달라진다. 공연장 1층 맨 앞 줄에서 가만히 앉아 듣는 관객과 공연장 무대 앞에서 이곳저곳 돌아다니며 듣는 관객의 차이는, 듣는 소리도 체험하는 경험도 다르지 않나. 이를 구현했다. 가만히 앉아서 듣는 뮤지컬과 야광봉을 들고 뛰면서 듣는 콘서트장의 차이라고 설명하고 싶다(웃음).
메타버스 공연 체험을 테스트하고 있는 모습, 출처: 컬쳐커넥션 유튜브 채널
IT동아: 아… 이해했다. 맞다. 공연에 따라 즐기는 사람, 관객의 경험은 다르기 마련이다. 자리에 가만히 앉아 즐기는 공연과 서서 뛰며 함께 공감하는 공연의 차이는 분명하다.
유 대표: 이러한 부분을 반영했다. 가만히 앉아서 듣는 연극, 뮤지컬과 K-POP, 인기 가수의 콘서트는 즐기는 문화부터 다르다. 공연 기획과 연결되어 있는 부분인데, 컬쳐커넥션은 최대한 관객의 입장에서 공연을 경험할 수 있도록 고민했다. 말만 메타버스가 아닌, 현실을 가상으로 옮겨 오면서 놓쳤던 부분을 보완할 수 있도록 고안해 플랫폼을 준비하고 있다.
IT동아: 메타버스 공연에 참여한다는 것이 어떤 의미인지 알겠다.
유 대표: 맞다. 공연에 참여다. 단순히 소리를 듣는 것이 아닌, 참여하는 공연 문화를 제공하고 싶었다. 메타버스에 익숙하고 적극 활용하는 MZ, 알파 세대의 요구사항을 많이 반영했다. 메타버스 속 가상 무대에서 공연하는 가수의 모습을 바꾸거나, 아바타로 공연에 참여한 관객이 옷을 바꿔 입거나, 무대의 분위기를 원하는 모습으로 변환하는 등 다양한 효과, 아이템도 솔루션에 담았다. 이렇게 준비한 것이 ‘컬쳐버스’다.
컬쳐커넥션 메타버스 가상공연장 ‘컬쳐버스’ 모습, 출처: 컬쳐커넥션
10년 이상 공연예술 현장에서 쌓은 경험
IT동아: 공연을 옮겨 온다는 것이 쉽지 않았을텐데.
유 대표: 컬쳐커넥션 설립 전, 음악/공연 관련해 오래도록 일했다. 지난 2013년부터 2021년까지 성결대학교 공연음악예술학부 교수로 있었고, 교수로 들어오기 전에는 영화음악 작곡(국제시장, 차형사, 청년경찰 등), 공연/기획(뮤지컬 ‘키가 다른 기념비’ 등), 앨범 프로듀싱(재즈 트럼펫 연주자 최선배)도 했었다. 재즈 공연을 가상현실로 구현한 경험도 있다. 공연예술 관련 계통에서 10년 이상 활동하며, 가상현실/메타버스로 이를 옮겨 오기 위한 시도를 조금씩 도전하고 있었다.
IT동아: 컬쳐커넥션 설립은 작년 12월로 알고 있는데.
유 대표: 2018년 개인사업자로 시작해 2021년 12월 법인으로 전환했다. 개인사업자로 설림했을 당시에는 기술융합문화예술교육 프로그램 개발 및 운영(명학마을 작은 도서관의 꿈다락 토요문화학교 프로그램 운영 등)을 담당했었다.
컬쳐커넥션 유현식 대표가 운영했던 꿈다락토요문화학교 ‘K-POP레시피’, 출처: 컬쳐커넥션
메타버스의 근간인 확장현실(eXtended Reality, XR), 가상현실(virtual reality, VR) 관련 콘텐츠 제작 방법 등과 같은 교육 프로그램을 자체 개발해 운영했다. 초중고 학생을 위한 프로그램도 진행했고, 지난 2019년에는 성결대학교의 XR센터 센터장을 맡으며 대학생과 일반인 대상으로 교육 프로그램도 진행했다. 이러한 경험은 컬쳐커넥션을 설립할 수 있는 원동력으로 작용했다.
지난 2019년 컬쳐커넥션 유현식 대표가 운영한 원캠퍼스 특강 모습, 출처: 컬쳐커넥션
IT동아: 공연계에서 메타버스를 어떻게 바라보고 있는지 궁금하다. 현실 속 공연을 가상으로 옮겨온다는 것을, 업계 현장에서는 어떻게 생각하는지.
유 대표: 당연한 이야기겠지만, 부정적인 반응과 긍정적인 반응 - 반반이다(웃음). 전통적인 공연을 고집하는 분들도 계셨다. 변화 때문에 기존의 틀이 바뀌어 ‘공연의 품질이 혹여나 떨어지는 것은 아닐까’라는 우려 정도로 생각해달라. 최근에는 메타버스 변화를 긍정적으로 보는 시선이 많다. 실감음향, 메타버스라는 기술에 대해서 잘 모르지만, 한번쯤 하고싶어 하는 관련 종사자들이 늘어나고 있다.
실감음향 기술에 대해서는 관심이 많다. 이건 산업계 전반으로 확산하고 있는 중이다. 모노, 스테레오, 5.1 서라운드 등 음향 기술은 지속적으로 더욱 현장과 가까운 형태로 발전했다. 실감음향 기술은 더 발전된, 더 현장감을 담은 기술이다. 왼쪽과 오른쪽을 구분하는 것을 넘어서 관객이 움직이는 위치, 공연을 구현하는 장소까지 담아낸다.
출처: 컬쳐커넥션 유튜브 채널
IT동아: 이 부분이 궁금했다. 현장의 모습, 공연장 속 공간을 구현해 그 안에서 움직이는 관객의 위치에 따라 다른 소리를 들을 수 있다는 것인가.
유 대표: 맞다. 실감음향 기술은 이를 가능케 한다. 2D 영역의 사운드를 3D 영역으로 확장해 해석하고, 이를 구현한 것이 실감음향 기술이다. 공간감까지 느낄 수 있다. 거리에 따라 점차 작아지는 소리도 구현한다. 이건… 정말이지 한번 들어봐야 정확하게 알 수 있다(웃음). 참고로 컬쳐커넥션 유튜브 채널을 통해 실감음향을 체험할 수 있는 영상을 제공하고 있다. 관심 있는 분들은 들어오셔서 한번쯤 체험해보셨으면 좋겠다.
메타버스 공연, 이제 시작합니다
IT동아: 현재 어느 수준까지 개발했는지 궁금하다. 실제 공연한 사례는 없는지.
유 대표: DJ MOEUV(뫼브)와 함께 30분 공연을 메타버스로 옮겨 왔었다. 모션캡처 장비를 착용한 DJ 뫼브의 모습을 아바타로 담아냈고, 실감음향 기술을 적용한 공연장에 참여할 수 있도록 구현했다. 실시간 공연은 아니고, 관객이 언제든지 참여할 수 있는 공연장을 메타버스 안에 옮겨왔다. 여러 명이 동시에 공연장에 입장해 공연을 즐길 수 있고, 채팅으로 대화하듯 관람할 수 있다. 이처럼 관객이 원하는 공연장에 참여하는 형태로 플랫폼을 준비하고 있다. 동영상 스트리밍 서비스의 3D 버전으로 이해해도 좋다.
션캡처 의상을 입고 메타버스 공연을 촬영하고 있는 DJ 뫼브, 출처: 컬쳐커넥션
공연 기획, 엔터테인먼트 업체 들과도 계속 이야기를 나누고 있다. 3D 메타버스로 공연자를 옮겨오기 위해서는 모션캡처 의상을 입어야 하는데, 이를 위한 준비 과정(리허설) 등을 더 쉽게 할 수 있는 방법 등을 논의하고 있다. 실제 현장에서 진행하는 공연, 콘서트 등도 메타버스로 옮겨올 수 있는 방법을 고민하고 있고… 아티스트의 정체성을 메타버스로 잘 옮겨올 수 있는 방안도 찾고 있다. 아, 사이버 가수처럼 완전히 새로운 버츄얼 휴먼을 탄생시킬 수도 있다(웃음).
션캡처 의상을 입고 메타버스 공연을 촬영하고 있는 DJ 뫼브, 출처: 컬쳐커넥션
IT동아: 메타버스 공연을 제공하면서 어려움이 많았을 것 같은데.
유 대표: 하하. 어려움은 항상 많았다. 실시간으로 현장과 메타버스를 연결하는 것은 지금도 풀어야 하는 숙제다. 기술적으로 준비해야 할 것도 많고. 실제 공연장에서 모션캡처 장비를 입어야 메타버스로 움직임을 연결할 수 있는데, 이 과정이 만만치 않다. 실감음향을 구현한 메타버스를 관객이 온전하게 즐길 수 있는 환경도 마련해야 한다. 실험실에서 테스트할 때는 문제 없던 네트워크가 다른 현장에서는 어려움이 발생할 수도 있다. 여러 가지 변수를 하나로 모아서 제공하는 플랫폼을 완성하기 위해 노력 중이다.
가로수길에서 시연한 전시 모습, 출처: 컬쳐커넥션
올해에는 외부에서 전시를 총 2번 진행했었다. 지난 5월 가로수길에서 이벤트를 진행했고, 지난 6월 메타버스 엑스포에서 우리가 준비한 메타버스 플랫폼 ‘컬쳐버스’를 일반인이 시연할 수 있도록 제공했다. 앞으로도 이러한 전시회, 박람회 등에 참여해 많은 사람이 직접 체험할 수 있도록 제공할 계획이다.
메타버스 엑스포에 참여한 컬쳐커넥션 모습, 출처: 컬쳐커넥션
우리가 기획한 플랫폼은 90% 정도 개발을 완료한 상태다. 실감음향, 메타버스 공연, 다자간 채팅, 이벤트(무대 및 공연자를 변화시킬 수 있는 아이템) 등도 갖췄다. 오는 12월 데모 버전의 웹 서비스로 플랫폼을 선보일 예정이다. 신인 아이돌 공연 ‘컬쳐버스 X SXTYDGRS 프로젝트(가칭)’도 준비했다. 관객이 실제 참여해 채팅으로 소통하고, 무대와 공연을 즐길 수 있도록 제공할 계획이다.
메타버스 플랫폼을 준비하며, 직원은 어느새 11명으로 늘어났다. 오프라인 공연 무대를 제공하고, 메타버스 관련 정부 지원 개발 사업 등에 참여하며 올해 매출 6억 원도 달성했다. 지난 무대예술 경험을 바탕으로 메타버스 공연을 위한 준비를 한걸음, 한단계씩 발전시키고자 노력 중이다. 현실 공연과 다르지 않은 메타버스 공연은 이제 멀지 않은 미래라고 생각한다. 우리 컬쳐커넥션이 만들어 가고자 하는 메타버스 ‘컬쳐버스’에 많은 관심과 응원을 부탁드린다.
컬쳐커넥션 유현식 대표, 출처: 컬쳐커넥션
동아닷컴 IT 전문 권명관 기자 tornadosn@itdonga.com