글로벌 테크 기업들이 업스케일링에 주목하는 이유

정보통신산업진흥원(NIPA)이 지난달 발표한 자료에 따르면, 디지털 콘텐츠 부문에서 급성장한 유망 기술 1위는 ‘업스케일링(Upscaling)’으로 나타났다. 지난 2023년 5월부터 2024년 4월까지 IT 뉴스매체 대상으로 키워드를 분석한 결과 업스케일링은 100% 성장했다. 최근 업계에서 높아진 업스케일링 기술에 대한 관심을 수치로 보여준 셈이다.

출처=정보통신산업진흥원

업스케일링은 이미지와 영상의 ‘크기를 키우는’ 기술이다. 저화질 이미지를 큰 디스플레이 크기에 맞춰 억지로 늘리면 화소(픽셀)는 깨지고, 경계 부분은 계단처럼 보이는 ‘계단현상(Aliasing)’ 등이 나타난다. 이러한 문제를 해결하기 위해 대상 픽셀과 가장 가까이 있는 픽셀들의 평균값으로 부족한 부분을 추정해 채워 넣었는데(일명 보간법), 업스케일링의 기본 원리에 해당한다. 다만, 이러한 방식은 이미지 크기를 키우더라도 이미지 품질 자체는 높이기 어려웠다.

이 같은 단점을 보완하기 위해 최근 인공지능(AI)를 활용한 업스케일링이 등장했다. 컨볼루션 신경망(CNN), 생성형 적대 신경망(GAN. Generative Adversarial Network) 등 AI 모델을 활용해 더욱 정교하게 화질을 끌어올리고 있다.

특히, AI 업스케일링은 이미지 품질을 높이는데 국한되지 않는다. 패널의 화면 구현 성능을 높여 주기도 하며, 영상 처리 순서를 어떻게 적용하느냐에 따라 게임 렌더링 효율성을 극대화하는데도 쓰인다. 이처럼 다양한 쓰임새 때문에 여러 기업이 각자의 사업과 제품에 맞춰 업스케일링 기술을 조금씩 다르게 변형, 개발해 적용하는 추세다.

TV에 장착한 ‘온디바이스AI’가 구현하는 업스케일링

업스케일링 기술에 가장 힘을 쏟고 있는 업계는 단연 TV 시장이다. 삼성전자, LG전자 등은 이미 제품에 화질을 개선할 수 있는 AI 칩을 ‘온디바이스’ 형태로 적용해 출시하고 있다.

'8K AI 업스케일링 프로(Pro)'를 탑재한 삼성전자 프리미엄TV ‘네오 QLED 8K’ / 출처=삼성전자

AI 칩을 기기에 직접 장착했다는 뜻의 ‘‘온디바이스AI’ TV다. 보통 생성형 AI 모델은 사용자가 원하는 요청을 이해하고 분석한 뒤, 그에 따른 대답, 반응, 피드백, 생성 결과물을 돌려주는 방식으로 동작하는데, 이를 위해 대용량 컴퓨팅파워를 필요로 한다. 따라서 연산, 생성 등의 과정은 성능이 제한적인 개인 컴퓨터, 모바일 기기에서는 거의 구현하기 어려웠다. 보통 원 서버(Origin Server)인 데이터센터를 활용하기 때문에 촘촘하게 연결된 온라인망, 인터넷 환경을 반드시 필요로 한다.

하지만, 대규모 연산을 필요로 하지 않는 단순한 기능을 구현한다거나, 폐쇄적인 개인정보만을 활용하는 AI 모델은 기기에 직접 AI 칩을 장착해 활용하는 사례가 늘고 있다. TV에 장착되어 있는 업스케일링 AI 칩이 대표적인 사례다.

삼성전자는 ‘8K AI 업스케일링 프로’ 기능에 대해 “저해상도 영상도 8K 급으로 업스케일링해 더욱 선명한 화질을 제공하고, 명암비를 강화해 3차원 깊이감을 더했으며, 스포츠 종목을 자동 감지해 움직임을 부드럽게 보정하는 기능까지 지원한다”라고 설명했다.

‘그래픽카드+게임 타이틀’ 중심의 업스케일링

게임 업계도 TV 업계 못지않게 업스케일링 기술에 적극적으로 투자하고 있다. 게임은 높은 화질을 바탕으로 몰입감을 극대화하는 대표적인 디지털 콘텐츠인만큼 게임 관련 업체들은 ‘어떻게 게임의 화질을 높일 수 있을지’ 늘 고민한다.

게임을 만드는 게임 제작사뿐만 아니라 고사양 게임의 필수 요소인 그래픽카드 제조사도 나름의 방식으로 변형, 개발한 자체 업스케일링 기술을 잇따라 소개하고 있다. 대표적인 것이 엔비디아의 ‘DLSS(Deep Learning Super Sampling)’와 AMD의 ‘FSR(FidelityFX Super Resolution)’이다.

엔비디아 DLSS(Deep Learning Super Sampling) 단계별 화질 개선효과 소개 모습, 출처=엔비디아

업스케일링은 보통 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많지만 게임 업계, 특히 그래픽카드 업체들은 연산 효율을 높이기 위해 활용한다. 실시간 반응성을 우선하기 때문이다. 이에 게임 그래픽을 구성하는 디지털 정보들을 패널 표시 영상으로 변환(렌더링)하는 과정을 최대한 빠르게 처리하기 위해 일부러 해상도를 떨어뜨려 신속하게 연산하고, 마지막에 고해상도로 영상을 업스케일링하는 방식을 채택하고 있다. 처음부터 고화질 영상을 렌더링하는 것이 더 확실한 화질을 얻을 수 있지만, 연산 작업 시간이 길어져 게임 이용자의 몰입감을 헤칠 수 있기 때문이다.

엔비디아의 DLSS는 해상도를 키우는 ‘SR(Super Resolution)’, 기존에 없었던 프레임을 새롭게 생성해 영상의 움직임을 부드럽게 만드는 ‘FG(Frame Generation)’, 노이즈를 제거하면서도 광원과 그림자, 빛 반사 영역까지 그대로 재현해주는 ‘RR(Ray Reconstruction)’ 등의 기능을 갖췄다.

다만, 이러한 기술은 특정 게임에 제한적으로 적용된다는 단점이 있다. 언리얼엔진(게임 제작에 사용되는 대표적인 도구)을 통해 게임 개발 단계부터 엔비디아 DLSS 적용을 설정할 수 있긴 하지만, 해당 게임의 그래픽 정보들을 사전에 엔비디아 GPU가 학습해 둬야 하기 때문이다.

콘텐츠 자체를 고도화하는 업스케일링

가장 효과적인 업스케일링 방법은 콘텐츠 파일 자체를 AI 모델로 분석하고 업스케일링(SR, Super Resolution), 복원(Restoration), 개선(Enhancement) 등의 과정을 처리하는 것이다. 이는 출력 화면을 개선하는 방식(온디바이스 AI)이나 특정 게임 데이터를 사전에 학습한 그래픽카드 내 AI 칩을 활용하는 방식보다 더 확실하고 효과적이다. 화질 개선 AI 모델을 개발하는 대표적인 글로벌 기업으로는 ‘토파즈(Topaz)’가 있으며, 국내에는 SKT의 ‘수퍼노바 AI’, 포바이포(4BY4)의 ‘픽셀’ 등이 있다.

포바이포는 초고화질 영상을 제작하는 업체로 시작해 자체 화질 개선 AI 모델을 개발하면서 콘텐츠 AI 솔루션 업체로 전환했다. 픽셀 솔루션의 가장 큰 장점은 해상도와 이미지의 크기를 업스케일링하면서 채도, 명암비, 디노이즈(De-noise), 선예도 등 화질을 결정짓는 4가지 요소를 동시에 개선한다는 점이다. 포바이포는 이러한 결과에 대해 AI 도입 이전부터 화질 전문 인력이 화질을 개선해왔던 노하우와 기존에 확보하고 있던 초고화질 콘텐츠를 AI 학습용 데이터로 활용했기 때문이라고 설명한다.

CES 2024에서 2개 부분 혁신상을 수상한 포바이포의 화질 개선 AI 솔루션 ‘픽셀’ / 출처=포바이포

윤준호 포바이포 대표는 “화질 개선 AI 모델의 쓰임은 단순히 콘텐츠 화질 개선에 그치지 않는다”라며, “기기, 반도체, 플랫폼, 특수효과 등 다양한 영역에서 작업 효율을 높이거나 처리속도를 빠르게 하는 방식으로 활용될 가능성이 높은 기술”이라고 설명했다.

한 디지털 콘텐츠 업계 관계자는 “최근 오픈AI의 소라(Sora)를 필두로 루마AI의 드림머신(Dream Machine), 런웨이의 젠-3 알파(Gen-3 Alpha)' 등 다양한 업체들이 텍스트 투 비디오(TTV) 기능을 제공하는 영상 생성형 AI를 속속 선보이고 있지만 제작 가능한 영상들은 대부분 4초 가량으로 제한되어 있다”라며 “1분 이상 영상을 빠르고 완성도 있게 만들기 위해서는 막대한 컴퓨팅 파워와 장시간 렌더링을 필요로 하기 때문”이라고 말했다. 이어서 “이 문제는 저화질로 빠르게 영상을 생성해 렌더링 하고, 화질 개선 AI 모델을 연달아 사용하는 방식으로 해결할 수 있을 것”이라고 업스케일링 기술의 가능성을 제시했다.

IT동아 권명관 기자 tornadosn@itdonga.com