업스케일링(Upscaling)이란, 사진이나 영상의 해상도를 원본보다 더 크게 만드는 기술이다. 기본적인 원리는 사진이나 영상을 구성하는 기본 단위인 픽셀을 더 큰 해상도에 맞게 간격을 벌리고, 이 틈사이를 인공지능이나 알고리즘을 토대로 메워서 확장한다. 원래는 미디어와 매체 간의 해상도나 비율이 맞지 앉을 때 이를 보정하기 위해 적용됐는데, 틈새를 단순히 주변 이미지에서 끌어오거나 단순 복제하다 보니 품질이 떨어지는 편이었다. 하지만 그래픽 카드를 통해 틈 사이를 인공지능으로 계산해서 채워 넣는 기술들이 등장하면서 업스케일링 기술의 완성도가 비약적으로 향상되기 시작했다.
AMD 피델리티FX는 AMD 라데온 6000 시리즈를 비롯한 다양한 그래픽 카드에서 지원된다. 출처=IT동아
현재의 업스케일링 기술은 FHD 등 적은 연산의 화상을 생성한 다음 QHD 혹은 4K 해상도로 늘려서 화면을 재생한다거나, QHD로 재생하기 위해 HD 영상을 생성한 다음 QHD로 늘려서 재생하는 등으로 적용되고 있다. 이렇게 재생하면 그래픽 카드의 부하가 줄어들어 그만큼 더 많은 프레임을 생산하거나, 원래 사양보다 더 높은 해상도로 게임을 즐길 수 있게 된다. 대표적으로 엔비디아의 DLSS(Deep Learning Super Sampling)과 인텔의 XeSS(Xe Super Sampling), 그리고 AMD의 피델리티FX 슈퍼 레졸루션(AMD FidelityFX Super Resolution, 이하 AMD FSR이 이 기술이다. 특히나 AMD는 작년부터 RX 6000 시리즈를 시작으로 피델리티FX 슈퍼 레졸루션의 생태계를 빠르게 확장하고 있는데, 어떤 기술인지 직접 체험해보았다.
해상도계의 마술사, AMD 피델리티FX 슈퍼 레졸루션
AMD FSR은 지난해 6월 출시된 AMD의 첨단 공간 업스케일링 기술이다. AMD FSR은 게임 시 실질 프레임을 끌어올림과 동시에, 한정된 그래픽 카드 자원으로 조금 더 고해상도를 추구하기 위해 등장한 기술로, AMD 라데온 RX 5000/6000 시리즈와 라데온 GPU를 내장한 AMD APU, RX 400/500 시리즈, 베가 시리즈, 일부 엔비디아 그래픽 카드에서 활용할 수 있다. 출시 당시 기준으로 AMD는 4K 해상도에서 네이티브 해상도 대비 평균 2.4배 높은 프레임을 확보한다고 발표하면서 주목을 모았고, 오픈소스로 기술을 공개해 생태계를 빠르게 확장하고 있다.
‘데스루프’는 AMD의 업스케일링 기술, AMD 피델리티 FX 2.0을 공식 지원하는 첫 게임이다. 출처=IT동아
올해 3월 진행된 AMD 게임 개발자 콘퍼런스(GDC)에서는 게임 모드와 새로운 업스케일링 기술을 적용한 AMD FSR 2.0 버전을 소개해 완성도를 한층 더 끌어올린 바 있다. FSR 2.0은 기계학습이 아닌 이전 장면에서 추출한 데이터를 통해 시각적 충실도를 끌어올린 새로운 업스케일링 기술을 도입했다. 덕분에 기계학습 코어가 없는 GPU로도 FSR 2.0을 누릴 수 있다. 또 FSR 2.0 지원 게임에서 퀄리티, 밸런스, 퍼포먼스, 울트라 퍼포먼스의 네 가지 모드를 선택해서 즐길 수 있다.
기술 측면에서는 FSR 1.0과 동일하게 오픈소스로 제공돼 타사 하드웨어에서도 사용할 수 있고, 다이렉트X 12와 벌칸, 언리얼 엔진까지 다양하게 지원한다. AMD FSR 2.0은 3월 발표된 ‘데스루프’에 처음 적용됐으며, 올해 10월 공개될 포스포큰(Forspoken) 등 다양한 게임에 추가 지원될 예정이다.
미리 만나본 FSR 2.0, 체감 상당해
실제 게임 플레이 화면, 사진으로는 작아보이지만 실제로는 27형 모니터로 봤을 때 화면이므로 꽤 크다. 출처=IT동아
이미지는 위의 사진을 확대했을 때 기준이다. 날카로운 부분이 줄고, 미세하게 흐린 느낌이 드는 쪽이 기능이 켜져있는 쪽이다. 물론 높은 비율로 확대한 이미지라서 빠르게 흐르는 게임 화면에서는 거의 차이를 느끼기 어렵다. 출처=IT동아
데스루프를 실행해 AMD FSR 2.0의 적용 사례를 살펴봤다. 테스트 벤치는 AMD 라이젠 5950X 프로세서와 AMD 라데온 RX 6600 그래픽 카드가 사용됐으며, 게임은 FSR 2.0 테스트를 위한 베타 버전으로 진행됐다. 모니터는 4K(3840x2160) 해상도를 지원하는 벤큐 PD2725U를 활용해 품질을 확보했다. 우선 그래픽 카드 성능에 맞게 해상도를 FHD로 맞춘 상태와 AMD FSR 2.0을 적용해 동일한 해상도로 적용해 비교해봤다. 우선 육안으로 FHD를 적용한 상태와 FSR을 활성화해 FHD로 비교한 수준으로는 큰 차이를 보이지 않는다. 대신 QHD 수준에서는 조금씩 차이가 나고, 4K에서는 완만한 차이가 난다.
FHD에서는 품질의 차이가 조금 더 명확하다. 총의 표면에 있는 얼룩이 흐리다던가, 손잡이의 형태가 덜 선명한 정도다. 출처=IT동아
하지만 화면의 프레임, 실제 움직임에서는 의미 있는 수준의 차이가 난다. 네이티브 FHD에서의 프레임은 울트라 기준 약 105프레임이지만, FSR 활성 상태에서의 프레임은 120프레임으로 원래보다 12%정도 더 높다. 특히나 4K에서는 네이티브가 35프레임으로 플레이가 조금 어려운 수준인데, FSR 활성 상태에서 50프레임으로 크게 올라선다. 물론 FSR의 느낌이 미세하게 이질적이긴 하지만, 움직이는 상태에서는 쉽게 구분하기가 어렵다. 오히려 프레임 상승효과가 훨씬 이득이다. 프레임 방어가 어려운 게임 및 해상도에서도 비교적 부드럽게 게임을 즐기는데 큰 도움을 준다.
AMD 피델리티FX 2.0을 끈 상태(좌측)과 켠 상태(우측)을 디지털 카메라로 촬영했다. 실제 크기는 압정만한 수준인데, 전반적으로 이정도의 흐림 효과가 적용된다. 출처=IT동아
특히나 실시간 광선 추적(레이 트레이싱)과 조합했을 때 큰 힘을 발휘한다. 실시간 광선 추적 기능을 활성화하면 그만큼 연산량이 늘어나 프레임이 줄어든다. 이 상태에서 FSR 2.0을 다시 적용하면 실시간 광선 추적으로 감소한 프레임을 다시금 상승시킬 수 있다. 게임이나 장면마다 효과가 다르겠지만 단순히 실시간 광선 추적만 적용했을 때보다는 체감할만한 품질 향상을 제공할 것이다. 또한, 기본적으로 화면이 작고 성능이 조금 떨어지는 노트북과의 조합도 이상적이다.
관건은 생태계 확장이다. 제 아무리 좋은 연장도 쓰는 사람이 없으면 무용지물이다. 이를 위해 AMD는 테스트에 사용된 데스루프를 시작으로 수 개월 내 아스테리고스, 델리시움, 이브 온라인, 포스포큰, 그라운디드, 마이크로소프트 플라이트 시뮬레이터, 니슈이한, 퍼펙트 월드 리메이크, 언노운9: 어웨이크닝 등 다양한 게임에 FSR 2.0을 추가할 예정이다. 하지만 이런 게임들로는 여전히 부족하며, 더 많은 라벨과 온라인 게임에 FSR 2.0 지원이 붙어야 한다. 물론 오픈소스 기반인 데다가, 경쟁사 제품도 활용할 수 있으니, AMD 프리싱크처럼 대중적으로 쓰일 날이 올 것이다.
동아닷컴 IT전문 남시현 기자 (sh@itdonga.com)