뛰는 탐지 기술, 나는 딥페이크!
딥페이크 기술 원리.
인공 신경망 이용한 얼굴 바꿔치기
톰 크루즈로 가장한 배우(왼쪽)가 딥페이크 기술을 활용해 톰 크루즈로 변신했다. [크리스움]
딥페이크 기술은 이제 사진 한 장으로 새로운 이미지를 만들어낼 수 있을 만큼 발전했다. 얼마 전 딥페이크로 부활한 유관순 열사, 윤봉길 의사 등 애국지사의 모습이 소셜네트워크서비스(SNS)를 타고 확산되며 감동을 자아냈다. 이 영상들은 이스라엘 온라인 플랫폼 마이헤리티지(MyHeritage)의 ‘딥 노스텔지어’ 서비스가 적용된 결과물이다. 이 서비스는 사이트에 사진을 올리면 정지된 사진 속 얼굴을 수초 만에 애니메이션화해 움직이는 이미지(GIF)로 바꿔준다.
최근 틱톡에 딥페이크 기술로 만든 할리우드 배우 톰 크루즈의 영상이 올라와 사람들에게 놀라움을 안겼다. 톰 크루즈가 골프를 치는 모습부터 말을 건네고 마술을 선보이는 영상까지 주의 깊게 살펴보지 않고서는 가짜임을 알아채기가 어렵다.
이 영상을 제작한 벨기에 VFX(Visual Effects: 특수영상) 전문가 크리스움은 IT(정보기술) 매체 ‘더버지’를 통해 “딥페이스랩(DeepFaceLab) 알고리즘과 기존 비디오 편집 도구를 사용해 딥페이크 클립을 제작했다”며 “기존 컴퓨터 그래픽 기술과 VFX를 딥페이크에 결합시키면 더 나은 결과물을 구현할 수 있다”고 밝혔다. 딥페이스랩은 동영상에 얼굴을 바꿔 넣을 수 있도록 짜인 오픈소스(공개된) 프레임워크다. 딥페이스랩, 페이스스왑(Faceswap) 등 개발 소스가 공개된 프레임워크는 누구나 손쉽게 활용할 수 있다.
칼과 방패, 딥페이크 잡는 인공지능
배우 니컬러스 케이지 얼굴을 일론 머스크 테슬라 최고경영자 머리에 합성하면 얼굴과 머리가 올바르게 정렬되지 않는다. [미국 뉴욕주립대 컴퓨터과학과]
이에 대응하는 딥페이크 탐지 역시 AI 몫이다. 심층 신경망을 통한 지능적 AI 기술로 딥페이크를 찾아낸다. 초기 탐지 기술은 눈 깜박임 속도나 얼굴 근육의 움직임 같은 미묘한 차이를 잡아냈다. 최근에는 영상 분석과 영상 인식에 활용되는 콘볼루션 신경망(Convolutional Neural Network)을 통해 더욱 정교한 방법으로 딥페이크를 가려내고 있다.
다양한 딥페이크 이미지. 사람의 눈동자 픽셀을 분석해 딥페이크 여부를 확인할 수 있다. [미국 버펄로대 컴퓨터과학과]
미국 버펄로대 컴퓨터과학과 연구실에서는 사람 눈의 빛 반사를 분석해 딥페이크 사진을 자동으로 식별하는 도구를 개발했다. 우리가 무언가를 볼 때 눈동자에 상이 반영된다. 반면 AI에 의해 생성된 얼굴의 눈동자는 일관된 이미지를 반영시키지 못한다. 딥페이크 이미지의 눈동자를 확대해 반사된 상의 픽셀을 분석하면 가짜를 포착할 수 있는 것이다.
일반적인 이미지(왼쪽)와 섭동을 일으킬 경우 딥페이크 인식 작용의 예. 섭동을 일으키면 제대로 감지하기 어렵다. [미국 뉴욕주립대 컴퓨터과학과]
연구팀은 “딥페이크가 바이러스, 탐지기가 백신이라면 적대적 섭동은 돌연변이로 생각할 수 있다”며 “작은 돌연변이 하나가 백신을 쓸모없게 만드는 것처럼 이미지의 작은 섭동이 최첨단 딥페이크 탐지기를 무용지물로 만들 수도 있다”고 설명했다.
이종림 과학전문기자
〈이 기사는 주간동아 1281호에 실렸습니다〉