진짜 위험한 가짜뉴스가 온다[김성모 기자의 신비월드]

글로벌 신(新) 비즈니스 가이드(46)

‘신비월드’는 세계 각국에서 세상을 이롭게 이끄는 혁신적인 기업과 새로운 정보기술(IT) 소식들을 소개합니다. ‘파괴적 혁신’을 꾀하는 스타트업부터 글로벌 주요 기업까지, 빠르게 변해가는 ‘신(新) 글로벌 비즈니스’를 알차게 전달하겠습니다.

● 고등학교 덮친 가짜 포르노

올해 10월 16일(현지 시간) 미국 뉴저지주(州) 웨스트필드고교의 2학년 여학생들은 학교에서 이상한 낌새를 느꼈다. 남학생들이 평소보다 지나치게 조용했다. 일부는 특정 여학생을 보면서 수군대기도 했다. 나흘 뒤, 한 남학생이 “남학생들이 몇몇 여학생의 가짜 누드 사진을 만들어 돌려봤다”고 고백하면서 학교가 한바탕 뒤집혔다.

남학생들이 인공지능(AI)에 탁월한 능력이 있었던 것은 아니었다. 이들은 소셜미디어에서 복사한 여학생들의 실제 사진을 AI 기반 웹사이트에 올리고 클릭 몇 번 했을 뿐이다. 남학생들은 가짜 나체 사진을 그룹 채팅에서 공유했다.

피해 여학생들의 신고로 경찰이 수사에 나섰지만, AI 활용 이미지에 대한 규제와 법률이 명확지 않아 관계 기관 사이에 의견이 분분한 상태다. 학교 측은 문제의 이미지가 삭제돼 더 이상 유포되지 않을 것이라고 밝혔다. 여학생들은 정신적 피해를 호소하고 있다. 일부 학부모들은 해당 이미지가 외부로 공개돼 학생들에게 피해가 갈까 걱정 중이다.

미 빅테크 기업들의 치열한 경쟁으로 인공지능 기술이 빠르게 발전하는 가운데, 딥페이크 관련 범죄와 가짜 정보(가짜뉴스), 저작권 침해 등 부작용에 대한 우려도 커지고 있다.

미국에선 딥페이크 기술 악용이 가장 시급한 과제로 떠오르고 있다. ‘딥페이크(deepfake)’는 AI 기술인 딥러닝(deep learning)과 가짜를 뜻하는 페이크(fake)의 합성어다. 인공지능으로 특정 인물의 이미지나 목소리 등을 디지털 콘텐츠에 합성하는 기술이다. ‘진짜 같은 가짜’를 만드는 기술로 이해하면 된다. 미 온라인 커뮤니티 ‘레딧’의 한 사용자(닉네임 deepfakes)가 2017년 조작 동영상을 만드는 알고리즘을 올리면서 나온 용어다.

특히, 딥페이크 기술의 불법 음란물 활용이 심각하다는 지적이 쏟아지고 있다. 일반인의 얼굴을 음란물에 합성하는 ‘포르노 딥페이크’ 생성이 급증했다.

딥페이크 분석가인 제네비브 오는 미 블룸버그에 “2019년 이후 관련 동영상이 9배나 증가했다”고 전했다. 오가 올해 5월 30여 개의 해외 사이트를 조사한 결과 약 15만 건의 딥페이크 음란물이 발견됐다. 총 조회수는 38억 회에 달했다. 글로벌 유명 배우나 가수의 얼굴을 음란물에 합성한 영상도 떠돌았다. 돈을 받고 친구나 회사 동료 등 평범한 여성의 사진을 나체 이미지로 만들어 주기도 했다.

미국에는 합의되지 않은 딥페이크 포르노의 제작이나 공유를 범죄로 규정하는 연방법이 아직 없다. 현재까지 미국에서 관련 혐의(비동의 성적 콘텐츠 제작 및 공유)로 기소된 사람은 아무도 없다.

● 치과 보험 파는 가짜 톰 행크스

현재 온라인에는 수없이 많은 딥페이크 이미지가 떠돌고 있다. 일부 딥페이크 사진과 동영상을 사람들이 진짜라고 착각해 수만 번 이상 공유한 사례도 종종 등장하고 있다.

3월 소셜미디어에 흰색 롱패딩을 입은 프란치스코 교황 사진이 등장했다. 사진 속에서 교황은 은색 십자가 목걸이를 걸고, 그의 오른손은 텀블러를 들고 있다. 온라인에서 폭발적인 반응이 나왔다. 한 SNS 계정에 올라온 이 사진의 조회수만 2540만 회가 넘었다. “힙(hip)하다”는 의견이 많았다. 돈 모이니한 조지타운대 교수는 패딩 브랜드 이름을 묻는 글을 올리기도 했다. 그러나 이 사진은 인공지능 툴인 ‘미드저니(Midjourney)’로 만든 ‘가짜 이미지’였다.

비슷한 시기에 도널드 트럼프 전 미국 대통령이 뉴욕 경찰에 체포되는 사진이 빠르게 확산했다. 트럼프가 자신을 체포하려는 경찰로부터 도망가거나, 경찰의 체포 시도에 강하게 저항하는 모습 등 버전이 다양하다. 교도소에서 주황색 재소자 복장으로 청소하는 모습도 있다. 전부 AI 기술이 만든 가짜 이미지다. 논란이 확산하자 뉴욕 경찰이 나서 “트럼프 전 대통령은 구금된 바 없다”고 밝혔다.

도널드 트럼프 전 미국 대통령이 자신을 체포하려는 경찰로부터 도망가는 모습이 담긴 가짜 사진. 인공지능이 만든 이 이미지는 온라인에 급속도로 퍼졌다. 엑스(X·전 트위터) 캡처

5월에는 미국 국방부 청사(펜타곤) 인근에 불이 난 듯한 가짜 이미지가 온라인에 빠르게 퍼지면서 미국 주식시장이 출렁이는 소동까지 일어났다. 해외 전문가들은 AI가 만든 흔적이 뚜렷하다고 평가했지만, 투자자들은 진위를 가리는 데 시간이 걸렸다.

사실 확인이 어려운 중동전에서는 딥페이크 사진이 선전 도구로 활용되고 있다. 이스라엘과 하마스의 전쟁 초기 불에 탄 아이 시신 사진이 인터넷으로 빠르게 퍼졌는데 인공지능이 만든 이미지였다. (하마스가 이스라엘 아기들을 참수했다는 속보도 있었는데 거짓으로 드러났다)

AI 가짜 광고도 등장했다. 일부 업체들이 유명 배우들의 목소리와 이미지를 도용해 광고에 실제 출연한 것처럼 AI로 꾸민 것이다. 스칼렛 요한슨은 IT 회사의 앱 홍보에, 톰 행크스는 치과 보험 홍보 영상에 도용됐다. 업체들은 배우의 사진과 영화 속 목소리를 그대로 흉내 낸 AI 아바타를 만든 것으로 알려졌다. 톰 행크스는 자신의 SNS에 사칭 광고에 속지 말라고 당부했고, 스칼렛 요한슨은 법적 조치에 나섰다.

올 3월 프란치스코 교황이 흰색 패딩을 입고 있는 사진이 소셜미디어에 퍼졌다. 이 역시 인공지능이 만든 ‘가짜 이미지’였다. 엑스(X·전 트위터) 캡처

● 미 정치권 딥페이크 경계령

미 정치권에선 내년 대선을 앞두고 딥페이크 기술이 가짜 정보나 여론 조작에 쓰일까 걱정하는 분위기다.

2월 미국의 시카고 시장 선거 전날, 소셜미디어 엑스(X·전 트위터)에 ‘시카고 레이크프론트 뉴스’라는 새 계정이 녹음 파일을 올렸다. 파일에는 “경찰이 용의자를 죽여도 눈 하나 깜짝하지 않던 예전이 그립다”는 폴 발라스 후보(전 시카고 교육청장)의 목소리가 담겨 있었다. 당시 발라스는 경찰지원 확대를 최우선 공약으로 앞세워 경찰노조의 지지를 받고 있었다. 이 때문에 녹음은 더욱 그럴싸하게 들렸다. 수천 명이 이를 공유했는데, 녹음은 발라스의 목소리를 흉내 내도록 훈련된 딥페이크 작품이었다.

발라스는 결선 투표에서 탈락했지만, 녹음 파일이 퍼진 다음 날 1차 선거에서는 1위를 차지했다. 가짜뉴스가 선거의 당락까진 결정하진 못한 것이다.

스탠퍼드대 연구진과 국제 학술지 네이처 커뮤니케이션스에 올라온 연구에 따르면 소셜미디어 여론 조작(주로 러시아 봇)이 정치적 태도에 거의 영향을 미치지 않는 것으로 나타났다. 스탠퍼드대 연구진은 러시아의 허위 선거 운동이 후보자 득표율에 0.01포인트 정도 영향을 미친 것으로 추정했다.

주로 소셜미디어에서 퍼지는 딥페이크 정보가 선거 결과를 좌지우지할 정도의 영향력은 없다는 분석이다.

그러나 선거 결과에 직접적인 영향은 미치지 않더라도 사회적 자산인 ‘신뢰’가 무너질 수 있다는 지적이 나온다. 미 월스트리트저널(WSJ)은 “딥페이크는 범죄뿐만 아니라 국가 안보에도 위협이 될 수 있다. 사람들이 모든 정보를 의심하게 될 것”이라며 “군인은 명령을 신뢰하지 못하고, 대중은 정치인의 스캔들을 거짓으로 볼 수 있다”고 전했다. ‘진짜’ 뉴스조차 일단은 의심부터 하게 될 수 있다는 것이다.

정교한 가짜 정보가 양적으로 많아질 수 있다는 의견도 있다. 고도화된 딥페이크 기술이 등장한 지 아직 1년 정도밖에 지나지 않아, 기술은 더 발전할 여지가 충분하다. 또 과거와 달리 전공자가 아닌 일반인들이 점점 더 쉽게 딥페이크 기술을 활용하기 시작했다. 블룸버그는 “전쟁이나 주요 사건에서 소셜미디어를 통한 허위 주장이 일상화되고 있다. 딥페이크 확산은 사람들이 사실에 근거한 의견 형성을 어렵게 만들 수 있다”고 전했다.

● 부모도 속는 딥페이크 기술

과거 딥페이크 기술은 크게 주목받지 못했다. 결과물이 조잡해 가짜는 금방 들통났다. (포토샵 보정도 나름 정교해지긴 했지만) 그러다가 ‘챗GPT’로 대표되는 생성형 AI가 등장하면서 얼굴이나 목소리까지 훨씬 더 현실적으로 구현할 수 있게 됐다.

현재 AI 이미지 생성 서비스로 달리(DALL-E), 미드저니, 스테이블디퓨전 등이 많이 쓰이고 있다. 모두 생성형 AI 기술이다. (달리는 챗GPT를 선보인 오픈AI의 플랫폼이다) 이들은 챗GPT와 똑같은 방식으로 작용한다. 방대한 데이터를 학습한 AI가 요청한 이미지를 만드는데, 왜곡된 부분(노이즈)은 학습을 거칠수록 실제와 유사해진다.

현재 공개된 가장 큰 데이터 세트인 ‘LAION-5B’에는 58억5500만 개의 이미지가 포함돼 있다. 사진 58억5500만 개를 공부한 AI가 주문 제작을 받고 있다는 의미다.

WSJ의 테크 칼럼니스트 조안나 스턴은 딥페이크 기술이 얼마나 정교한지 파악하기 위해 올 4월 인공지능 ‘아바타’를 만들었다. 스튜디오를 찾은 스턴은 30분 정도 동영상을 찍고, 2시간 분량의 음성 녹음을 진행했다. 이를 학습한 AI(AI 동영상 제작 플랫폼 신디시아 활용)는 스턴과 똑같이 생긴(목소리 포함) 아바타를 선보였다. 문장을 입력하면 아바타가 스턴이 실제 이야기하는 것처럼 떠든다. 그는 “긴 문장을 입력하면 약간 로봇처럼 말했지만, 짧은 문장은 자연스러웠다. 마치 거울에 비친 내 모습을 보는 것 같았다”고 전했다.

스턴은 다른 플랫폼을 사용해 음성 복제도 시도했다. 이번에는 스튜디오를 찾지 않고 90분 분량의 음성 파일을 웹사이트에 올렸다. 2분도 지나지 않아 목소리가 복제됐다. 그는 은행에 전화를 걸어 ‘AI 스턴(봇)’에게 이름과 주소를 대신 답하게 했는데, 은행 생체인식 시스템은 이를 걸러내지 못했다.

딥페이크 기술은 가족까지 속일 정도로 정교해졌다. 스턴은 “자주 통화하는 여동생이 목소리를 구별해내지 못했지만 내가(AI 스턴이) 숨을 쉬지 않고 있다는 것을 알아챘다. 똑같이 아버지한테 전화해 봇(AI 스턴)으로 아버지의 사회보장번호를 물어봤는데, 녹음된 목소리가 나오는 줄 알았다고 했다“고 전했다.

하니 파리드 버클리 캘리포니아대(UC버클리) 컴퓨터 과학 교수는 딥페이크 이미지, 동영상과 진짜를 어떻게 구분할 수 있느냐는 질문에 “행운을 빈다”고 답했다.

▶챗GPT 기술을 쉽고 자세하게 설명한 기사를 찾고 있다면 다음 참고.
챗GPT가 이 사람의 자존심을 건드렸다?[김성모 기자의 신비월드]
https://www.donga.com/news/article/all/20230311/118276311/1

WSJ의 테크 칼럼니스트 조안나 스턴 기자가 AI 동영상 제작 플랫폼 ‘신디시아’에 명령어를 쓰고 있다. 명령어 입력이 끝나면 사진 속 아바타는 스턴과 거의 똑같은 목소리로 내용을 읽는다. 월스트리트저널 캡처

● 빅테크 “우리를 규제 해달라”

빅테크 기업들도 AI 기술의 위험성에 공감하는 분위기다. 기업들이 “우리를 규제해달라”고 나서서 요구할 정도다. (현재까지 딥페이크 기술의 부작용을 위주로 설명했지만, 챗GPT의 ‘환각’도 위험 요소 중 하나로 꼽힌다. 이는 챗GPT가 실제로 존재하지 않는 이야기 등 거짓을 마치 사실인 것처럼 지어내는 증상이다. 빅테크 기업들은 이를 개선하려고 노력 중이다)

일론 머스크 테슬라 최고경영자(CEO), 애플 공동 창업자 스티브 워즈니악, 세계적인 베스트셀러 ‘사피엔스’를 쓴 유발 하라리 히브리대 교수 등 유명 인사 1100여 명은 올 3월 말 미 비영리단체 ‘삶의 미래 연구소(FLI)’의 공동 서한에 서명했다. “모든 AI 연구소가 현재 수준을 능가하는 AI 시스템 개발을 최소 6개월간 중단하자”는 것이 서한의 핵심 내용이다.

세계적 AI 권위자로 꼽히는 스튜어트 러셀 UC버클리 컴퓨터과학과 교수, 딥러닝의 창시자로 알려진 요슈아 벤지오 몬트리올대 교수, 구글 딥마인드 연구진 등 AI 전문가들도 서한에 이름을 올렸다. AI 이미지 생성 서비스 스테이블디퓨전의 CEO 에마드 모스타크도 있었다.

순다르 피차이 구글 CEO는 올 4월 한 인터뷰에서 “(AI 위험성에 대한 걱정 때문에) 밤잠을 설친 적이 있다”고 밝혔다. 그는 “사회에 해를 끼치는 딥페이크 동영상을 제작하는 행위에 반드시 상응하는 대가가 따라야 한다”며 “AI를 다뤄본 사람은 이것이 너무나 위험한 문제라는 것을 알 것이다. 사회적 규제가 필요하다”고 강조했다.

규제 기관을 만들자는 의견도 나왔다. ‘챗GPT 신드롬’의 주인공인 샘 올트먼 오픈AI CEO는 5월 미 의회 청문회에서 “AI 기업에 ‘라이센스’를 부여하는 규제 기관 창설을 지지한다”고 밝혔다. AI 부작용을 관리할 수 있는 기업에만 개발 허가권을 주자는 주장이다.

미 여론조사기관 퓨리서치센터의 조사에 따르면 미국인의 절반 이상이 인공지능의 사용에 대해 기대보다는 우려가 크다고 느끼고 있었다. 지난달 조 바이든 미 대통령은 AI 위험 관리에 초점 맞춘 인공지능 지침 행정명령을 발표했다. AI 개발자가 프로그램에 대한 데이터와 기타 정보를 정부에 제공해야 한다는 조항을 포함했다. 바이든 행정부는 7월 구글, 메타, MS, 오픈AI 등 주요 AI 개발 업체에 인공지능 서비스를 대중에 공개하기 전에 전문가들의 안전성 검사를 거치겠다는 ‘자발적 약속’을 하도록 압박하기도 했다.

일론 머스크 엑스 CEO와 알렉스 카프 팔란티어 CEO가 올해 9월 13일(현지 시간) 미 상원에서 열린 AI 규제 관련 비공개 포럼에 참석하고 있다. 워싱턴=AP 뉴시스

● 드라마 못지않은 오픈AI 사태

지난달 오픈AI에서 이 같은 분위기에 찬물을 끼얹을 만한 일들이 벌어졌다. 오픈AI 이사회에서 ‘윤리성’을 중요시하는 일부 이사들이 ‘쿠데타’를 일으켰다가 실패하고 자리에서 물러났다. 이들은 챗GPT 출시에 결정적 역할을 한 올트먼 CEO를 내보냈다. 외신들은 “AI 개발론자가 안전론자에 승리했다”는 평가를 내놓고 있다.

지난달 17일(현지 시간) 오픈AI 이사회는 “이사회와 소통에 솔직하지 않은 모습을 보였다”면서 올트먼 CEO에 해고를 통보했다. 명확지 않은 사유에 모두가 어리둥절했다. 본인도 황당했는지 다음 날 SNS에 “멀쩡하게 살아 있는 내 추도사를 읽는 이상한 경험을 했다”고 올렸다. 20일 오픈AI의 최대 투자자인 마이크로소프트(MS)가 “올트먼이 새 AI 팀을 이끌 것”이라며 영입을 발표했다. 그러자 오픈AI 임직원 702명이 이사회 측에 “우리도 MS로 가겠다”고 선포했다. 오픈AI의 임직원은 총 770명이다.

투자자들과 임직원의 반발로 오픈AI 이사회가 결국 백기를 들었다. 오픈AI는 21일 올트먼이 CEO로 전격 복귀했다고 밝혔다.

쿠데타의 배경을 이해하려면 이 회사의 특이한 지배구조부터 알아야 한다. 오픈AI는 2015년 ‘인간 수준의 인공지능을 안전하게 구축하는 것’을 목표로 하는 비영리단체로 출발했다. 지분이 없는 6명의 이사진이 모든 결정권을 갖는다. 챗GPT 개발이 외부 입김에 흔들리지 않도록 자본과 경영을 분리한 것이다. 투자자들 역시 경영에 간여할 수 없게 했다.

이상은 곧 현실의 벽에 부딪혔다. 경쟁자인 알파벳(구글)이 문제였다. 덩치 싸움에서 게임이 되지 않았다. AI 개발과 인재를 데려오는데 끝도 없는 돈이 투입됐고, 진도는 더뎠다. 가장 답답해한 인물 중 한 명이 오픈AI 공동설립자였던 일론 머스크였다.

그는 오픈AI 개발에 더 많이 개입하고자 했는데 개발자들과 종종 충돌했다. 한 연구원은 머스크에게 현재 개발이 윤리적인 부분에 미칠 영향을 충분히 고려했는지 물었다가 “얼간이(Jackass)”라는 소리를 들어야 했다. (오픈AI 직원들은 이 연구원에게 ‘얼간이’라고 적힌 트로피를 만들어 선물했다) 머스크는 2018년 2월 회사를 떠났다.

내부에서 “서비스를 상용화하는 계획을 내놓고 투자자를 유치하자”는 이야기가 나왔다. 오픈AI는 결국 2019년 영리법인을 자회사로 만들었다. 비영리법인이 자회사인 영리법인을 통제하는 독특한 구조가 만들어진 것. 오픈AI는 ‘사업성보다 윤리성과 사회적 안전을 우선하는 AI로 돈 버는 회사’가 됐다. 마이크로소프트가 130억 달러(약 17조 원)를 투자해 영리법인 지분 49%를 확보했지만, 비영리법인의 이사회 의석은 1석도 보유하지 못했다. (올트먼이 잘릴 때 MS가 반대의견을 낼 수 없었던 이유다)

샘 올트먼 오픈AI CEO가 회사에서 잘린 뒤 자신의 엑스(X·전 트위터) 계정에 올린 사진. 올트먼 손에 있는 오픈AI 방문자용 출입 카드가 눈에 띈다. 엑스(X·전 트위터) 캡처

● 모순을 안고 살아가는 남자

이사회는 올트먼의 퇴출 사유를 명시하지는 않았다. 다만, 올트먼이 챗GPT의 윤리적 안전성보다 투자 유치 및 MS와의 사업 확대에 치중한 것을 우려한 결정이었다는 분석이 많다. 어떻게 보면, 이사회는 자신의 역할을 다한 셈이다.

업계에서는 AI 시장의 치열한 경쟁을 고려했을 때 비영리법인이 영리법인을 자회사로 두는 오픈AI의 지배구조 자체가 모순이라는 지적도 나온다.

올트먼의 실제 삶도 모순적이긴 하다. 채식주의자인 그는 주말엔 자신의 캘리포니아 나파밸리 농장에서 와인용 포도와 소를 기른다. (그의 배우자가 소고기를 좋아한다고 한다. 채식주의자가 육식을 사랑하는 배우자를 위해 기르는 육우라니!)

올트먼은 AI에 한해 개발론자보다 이상론자에 가까워 보인다. 올트먼은 2019년 미 뉴욕타임스(NYT)와의 인터뷰에서 오픈AI의 AI 개발을 미국의 ‘맨해튼 프로젝트’와 비유했다. 그는 “우리가 열망하고 바라는 AI 개발은 제2차 세계대전 당시 미국의 원자폭탄 개발만큼 스케일이 크다”면서 오픈AI가 세상을 뒤흔들 것이라고 내다봤다. 올트먼은 오픈AI의 기업 가치를 860억 달러(약 113조 원)까지 끌어올렸다. 하지만 그가 가진 지분은 ‘0’이다. 올트먼이 회사에서 받는 돈은 약 6만5000달러(약 8500만 원)의 연봉뿐이다.

그는 허위 정보의 범람 같은 부작용 역시 종종 걱정했지만, AI가 세상에 가져올 이점이 더 크다고 자신했다. 올트먼은 “ 일반인공지능(AGI·인간 수준의 인공지능)은 그 누구도 본 적 없는 번영과 부를 가져올 것”이라며 “AI의 부작용을 완화할 수 있는 방법 역시 나올 것”이라고 기대했다.

해외에선 이번 사태로 오픈AI의 AI 개발에 속도가 붙을 것으로 내다봤다. AI 개발에 따른 부작용 우려보다 사업성에 더 초점을 둘 수 있다는 뜻이다.

IT 매체인 더 버지에 따르면, 오픈AI는 이사회 규모를 기존 6명에서 9명으로 확대할 계획이다. MS 측 인사도 의석을 차지할 것으로 보인다. 영국 이코노미스트는 “새로운 이사들은 오픈AI를 좀 더 사업적인 조직으로 만들 가능성이 크다”고 전했다.

올트먼 역시 과거보다 더 높은 강도의 성과 압박을 받게 될 것 같다. 구글과의 경쟁이 본격화했기 때문이다. 구글은 7일(현지 시간) 차세대 거대언어모델(LLM) 기반 AI ‘제미나이(Gemini)’를 전격 공개했다.

제미나이의 울트라 버전은 수학과 물리학, 역사, 법률, 의학, 윤리 등 57개의 주제를 복합적으로 활용해 지식과 문제 해결 능력을 평가하는 ‘대규모 다중작업 언어이해 테스트(MMLU)’에서 90.04점을 받았다. 전문가(사람)는 89.3점을 기록했다. 사람보다 높은 점수를 기록한 최초의 인공지능으로 등극한 것이다.

오픈AI 챗GPT의 ‘GPT-4’는 같은 테스트에서 제미나이보다 낮은 86.4점을 기록했다. AI의 미래가 어디까지 닿을지 가늠하는 건 지금으로서는 무리 같다.