구글 “생성형AI 악용사례 26%는 여론조작”

광고-사기-괴롭힘 順으로 많아
허위정보 SNS 타고 빠르게 퍼져
英 폭동사태 등 사회혼란 불러

생성형 인공지능(AI)의 오남용 사례 대부분이 ‘여론 조작’이라는 분석 결과가 나왔다. 생성형 AI로 쉽게 만들어진 진짜 같은 허위정보들이 소셜네트워크서비스(SNS)를 타고 빠르게 퍼지고 있는 것이다. AI가 만든 허위정보가 SNS에 올라타면서 영국 폭동 사태 등 심각한 사회 혼란까지 이어지고 있다.

13일 구글딥마인드와 구글 연구진의 ‘생성형 AI의 오용 및 남용’ 보고서에 따르면 생성형 AI는 ‘여론 조작’에 가장 많이 악용되고 있는 것으로 나타났다.

연구진이 2023년 1월부터 올해 3월까지 오용 또는 남용 사례 253건을 분석한 결과 26.5%가 여론 조작이었다. 공인을 사칭하거나 가상의 캐릭터를 만들어 지지자나 반대자 행세를 하는 경우가 많았다. 또 대중의 인식을 왜곡하기 위해 조작된 정보를 만드는 경우도 있었다.

여론 조작에 이어 저품질의 AI 생성 기사나 광고를 무작위로 배포하는 ‘제품 및 서비스 수익 창출’(20.5%)과 유명인 사칭한 투자 권유 등 ‘사기 행위’(18.1%), ‘괴롭힘 및 협박’(6.4%) 등이 뒤를 이었다.

이번 연구는 생성형 AI가 오용된 실제 사례들을 분석해 악용하는 동기와 악용 방식 등을 분석했다는 점에서 의미가 있다는 평가가 나온다. 연구팀은 “복잡한 기술이 아니라 최소한의 지식만 있으면 쉽게 접근할 수 있는 기능을 활용한 것이 특징”이라고 설명했다.

최근 발생한 영국 극우 세력 폭동 사태가 대표적이다. 생성형 AI와 SNS가 ‘부정적 시너지’를 만들어 폭동 사태의 기폭제가 됐다는 분석이 나온다. 영국 매체 가디언스는 “사우스포스트 흉기 난동 사태 이후 3시간 만에 무슬림 복장 남자들이 울고 있는 아이 뒤에서 칼을 휘두르는 조작된 사진이 X를 통해서 90만 번 이상 트윗됐다”며 AI 기술과 SNS가 극단주의자들의 폭력 시위 확산에 악용되고 있다고 지적했다.

카멀라 해리스 미국 부통령의 선거캠프 홍보 영상을 딥페이크로 편집해 “조 바이든 대통령이 노망났다”는 발언을 한 것처럼 조작하거나 리시 수낵 총리가 가자지구에 18세 이상 영국 청년을 파병한다는 내용을 담은 AI 영상이 SNS를 떠도는 등 미국과 영국 선거에 영향을 미치고 있다.

생성형 AI 기술이 고도화되고 일상화될수록 허위정보가 더 빠르게 양산될 수 있는 만큼 이를 막기 위한 제도적 장치를 마련이 시급하다는 지적이 나온다. 이번 영국 극우 폭동 사태에서 SNS 플랫폼이 허위정보 확산에 손을 놓고 있다는 비판이 나오면서 영국 정부에서 ‘온라인 안전법’ 개정을 추진하고 있다.