미국 뉴햄프셔에서 지난 23일(이하 현지시각) 열린 민주당 경선 프라이머리(예비선거)를 앞두고 유권자들에게 자동녹음전화(로보콜)이 걸려 왔다. 조 바이든 미국 대통령이 “11월 선거를 위해 당신의 표를 아껴둬야 한다”고 말하는 내용이 담긴 전화다.
말투도, 목소리도 모두 바이든 대통령을 똑 닮았지만, 이 전화에 담긴 음성은 미국 스타트업 일레븐랩스의 생성형 인공지능(AI)으로 만든 만든 딥페이크 음성으로 밝혀졌다. 바이든을 사칭해 경선 불참을 은근히 부추기는 내용의 메시지를 보낸 것이다.
출처=셔터스톡
2024년은 전 세계 76개 국가에서 선거가 치러지는 이른바 ‘슈퍼 선거의 해’로 불린다. 유권자 숫자로 따지면 42억 명이 넘는 사람이 투표에 참여하게 된다. 이달 중순 이미 치러진 대만 총통 선거를 시작으로 오는 4월 우리나라 총선, 올해 말 미국 대선까지, 결과에 따라서 지구촌 질서가 뒤바뀔 수 있는 굵직한 선거들이 즐비하다. 그만큼 최근 부쩍 늘어난 생성형 AI가 선거에 미칠 영향에 대한 우려도 커지고 있다.
칼리 교수는 후보자를 사칭하는 건 물론이고 AI가 특정 집단을 겨냥해 잘못된 정보를 퍼트리는 일을 더 수월하게 할 것이라고 지적한다. 그는 선거 요원들이 투표를 조작하는 가짜 영상을 제작해 투표 조작설을 부추기는 데 악용될 수도 있다고도 덧붙였다.
딥페이크와 같은 노골적 악용 사례 외에도 생성형 AI 특유의 환각 현상도 문제다. 비영리단체 AI 포렌식스와 알고리즘워치가 조사한 바에 따르면 마이크로소프트 코파일럿은 선거 관련 질문 3개 중 1개에 잘못된 답변을 내놓기도 했다. 선거 날짜나 후보자를 잘못 설명하는 등 기본적인 사실 관계를 틀리는가 하면, 후보자에 대한 잘못된 정보를 전달하기도 했다.
이 때문에 전문가들은 딥페이크를 비롯한 AI 악용에 대한 규제를 서둘러 마련할 필요가 있다고 지적한다. 비영리 감시 단체 퍼블릭시티즌 대표 로버트 와이즈먼은 “딥페이크를 불법화하거나 딥페이크임을 드러내도록 의무화하는 법안이 없다면 모든 분야의 정치 활동가들이 민주주의에 미칠 광범위한 영향에도 아랑곳하지 않고 자신들의 이익을 위해 이 기술을 활용할 게 100% 확실하다”고 말했다.
미국 연방선거관리위원회(FEC)는 공개 의견 수렴 절차를 거치고 있으며, 초여름에는 AI 규칙을 제정할 수 있을 것으로 예상한다는 입장이다. 캘리포니아, 미시간, 메나소타, 텍사스, 워싱턴 등은 이미 주 정부 차원에서 선거에서 딥페이크 규제하는 법을 제정하며 대응을 나섰다. 이외에도 20여 개 주가 관련 규제를 도입했거나 도입을 논의 중이다.
출처=셔터스톡
AI 기업 차원에서도 대응에 나서는 모양새다. 페이스북은 지난해 11월 정치 캠페인 광고에 생성형 AI 사용 여부를 명시하지 않은 광고는 게재를 금지하는 조치를 발표했하고, 구글은 지난 12월 챗봇 ‘바드’에서 AI 선거 관련 답변을 차단하는 조치를 취했다.
오픈AI도 지난 15일 챗GPT로 제공하는 선거 관련 정보에는 출처를 표시하고, 이미지 생성 AI인 달리로 생성한 이미지에는 이를 알리는 워터마크를 추가하고, AI 조작 여부를 탐지할 수 있는 도구도 내놓겠다고 밝혔다.
오픈AI의 응용 프로그램 인터페이스(API)를 선거 운동에 활용하는 것도 금지했다. 첫 제재 사례도 이미 나왔다. 지난 20일 미국 워싱턴포스트는 오픈AI가 민주당 경선 후보로 나선 미네소타주 하원의원인 딘 필립스 후보 홍보를 위한 ‘딘봇(Deen.Bot)’을 퇴출했다고 전했다. 오픈AI는 “정치 캠페인을 허용하지 않는 API 사용 정책을 고의로 위반하거나 동의 없이 개인을 사칭한 개발자 계정을 삭제했다”고 밝혔다.
IT동아 권택경 기자 tk@itdonga.com