가짜뉴스-딥페이크 잡는 ‘AI 지문’

AI 워터마크 적용 알고리즘 개발
AI 창작물에 기존 워터마크 쓰면… 연산 능력 떨어져 상용화에 한계
데이터 선택 과정서 편향성 유도… AI가 작업한 흔적 창작물에 남겨
기존 워터마크 저품질 문제 해결

인공지능(AI) 기술이 발전하면서 딥페이크·딥보이스를 악용한 사기 범죄나 가짜 뉴스가 확산하는 등 부작용이 함께 발생하고 있다. 게티이미지코리아

인공지능(AI)은 올해 노벨 물리학상과 화학상의 주역이 될 정도로 기술이 급속도로 발전하고 있다. AI 구현을 가능케 한 ‘기계학습’ 개발에 기여한 과학자들이 물리학상을, 단백질 구조 예측 AI를 설계한 과학자와 기업가가 화학상을 받았다. 그만큼 노벨상을 주관하는 스웨덴 노벨상위원회가 AI가 인류에 기여할 가능성을 인정했다는 의미다. 동시에 생성형 AI를 악용한 딥페이크 성 착취물과 가짜 뉴스 등 AI가 사회적 혼란과 비용을 가중하는 데 대한 우려도 커지고 있어 해결책이 시급한 상황이다.

부작용에 대한 해결책 실마리도 노벨상 수상자들이 제시했다. 올해 노벨 화학상을 수상한 데미스 허사비스 최고경영자(CEO)가 이끄는 영국 구글 딥마인드 연구팀은 대규모언어모델(LLM)에서 생성한 텍스트에 워터마크를 표시해 AI 콘텐츠를 식별·추적할 수 있는 도구를 개발하고 연구 결과를 23일(현지 시간) 국제학술지 ‘네이처’에 공개했다.

● 품질에 영향 없이 AI가 만든 텍스트 구분

텍스트나 이미지 등 AI가 생성한 결과물은 출처를 식별하기 어렵다. 정보의 신뢰도에 문제를 일으키고 범죄에 활용될 수 있는 원인으로 지적된다. AI 생성물에 ‘워터마크’를 넣는 방안이 해결책으로 제시됐지만 AI의 계산 효율과 결과의 품질이 떨어지는 문제가 있어 그동안 확대 적용하기가 어려웠다. 연구팀은 새로운 방식으로 접근해 AI로 생성된 텍스트에 워터마크를 적용하는 도구인 ‘SynthID-Text’를 개발했다.

연구팀은 먼저 LLM이 텍스트를 선택할 때 확률에 편향을 주는 알고리즘을 개발했다. 생성될 텍스트 후보군에 등장할 확률을 의도적으로 편향시키고 선택된 텍스트가 편향된 정도를 탐지해 특정 값 이상일 경우 LLM에서 생성된 텍스트로 판단하는 방식이다.

SynthID-Text 알고리즘은 구글에서 개발한 LLM인 제미나이의 실시간 대화 2000만 건에 적용돼 평가됐다. 그 결과 워터마크 알고리즘이 없을 때와 비교해 텍스트 품질은 거의 저하되지 않으면서도 다른 AI 텍스트 워터마크 도구보다 LLM이 생성한 텍스트 여부를 탐지하는 성능이 뛰어났다. 연구팀은 개발된 알고리즘이 “LLM의 연산 능력에 미치는 영향이 미미하다”며 “AI로 생성된 콘텐츠의 식별·관리에 필수적인 역할을 할 수 있다는 실질적인 증거”라고 설명했다.

텍스트 워터마크가 아직 완벽한 것은 아니지만 AI가 생성한 콘텐츠를 구분할 수 있는 기술을 한 걸음 더 발전시킨 것으로 평가된다. 연구팀은 “출력된 결과를 편집하거나 의역해서 텍스트 워터마크를 우회할 수 있다”고 경고하며 “투명하고 책임감 있는 LLM을 위한 이정표를 세웠다”고 밝혔다.

● AI에 AI로 맞대응하는 방안도

워터마크 방식 외에도 AI가 만든 허위 정보를 다시 AI로 잡아내는 노력도 이어지고 있다. 올해 6월 서배스천 파쿼 영국 옥스퍼드대 컴퓨터과학과 연구원팀은 LLM이 없는 사실을 있는 것처럼 꾸미거나 내용을 왜곡해 답변하는 AI ‘환각(hallucination)’ 현상을 AI로 잡아내는 방법을 제시했다. 의도하지 않은 AI 환각도 AI 기술 신뢰도와 윤리성에 악영향을 준다.

파쿼 연구원팀은 AI가 LLM이 답변한 내용이 정답인 질문을 역으로 생성하고, 동일한 의미의 답변 그룹이 나올 확률을 비교해 신뢰도를 파악하도록 했다. LLM이 내놓은 답변이 얼마나 믿을 만한지 구분할 수 있는 기술이다.

지난달 경찰청은 딥페이크·딥보이스 등 AI 기반의 허위 정보를 활용한 범죄에 대응하기 위해 3년간 총 91억 원을 투입한다고 밝혔다. 특히 AI를 활용해 딥페이크 영상을 탐지할 수 있는 소프트웨어를 고도화하는 작업에는 2025년 5억 원의 예산이 편성돼 올해보다 2억 원 늘었다.

AI의 근간인 인공신경망을 학습시키는 방법을 제시해 올해 노벨 물리학상을 받은 제프리 힌턴 캐나다 토론토대 컴퓨터과학과 교수는 수상 이후 진행된 전화 인터뷰에서 “AI는 우리 사회에 막대한 영향을 미칠 것”이라며 “AI가 가져올 나쁜 결과, 특히 통제 불능이 되는 위협에 대해 걱정해야 한다”고 밝혔다.