아동·청소년 성착취물 AI로 90초 만에 걸러낸다

지난해 9월 디지털 성범죄 피해자인 중학생(16)이 가해자로부터 받았던 메시지. 서울시 제공

“야한 사진 보내줘. 사진 보내주면 5만 원도 줄 수 있어.”

지난해 9월 용돈이 부족해 아르바이트를 구하던 중학생 A 양(16)은 소셜네트워크서비스(SNS)에서 불특정 상대방과의 대화 1건당 70원을 준다는 광고를 접했다. A 양에게 접근한 가해자는 처음엔 일상적 대화를 이어갔지만 점차 얼굴 사진이나 노출 사진 등을 요구했다. A 양이 거절하자 가해자는 “이런 아르바이트하는 걸 부모에게 말하겠다”며 협박했고, A 양이 보낸 사진을 온라인에 유포했다.

22일 서울 디지털 성범죄 안심지원센터에 따르면 아동·청소년을 대상으로 한 디지털 성범죄 피해지원은 매년 급증해 2022년 총 2026건에서 지난해 1만5434건으로 7배 이상 늘었다. 센터에 따르면 아동·청소년을 대상으로 한 대표적인 디지털 성범죄 유형으로는 미성년 피해자를 유인하고 길들이는 ‘온라인 그루밍’을 비롯해 불법 사진 합성, 관련 사진이나 동영상 유포·재유포, 신체 불법 촬영물인 ‘몸캠’ 협박 등이 있었다.

이에 서울시는 아동·청소년 성착취물을 특정할 수 있는 AI(인공지능) 감시 기술을 전국 최초로 개발·도입해 24시간 자동 추적·감시에 나서기로 했다. 아동·청소년은 관련 법에 따라 당사자나 부모의 신고가 없이도 피해 영상물 삭제가 가능한 만큼, AI를 통해 아동·청소년 성착취물을 빠르게 찾아내고 삭제해 피해에 신속 대응한다는 계획이다.

인공지능(AI) 감시 시스템 도입으로 예상되는 효과. 서울시 제공

이번에 도입된 AI 감시 시스템은 AI 딥러닝 기반 안면인식 기술로 성인과 잘 구분되지 않는 아동·청소년의 성별과 나이를 판별할 수 있는 시스템이다. 또, AI가 영상물에 자주 등장하는 책, 교복, 청소년이 사용하는 언어 등을 함께 인식하기 때문에 영상물에 얼굴이 등장하지 않더라도 피해 영상물 여부를 판별할 수 있다.

성착취물을 찾고 삭제하기까지 시간과 정확도도 크게 향상된다. 키워드 입력부터 영상물 검출까지 90초밖에 걸리지 않아 기존에 삭제지원관이 피해 영상물을 수작업으로 찾아낼 때와 비교하면 검출 속도는 80분의 1 수준으로 줄고, 정확도는 300% 이상 향상될 예정이다. 서울시 관계자는 “이렇게 되면 지난해 수작업으로 이뤄진 모니터링 건수(15만 건)의 2배인 30만 건까지 모니터링이 가능할 것”이라고 설명했다.

AI가 SNS 빅데이터 분석을 통해 아동·청소년 성범죄물 관련 신조어도 자동으로 생성할 수 있게 돼 영상물 검출에 사용되는 키워드도 다양해진다. 예를 들어 기존엔 삭제지원관이 ‘딥페(딥페이크·이미지 조작을 뜻하는 단어의 약자)’로 검색했다면 이젠 AI가 ‘뒵페’ ‘뒷페’ 등 유사한 신조어도 자동으로 찾아낸다.

아울러, 시는 기존에 미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산하는 점에 착안해 검색 영역을 확장했다. AI를 통해 미국뿐 아니라 중국, 러시아 등의 국가에 유포된 피해 영상물도 확인할 계획이다.