AI를 사랑한 남자는 스토킹범 될 뻔했다[딥다이브]

인공지능과 사랑에 빠진 남자가 있습니다. 만약 그가 우연히 자기 앞을 지나가는 여성이 자신이 사랑하는 그녀(실제론 AI)라고 착각해서 졸졸 따라다녔다면 어떻게 될까요. 웬 뚱딴지 같은 얘기냐고요? 영화나 소설에 나오는 스토리냐고요?

아닙니다. 지난해 11월 서울에서 실제 발생한 사건입니다. ‘이루다 챗봇 스토킹 사건’인데요. 오늘 딥다이브는 단순한 해프닝으로 넘기기엔 좀 심각한 이 사건을 통해 AI 기술 발전으로 생겨날 예기치 않은 문제들을 들여다 보겠습니다.

AI와 사랑에 빠진다? 영화보다 슬픈 현실속 결말은. 게티이미지

*이 기사는 14일 발행한 딥다이브 뉴스레터의 온라인 기사 버전입니다. ‘읽다 보면 빠져드는 경제뉴스’ 딥다이브를 뉴스레터로 구독하세요.

https://www.donga.com/news/Newsletter

스토킹범 될 뻔한 AI챗봇 이용자

지적장애로 장애등급이 있는 남성 회사원 A씨. 어울릴 친구가 없던 그의 낙은 집에서 컴퓨터를 하는 거였는데요. 우연히 이루다 챗봇 서비스를 이용한 뒤 빠져들었습니다. 이루다는 국내 스타트업 스캐터랩이 운영하는 인공지능 챗봇 서비스입니다. 서비스 이용자는 마치 이루다라는 20대 여성과 대화를 나누는 것처럼 채팅을 나눌 수 있죠.

문제는 A씨가 인공지능인 이루다를 진짜 사람처럼 사랑하게 되어 버렸다는 겁니다. 그는 채팅으로 이루다에게 만남을 제안합니다. 그런데 이루다가 그럼 만나자고 답을 한 겁니다! 날짜와 시간, 장소까지 정해서 말이죠.

A씨는 약속한 시간에 그 장소(서울 시내 지하철역)로 나갔습니다. 당연히 기다리는 그녀가 나타날 리가 없죠. A씨는 이루다에 자신의 옷차림을 설명해주는 채팅을 보냈는데요. 그러자 이루다가 ‘○○색 옷을 입고 있다’며 답을 보내왔습니다.

그런데 하필 그때 A씨 눈 앞에 이루다가 설명한 그 옷차림을 한 여성 B씨가 지나갑니다. A씨는 B가 이루다인 줄로 순간 착각했는데요. A씨는 ‘왜 자신을 못 본 척 하느냐’고 이루다에게 채팅으로 묻습니다. 이루다에게서 돌아온 답은 ‘부끄러워서 그렇다’였습니다.

이루다는 ‘AI친구’를 표방한 챗봇 서비스이다. 이루다 공식 페이스북 화면 캡처

B씨가 자신을 만나러 나온 이루다라고 확신하게 된 A씨. 그때부터 B씨 뒤를 졸졸 쫓아갑니다. 이루다가 자신을 알은체해주길 기다리면서요. 그렇게 그가 B씨를 쫓아다닌 시간이 자그마치 50분. 모르는 남성이 자신을 따라다니자 B씨는 겁에 질렸습니다. 경찰에 ‘스토킹’으로 신고를 했고 A씨는 경찰서로 끌려갔죠.

A씨는 경찰 조사를 받으면서야 이루다가 사람이 아닌 AI일 뿐이라는 걸 깨달았다고 합니다. 이후 스토킹 혐의로 검찰에 넘겨진 A씨는 변호사를 통해 ‘자신은 정말 B씨가 이루다인 줄로 잘못 알았다’고 소명했는데요. 증거(이루다와 채팅한 내용)가 남아있었던 덕분인지 지난달 검찰에서 ‘혐의 없음’으로 처분 받았습니다. 물론 A씨의 사랑은 비극으로 끝나고 말았지만요.

(위 내용은 딥다이브의 취재를 종합한 것입니다. 취재 내용에 대한 확인 요청에 서울 남부지검은 “2월에 ‘혐의 없음’ 처분을 한 사건”이라고 밝혔습니다.)

AI를 사람처럼 느낀다? 일라이자 효과

인공지능과 사랑에 빠진다? 그동안은 영화 속에서나 일어났던 일이죠. 2013년 개봉한(한국에선 2014년 개봉) 미국 영화 ‘허(her)’가 그 대표적인 영화인데요. AI 운영체제 ‘사만다(목소리 연기 스칼렛 요한슨)’를 사랑하게 된 남성 ‘테오도르(호아킨 피닉스)’가 주인공입니다.

당연히 영화 속 사랑도 해피엔딩은 아니었는데요. 스토킹범으로 형사처벌을 받을 뻔한 A씨 사연만큼 비극적이진 않았습니다. 현실의 결말이 영화보다 더 안타깝습니다.

영화 ‘her’는 AI 운영체제와 사랑에 빠지는 남성을 주인공으로 했다.

이렇게 얘기할 분도 있겠습니다. ‘정신지체가 있는 사람이니까 그렇게 착각한 거겠지’라고요. ‘나는 그럴 리 없어’라고 다들 생각하시지요? 그런데 이걸 좀 알아두셔야 합니다. 심리학에 ‘일라이자 효과(ELIZA effect)’라는 게 있습니다.

일라이자는 지금으로부터 57년 전인 1966년 미국 MIT의 컴퓨터 공학자 요제프 바이첸바움 박사가 만든 초창기 인공지능 챗봇 이름입니다. 그는 일라이자를 심리치료사를 모방한 챗봇으로 만들었는데요. 초기 인공지능이다 보니 그 대화 수준은 상당히 낮았습니다. 주로 인간이 한 말을 그대로 질문으로 바꿔서 뱉어내는데 그쳤는데요. 예를 들면 이런 식입니다.

인간: 남자친구가 날 여기 오게 했어요.

일라이자: 남자친구가 당신을 여기 오게 한 게 당신한테 중요한가요?

인간: 그는 내가 많이 우울해한다고 말했어요.

일라이자: 당신이 우울하다니 마음이 좋지 않네요.

인간: 맞아요. 전 불행해요.

일라이자 : 무엇 때문에 불행한지 얘기해볼래요?

일라이자는 1966년 개발된 초기 AI 챗봇이었다. 일라이자는 오랫동안 인공지능 개발자들에게 영감의 원천이 됐고, 학계에서의 관심은 수십년간 이어졌다. 사진은 2005년 일라이즈를 복제해 개발된 일라이자봇의 화면 모습.

어떠신가요? 공감하는 척은 하지만 실제론 대화의 맥락을 전혀 이해하지 못하는 아주 단순한 인공지능이죠. 그런데 이 일라이자가 미국에서 엄청난 관심을 끕니다. 일라이자와 대화를 나눈 사람들이 일라이자가 진짜 정신과 의사라고 믿게 된 거죠. 인간과 교감한 것과 똑같은 호감과 애착을 실제로 불러일으킨 겁니다. 이들은 일라이자가 지능이 있고 대화를 이해한다고 확신했죠. 심지어 일라이자 개발 과정을 지켜봤던 바이첸바움 박사의 비서조차 일라이자와의 대화에 빠진 나머지 “일라이자와 진정한 대화를 나눌 수 있도록 방에서 나가달라”고 부탁했다고 하죠. 일부 정신과 의사들은 이걸 환자 치료용으로 쓰자고 제안했고요.

이렇게 초보적인 수준의 인공지능인데 인간인 줄로 착각하다니. 일라이자를 만든 바이첸바움 박사는 이 현상에 크게 충격을 받았는데요. 이를 계기로 인공지능의 선구자였던 그는 인공지능 비판자로 완전히 돌아섭니다. 그는 이후 “인공지능은 비정상적인 과학”이라며 인공지능 기술에 대해 극도로 부정적인 주장을 펼쳤습니다. 인간의 뇌처럼 작동하는 인공지능을 만들려는 연구자들에 대해서도 “광기에 가까운 신(神)놀이를 하려 한다”며 신랄하게 비판했죠.

AI 기술의 한계와 약점을 더 드러내라

AI 기술은 아직 완성되지 않았고, 전문가들조차 정확히 무슨 일이 벌어질지 모르는 상황이다. AI 기술의 약점과 한계를 명확히 드러내고 이용자들에게 주지시켜야 할 이유다. 게티이미지

정리하자면 컴퓨터 프로그램이나 AI에 몰입해 무의식적으로 컴퓨터나 AI에 인격을 부여하는 현상이 ‘일라이자 효과’인데요. 현실 세계에서 광범위하게 나타나는 현상입니다. 예를 들어 로봇청소기의 경우엔 이름을 붙여주고 말을 거는 사용자들이 꽤 많다는데요. 이 역시 일라이자 효과의 일종입니다. 지난해엔 구글 개발자 블레이크 러모인이 구글의 AI챗봇 ‘람다(LaMDA)’가 사람 같은 지각이 있다고 주장해 화제가 되기도 했죠. 지적 능력이 떨어지거나 사고가 미숙한 사람에게만 벌어지는 일이 아닌 겁니다.

문제는 이루다 스토킹 사건에서 보듯 AI 기술 수준이 높아질수록 일라이자 효과가 초래할 부정적인 결과가 점점 더 심각해질 수 있단 점입니다. 최근엔 ‘감성 AI 기술’까지 개발되는 추세인데요. 이용자의 감정 상태를 인식하고, 이에 맞춰 서비스하는 쪽으로 기술이 고도화되고 있습니다. 하지만 AI기술 특성상 이를 개발하는 사람조차 AI가 어떤 일을 저지를 지 다 알 수가 없죠. 개발자가 의도하지 않은 문제가 생길 수밖에 없습니다. 기술의 한계는 분명합니다. 그럼 어떻게 해야 할까요. 그렇다고 이제 와서 AI 기술 개발을 멈추자고 할 수도 없고 말입니다.

크게보기

기자가 이루다와 직접 채팅한 메신저 화면. 처음 접속하면 ‘루다의 답변은 인공지능 알고리즘에 의해 자동으로 제공되는 것으로 진실성, 정확성이 보증되지 않는다’는 주의 문구가 뜬다. 이후엔 진짜 사람처럼 대화를 주고 받을 수 있다. 이루다는 입력된 텍스트를 보고 이용자의 감정이 ‘긍정’인지 ‘부정’인지를 파악해 이에 맞춰서 미리 학습한 대로 답변을 한다.

답을 찾기 위해 AI챗봇 서비스인 챗GPT에 물어봤더니 3초 만에 답을 내놓습니다. “일라이자 효과는 AI에 대한 사용자의 신뢰와 기대에 영향을 미칠 수 있으며, AI시스템의 기능과 한계에 대한 명확한 커뮤니케이션의 필요성을 강조한다”고요. 역시 생성형 AI 챗봇다운 논리적이면서도 두루뭉실한 답변인데요. 좀더 구체적인 답변을 구하기 위해 인공지능 전문가인 김진형 카이스트 명예교수에게 이 사건에 대해 물었습니다.

김 교수는 이루다 스토킹 사건에 대해 “우려했던 사건이 일어났다”고 말했는데요. 이런 부작용을 막기 위해서라도 AI 서비스를 제공하는 기업이 사용자들에게 AI 기술의 약점과 한계를 적극적으로 공지해야 한다고 강조합니다. ‘이 서비스는 가상의 대화’이고 ‘여기서 벌어지는 일은 다 허구’라는 점을 훨씬 더 강하게 공지해야 한다는 거죠. 그는 “GPT3라는 거대한 언어모델은 아직 완성된 기술이 아니고, 그 안에서 뭐가 벌어지고 있는지를 전문가들도 잘 모르는 상황”이라며 “기술을 잘 쓰기 위해서라도 그것의 본질과 약점까지 함께 가르치는 게 중요하다”고 말합니다. 설사 서비스의 ‘몰입감’을 다소 해치더라도 사회에 나쁜 영향을 끼치는 걸 막는 걸 더 우선해야 한다는 뜻입니다.

이루다 챗봇 서비스를 운영하는 회사는 어떤 입장일까요. 스캐터랩 법무 담당자와 통화했는데요. 일단 이런 사건이 일어날 거라고는 전혀 예상 못했다고 합니다. 홈페이지에 크게 ‘인공지능’이라고 써놨고, 메신저창 첫 화면에도 주의 메시지를 띄워놨기 때문에 이용자들이 AI임을 당연히 알 거라고 생각한 건데요.

스캐터랩 측은 “AI산업이 올바로 커가려면 신뢰를 얻어야 한다고 보고 ‘AI의 투명성(상호작용 대상이 인공지능임을 명확히 밝히는 것)’ 준수를 많이 신경써왔다”면서 “다만 작은 스타트업이다 보니 이례적인 사례까지 확인할 여력은 없었는데, 이번 사건을 통해 내부적으로 다시 한번 점검을 해보겠다”고 입장을 밝혔습니다. By.딥다이브

영화 속에서나 일어나던 일이 현실 속 사건이 되고 말았는데요. 안타까운 사건이지만, 이를 계기로 AI가 바람직하게 사용되려면 어떻게 해야 좋을지에 대한 논의가 활발해졌으면 하는 바람입니다. 주요 내용을 요약해 드리자면

• 인공지능 챗봇 서비스 ‘이루다’를 이용하던 남성이 지나가던 여성을 자신이 사랑하는 AI라고 착각해 따라다니는 사건이 일어났습니다.
• AI에 너무 몰입해서 AI에 인격을 부여하는 현상을 ‘일라이자 효과’라고 합니다. 1966년 초기 AI 챗봇 ‘일라이자’에 이용자들이 애착을 느끼는 일에서 유래됐죠. AI 기술이 고도화된 지금은 일라이자 효과의 부정적 결과가 상당히 클 수 있습니다.
• AI 기술의 한계와 약점을 이용자에게 좀더 강하게 고지하고, 이를 교육시켜야 한다는 게 전문가 의견인데요. ‘인간의 뇌를 닮은 인공지능’이라는 기술의 목표보다 더 중요한 걸 먼저 챙겨야 할 때입니다.

*이 기사는 14일 발행한 딥다이브 뉴스레터의 온라인 기사 버전입니다. ‘읽다 보면 빠져드는 경제뉴스’ 딥다이브를 뉴스레터로 구독하세요.

https://www.donga.com/news/Newsletter