콧수염-뿔테안경으로 가려도… 1초만에 “얼굴 일치도 78%”

‘5년간 외국인 범죄자 2000건 신원 특정’ 얼굴 인식 체험해 보니

12일 인천국제공항 내에 있는 법무부 인천공항 출입국·외국인청 감식과에서 전문 분석관들이 본보 기자의 얼굴 사진을 ‘바이오 정보 분석 시스템’에 입력해 분석하고 있다. 감식과는 범행 현장에서 포착된 외국인 용의자의 얼굴 사진을 국내 체류 외국인의 입국심사 당시 사진과 대조해 신원을 밝히고 있다. 이날 법무부의 얼굴 인식 알고리즘은 기자가 가짜 콧수염과 선글라스 등으로 분장한 모습도 척척 잡아냈다. 인천=전영한 기자 scoopjyh@donga.com

올 10월 25일 서울 강남구 역삼동의 한 물품보관함 인근. 폐쇄회로(CC)TV에 한 외국인 남성의 얼굴이 잡혔다. 보이스피싱 조직이 범죄로 챙긴 돈을 옮기는 전달책이었다. 한 달 사이에만 이 조직에 10명의 한국인이 속아 넘어가 2억 원을 뺏겼다. 경찰은 자금 흐름을 쫓던 중 이 남성이 촬영된 CCTV 화면을 확보했지만 30대로 추정된다는 것 말고는 다른 단서가 없었다. 끝내 잡지 못한 외국인 범죄자 중 한 명으로 남을 상황이었다.

하지만 이 다음부터 첩보영화 ‘미션 임파서블’에서 자주 봤던 모습이 펼쳐졌다. 경찰은 CCTV에서 오려낸 흐릿한 얼굴 사진을 법무부 인천공항 출입국·외국인청 감식과로 보냈다. 이를 전문 분석관이 ‘바이오 정보 분석 시스템’에 입력했다. 그 순간 모니터 오른쪽에는 말레이시아 출신 T 씨(31)의 사진이 나타났다. 얼굴 인식 알고리즘이 국내 체류 외국인들의 입국심사 당시 사진 1억5000만 장을 검색해 그중 보이스피싱 조직 전달책과 생김새가 가장 닮은 사람을 보여준 것이다. 이 작업엔 1초도 걸리지 않았다.

정보를 넘겨받은 경찰은 T 씨를 추적했다. 경찰의 추적이 턱밑까지 온 것을 몰랐던 T 씨는 지난달 20일 오전 말레이시아로 돌아가려고 인천국제공항에 나타났다. 그때 잠복해 있던 서울 수서경찰서 형사들이 T 씨의 손목에 수갑을 채웠다.

○ 콧수염 붙인 기자, 알고리즘이 알아볼까

법무부 인천공항 출입국·외국인청 감식과가 경찰 등 수사기관이 보낸 얼굴 사진을 토대로 외국인 범죄자의 신원을 특정한 사례는 2015년부터 올 6월까지 총 2089건이다. 같은 기간 법무부에 의뢰된 전체 분석 대상이 8435건이었다. 단순히 비율로만 따지면 성공률이 24.8%인 셈이다. 다만 분석 대상 중엔 화질이 나빠 사람 얼굴인지 알아보기도 어려운 CCTV 화면이 상당수 섞여 있고, 외국인이 아닌 경우도 포함된 점을 감안하면 나쁘지 않은 성적이다.

그렇다면 법무부 얼굴 인식 알고리즘의 한계는 어디일까. 기자는 12일 오전 10시 인천국제공항 제2합동청사 3층에 있는 감식과를 찾아 도전장을 내밀었다. 기자가 준비한 무기는 전날 서울 종로구 창신동 완구시장에서 구입한 분장 소품이었다. ‘뽀로로’가 낄 법한 두꺼운 뿔테 안경과 가짜 콧수염 등, 착용한 채 거리를 활보하면 걱정 어린 시선을 한 몸에 받을 만한 것들이었다.

우선 34세 남성 기자가 표정 없이 정면에서 사진을 찍었다. 이를 시험 삼아 대한민국 견본 여권에 실린 여성 모델의 사진과 대조했다. 일치도가 0%로 나타났다. 눈 2개, 코 1개, 입 1개인 건 똑같은데 일치도가 0%라니 뭔가 잘못된 게 아닐까. 감식과에서 근무하는 40대 남성 직원을 급히 카메라 앞에 앉혔다. 기자와 해당 직원의 생김새 일치도는 1%로 나타났다. 구성림 감식과 총괄팀장은 “얼굴 생김새의 미세한 차이를 분석하기 때문에 아무리 인종과 국적, 성별이 같아도 일치도는 낮게 나올 수 있다”고 말했다.

본격적인 테스트의 첫 소품은 턱 아래까지 양 갈래로 뻗은 콧수염이었다. 왁스를 발라 양옆으로 올리면 ‘슈퍼마리오’처럼 보일 모양새였다. 콧수염을 붙이니 입 모양이 완전히 가려졌다. 그런데도 콧수염을 붙인 얼굴과 맨 얼굴의 일치도는 78%로 나타났다. 얼굴 인식 알고리즘은 통상 일치도가 50%만 넘어도 동일인일 가능성이 높다고 본다. 78%라면 동일인이나 다름없다는 뜻이라는 게 분석관의 설명이었다. 이보다 숱이 적은 콧수염을 턱수염과 함께 붙였을 땐 일치도가 무려 91%로 계산됐다. 입 모양이 그대로 보였기 때문이다.

다음은 도수가 높고 테가 굵은 뽀로로 안경이었다. 착용한 채 사진을 찍으니 눈동자가 평소보다 훨씬 작아보였고 눈썹은 거의 전부 가려진 상태였다. 하지만 얼굴 인식 알고리즘은 일치도가 77%라고 평가했다. 검은 선글라스를 꼈을 땐 일치도가 이보다 높은 88%로 계산됐다. 육안으로는 검은 렌즈 뒤에 있는 눈이 제대로 보이지 않았지만 알고리즘은 이를 잡아낸 것이다.

고개를 45도 정도로 돌린 옆얼굴도 일치도가 77%로 높게 나왔다. 이는 얼굴 인식 알고리즘이 정면에서 촬영한 얼굴을 3차원(3D)으로 입체화한 뒤 양옆이나 위아래 등 다른 각도에서 찍은 얼굴까지 스스로 유추하기 때문이다. 현금자동입출금기(ATM)의 감시 카메라로 비스듬하게 찍은 사진도 정면 사진과 대조할 수 있는 이유다. 얼굴 인식 알고리즘이 기자의 얼굴을 알아맞히지 못한 경우는 얼굴 대부분을 가리거나 고개를 90도로 돌렸을 때뿐이었다.

○ ‘탈레반도 마구 출입국’ 논란에 2011년 도입

국내에서 얼굴 인식 기술을 외국인 범죄자 검거에 활용한 건 2011년 7월부터다. 그 전에도 국내에 들어오는 외국인의 지문과 얼굴 사진을 보관해 관리해야 한다는 지적은 있었지만 인권 침해 논란 탓에 관련 법안이 국회 문턱을 넘지 못했다. 그러다 2010년 11월 주요 20개국(G20) 정상회의의 서울 개최를 앞두고 같은 해 2월 이슬람 무장단체 ‘탈레반’ 소속인 파키스탄 남성이 17차례나 남의 여권으로 한국을 드나든 사실이 밝혀졌다. 이후 논의가 급물살을 탔고, 같은 해 5월 외국인의 얼굴 사진 등을 수집해 여권 도용 방지나 범죄자 검거 등에 활용할 수 있도록 출입국관리법이 개정됐다.

얼굴 인식의 정확한 작동 원리는 비밀이다. 원리를 알면 그에 대응한 변장술을 쓸 수 있기 때문이다. 다만 두 눈 사이의 거리와 눈꺼풀의 두께, 코의 생김새, 미간이나 입술의 길이, 귀의 음영, 목주름의 개수 등을 토대로 동일인 여부를 판단하는 것으로 알려졌다. 법무부에 얼굴 인식 알고리즘인 ‘네오페이스’를 공급하는 생체인증 업체 한국NEC 측은 “분석 대상자가 나이가 들어 주름이 늘거나 조명의 위치가 달라 얼굴에 그림자가 져도 이를 자동으로 보정해 동일인임을 밝혀낼 수 있다”고 설명했다.

분석 대상이 되는 사진의 출처는 다양하다. 올 7월 부산과 경기 안산시 등에서 신종 마약을 팔아온 외국인 일당 3명은 스스로 소셜네트워크서비스(SNS)에 올려둔 사진에 꼬리가 밟혔다. 같은 달 한국인들로부터 7억 원이 넘는 돈을 받아 챙기고 잠적한 사기 사건의 용의자는 위조 여권 속 사진으로 추적해냈다. 피해자들로부터 신뢰를 얻기 위해 가짜 미국 여권을 들고 다닌 이 외국인은 실은 라이베리아인이었다. 수사기관이 이 여권 사진을 확보하면서 해당 용의자를 특정할 수 있게 된 것이다.

한국에서 범죄를 저질러 이미 추방된 외국인이 신분을 세탁한 뒤 또다시 입국을 시도하면 이를 아예 공항 입국심사 단계에서 걸러낼 수 있다. 입국심사 땐 국가 정상 등 귀빈이나 응급 환자를 제외하곤 누구나 얼굴 사진을 찍고 손가락 지문을 입력해야 하는데, 이를 추방 범죄자의 생체정보 데이터베이스(DB)와 실시간으로 대조하기 때문이다. 법무부가 이 같은 방식으로 입국을 막는 외국인은 매년 1000명이 넘는다.

얼굴 인식 알고리즘과 전문 분석관은 서로의 빈틈을 채워준다. 올 10월 한 외국인이 캐나다 여권을 들고 입국심사대에 섰을 때 얼굴 인식 알고리즘은 이 외국인이 여권 주인과 동일인이 아니라고 판정했다. 하지만 분석관은 이 결과를 받아들고도 강제추방을 한참 망설일 수밖에 없었다. 생김새가 너무나 똑같았기 때문이다. 결국 이 외국인의 여권은 남의 것으로 최종 판정됐다.

반면 얼굴 인식 알고리즘이 생김새 일치도가 50% 이상인 외국인을 찾지 못할 땐 전문 분석관이 나서야 한다. 수사기관이 유추한 범죄자의 나이나 국적, 입국 시기 등 다른 정보를 종합해 가장 유사한 사람을 찾아내는 게 분석관의 몫이다. 매일 모니터를 뚫어져라 보다가 백내장이 발병했다는 분석관도 있다.

○ 일본은 응급환자 신원 확인에도 활용

중국은 얼굴 인식 기법을 가장 폭넓고 강력하게 시행하는 나라로 알려져 있다. 중국 공업정보화부는 이달 1일 휴대전화에 가입할 때 실명 여부를 확인하기 위해 가입자의 얼굴 사진을 촬영해 등록하도록 하는 새 규정을 시행했다. 아르헨티나도 일부 지역에서 철도역이나 항만 여객 터미널에 설치한 감시 카메라로 행인의 얼굴을 찍어 이를 범죄자나 실종자와 대조한다.

이처럼 정부가 주도하는 얼굴 인식 기술엔 ‘빅브러더(거대 감시자)’ 논란이 뒤따른다. 정부가 국민의 생체 정보를 틀어쥐고 감시할 수 있다는 불안감 때문이다. 이 때문에 우리나라 법무부의 얼굴 인식 알고리즘은 외국인 범죄자만을 대상으로 한다. 한국인이 해외로 나갔다 귀국할 때도 자동출입국심사대에서 얼굴 사진을 촬영하고 지문을 찍긴 하지만 법무부는 이 정보를 여권 정보와 대조하는 데에만 쓸 뿐 따로 보관하지는 않는다.

경찰청도 마찬가지다. 주민등록증이나 운전면허증을 만들 때 촬영한 사진은 범죄자 검거를 위한 얼굴 인식 기술에 활용할 수 없다. 그 대신 경찰청은 2016년부터 강도나 강간, 방화 등 범죄를 저질러 구속된 피의자의 얼굴을 3D 사진으로 촬영한 뒤 DB로 만들어 추후 범죄 현장에서 수집되는 사진과 대조하고 있다. 일선 경찰서가 범행 현장에서 찍힌 용의자의 사진을 경찰청에 보내면 DB에 등록된 기존 범죄자와 동일인인지 판단하는 방식이다. 다만 DB 등록 대상 범죄자가 제한적이라서 실제 검거까지 이어지는 사례는 매우 적다.

얼굴 인식 기술은 이미 생활 속에서 널리 쓰이고 있다. 휴대전화 잠금 장치가 대표적이다. 애플은 아이폰X부터 3D 스캔을 이용한 얼굴 인식 시스템 ‘페이스ID’를 제품에 탑재했다. 사용자 얼굴에 적외선을 쏘아 3만 개의 점을 표시한 뒤 인공지능(AI) 칩을 거쳐 사람마다 각기 다른 얼굴 구조를 인식해내는 시스템이다. 모바일 메신저 라인의 결제 및 송금 서비스인 ‘라인페이’에 이어 카카오톡의 ‘카카오페이’에도 얼굴인식 기술이 쓰인다. 인도 뉴델리시의 델리에어로시티 호텔은 프런트데스크에 설치된 카메라로 투숙객의 얼굴을 찍어 블랙리스트와 대조한다.

일본도 얼굴 인식 기술 활용에 적극적이다. 내년 도쿄 올림픽에서는 관중이 경기장에 입장할 때 ID 카드 대신 얼굴 ID를 활용할 예정이다. 기존에 등록한 얼굴과 입장 관중의 얼굴을 대조하는 방식이다. 일본 하치오지시 기타하라 병원에선 의식을 잃은 환자가 응급실에 도착했을 때 얼굴 인식 기술로 신원을 밝혀 과거 병력 등을 확인하는 기술을 도입했다.

이상달 법무부 이민정보과장은 “위조 여권 사용자나 외국인 범죄자를 더 정확히 판별해내기 위해 얼굴 인식 알고리즘을 매년 업그레이드하고 전문 분석관 교육도 하고 있다”고 말했다.

※법무부 인천공항 출입국·외국인청과 협의해 범죄자가 악용할 가능성이 있는 세부적인 내용은 기사에 담지 않았습니다.

한성희 chef@donga.com / 인천=조건희 기자