최신 함수암호 무력화, 학계에 신선한 충격

세계 암호학 ‘핫 피플’된 수학도들

‘함수암호’를 무력화시키며 암호학계의 신예로 떠오른 이창민 연구원(왼쪽). 이 연구원은 건축학과를 다니다 중간에 수학으로 전공을 바꿨다. 그는 지도교수인 천정희 서울대 수리과학부 교수(오른쪽에서 두 번째)에 대해 “함수암호 연구를 시작한 건 교수님 덕분”이라고 말했다. 천정희 교수 제공

김미란 연구원(오른쪽)은 미국 마이크로소프트(MS) 연구소 암호 연구 책임자(왼쪽) 등을 이끌고 DNA 보안 기술을 개발하고 있다. 천정희 교수 제공

“당신 말대로 해 보니 정말 암호가 깨지는군요! 축하합니다.”

지난해 10월 말. 서울대 수리과학부 박사과정에 재학 중인 이창민 연구원(26)은 세계 암호학계 석학들에게 자신의 연구 결과를 담은 논문을 이메일로 보냈다. 그리고 며칠 뒤. 세계 각지에서 답장이 날아왔다. 대부분 자신의 연구 결과에 오류가 있음을 인정하는 내용이었다. 아직 박사학위도 없는 한국의 풋내기 암호학도는 한순간에 세계 암호학계의 ‘핫 피플’로 떠올랐다.

○ 건축학도에서 암호학도로

사실 그는 ‘정통 엘리트 코스’를 밟지 않았다. 고등학교 시절 수학을 좋아했지만 국제수학올림피아드(IMO)는커녕 국내 수학경시대회에서조차 상 한 번 받은 적이 없었다. 대학 진학도 건축학과로 정했다. 가정 형편이 넉넉하지 않았던 터라 대학을 졸업하고 안정적인 직업을 갖는 게 우선이었다.

하지만 건축학과에 적응하기란 쉽지 않았다. 공부에 흥미를 못 느꼈고 재미도 없었다. 결국 2학년을 마친 뒤 그는 수학으로 전공을 바꿨다. 그의 인생에서 수학을 제대로 공부한 건 겨우 5년이다.

그런데 처음부터 ‘대박’을 터뜨렸다. 이번 논문은 대학원에 진학한 지 3년 만에 처음 쓴 논문이었다. 그는 이 논문으로 매년 개최되는 국제암호학계 최대 학술대회인 ‘유로크립트(Eurocrypt)’에서 최우수 논문상을 거머쥐었다. 국내에서 이 상을 받은 건 이 연구원이 처음이다. ‘수학계의 노벨상’으로 불리는 ‘필즈상’ 수상자를 3명이나 배출한 이웃나라 일본도 아직 수상자를 내지 못했다.

국가보안기술연구소가 개최한 ‘국가암호공모전’에서는 대상을 차지했다. 상금으로 받은 1000만 원은 마침 부족했던 전세금에 보탰다. 그는 “연구 결과가 잘 나온 덕분에 집 문제까지 해결했다”며 웃었다.

○ 연구 두 달 만에 해킹 가능성 발견

이 연구원의 논문 주제는 ‘함수암호’였다. 함수암호는 현재 암호학계에서 가장 주목받고 있는 최신 암호 체계다. 암호학계 신예로 불리는 크레이그 젠트리 미국 IBM왓슨연구소 박사가 2013년 개발했다. 젠트리 박사는 이 공로로 지난해 미국 최고의 천재들만 뽑힌다는 ‘맥아더 펠로’에 선정됐다.

함수암호의 특징은 정보를 암호화된 상태로 자유롭게 분석한 뒤 원래 정보는 건드리지 않고 분석 결과만 뽑아낼 수 있다는 점이다. 이 때문에 개인정보를 빅데이터로 다루는 업체들은 이런 보안 서비스가 절실하다.

가령 함수암호를 활용하면 온라인 비디오 서비스 분야의 최강자로 꼽히는 미국의 넷플릭스처럼 회원들이 선호하는 영화와 드라마를 모아 빅데이터 분석으로 개인별 맞춤형 서비스를 제공할 때 민감한 개인정보는 안전하게 보호하면서 원하는 정보를 자유롭게 제공할 수 있다.

이 때문에 함수암호는 처음 공개되자마자 “빅데이터 활용에 날개를 달았다”는 평가를 받으며 2년 남짓한 기간 동안 활용 가능성을 다룬 논문만 96편 이상 나왔다. 실용화되는 건 시간문제처럼 보였다.

하지만 이 연구원이 함수암호를 파기 시작한 지 두 달쯤 됐을 때, 함수암호를 뚫고 들어가 며칠 만에 ‘해킹’할 수 있는 알고리즘을 발견했다. 이 내용을 논문으로 쓰자마자 젠트리 박사에게 이메일을 보냈다. 3일 뒤 젠트리 박사는 “함수암호가 정말 깨졌다”며 ‘항복’을 알리는 이메일을 보내 왔다. 이 연구원은 “세계 최고 암호학자로 꼽히는 젠트리 박사에게 인정받았다는 생각에 말할 수 없이 가슴이 벅찼다”면서 “해킹에서 안전한 ‘완벽한 암호’를 만드는 게 목표”라고 말했다.

○ MS 연구진 이끌고 DNA 보안 알고리즘 개발

이 연구원과 같은 연구실에서 한솥밥을 먹고 있는 김미란 연구원(28)은 생체정보 보안 연구 분야에서 떠오르는 샛별이다. 그는 1월 미국 마이크로소프트(MS) 연구소 초청으로 현지에 급파됐다. 작년 내내 MS 연구진을 이끌고 개발한 DNA 보안 기술이 ‘안전 게놈 분석 경진대회(Secure Genome Analysis Competition)’에 출전했기 때문이다. 이 대회는 샌디에이고 캘리포니아대 의대가 지난해부터 개최하는 첨단 생체정보 보안 대회다.

DNA는 빅데이터와 함께 최근 암호학계에서 가장 주목받고 있는 쌍두마차다. 미국에서는 머리카락과 담배꽁초에서 추출한 DNA로 몽타주를 그려주는 업체가 등장하면서 생체정보 보안이 시급해졌다. 2013년 과학학술지 ‘사이언스’에는 인터넷에 공개된 DNA 정보를 분석한 뒤 인터넷 검색을 통해 당사자들의 개인 정보를 획득했다는 논문이 발표되기도 했다.

김 연구원이 MS와 함께 개발한 암호는 ‘완전동형암호’를 활용한 것이다. 완전동형암호는 암호가 걸린 상태에서 원래 정보의 사칙연산이나 다항식 계산이 가능하다. 2011년 매사추세츠공대(MIT)는 완전동형암호를 10대 미래기술 중 하나로 뽑았다. 그는 완전동형암호를 활용해 암호를 풀지 않고도 DNA를 분석하는 기술을 개발했다.

김 연구원은 “MS 측과 암호가 걸린 DNA를 분석해 특정 질병의 발병 가능성까지 예측하는 기술 개발도 검토 중”이라고 밝혔다.

두 연구원을 지도한 천정희 서울대 수리과학부 교수는 “최근 국내에서 암호 전공자들이 점점 사라져 가고 있다”면서 “젊고 유능한 암호학도들을 계속 발굴해 지도할 계획”이라고 말했다.

최영준 동아사이언스 기자 jxabbey@donga.com