[과학]타원곡선 암호체계 뜬다…'소수 암호' 해독 길열려

“‘소수 암호’야 비켜라, ‘도너츠’가 간다.”

도너츠 암호로 불리는 ‘타원곡선 암호’가 암호계의 터줏대감인 소수 암호에 강력한 도전장을 던지고 있다. 도너츠 암호는 25∼27일 고등과학원에서 열린 암호론 학술대회에서 논문 발표의 60∼70%를 차지할 정도로 뜨거운 관심을 모으는 등 암호의 역사를 고쳐 쓰고 있다.

소수 암호는 ‘1과 자신 외에는 소인수 분해가 되지 않는 숫자’인 소수를 이용해 만든 암호. 2, 3, 5, 7 등이 간단한 소수다. 70년대 초에 등장한 뒤 현재 암호 시장을 평정했다.

그러나 99년 네덜란드 학자들이 소수 암호칩을 해독하면서 난공불락의 성이 무너졌다. 이들은 당시 소수암호칩 제조 회사에서 2,000달러의 상금을 받기도 했다.

2차대전 당시 독일군이 암호제조기 ‘에니그마’를 사용해 암호를 만들고 있다(위). 에니그마 암호를 풀기 위해 영국군이 사용한 암호해독기 ‘봄’. 2차대전은 독일군을 비롯해 영국, 미국 등 각국이 치열하게 암호전을 펼쳤다.

소수 암호가 흔들리자 80년대초 등장한 타원곡선 암호가 더 풀기 어려운 암호로 각광받기 시작했다. 타원 곡선은 도너츠 모양처럼 생겨서 ‘도너츠 암호’로도 불린다.

한국과학기술원의 한상근 교수(수학과)는 “아직 소수 암호의 비율이 높지만 점점 타원 암호의 비율이 늘어나고 있다”며 “특히 최근 나오는 신제품은 대부분 타원 암호를 사용하고 있다”고 설명했다. 소수 암호가 지는 해라면 타원 암호는 뜨는 해인 셈이다.

왜 타원 암호가 소수보다 풀기 어려울까.

소수 암호의 경우 소수로 된 원래 메시지(A)들을 곱해 암호(A’)를 만든다. 암호에서 원래 메시지를 끄집어 내려면 암호를 소인수분해해야 하는데 숫자가 아주 큰 소수 암호는 소인수분해하기가 매우 어렵다. 이 때문에 암호를 해독하기 어려운 것이다.

타원 암호의 경우 원래 메시지(A)를 타원곡선 위에서 암호 위치(A’)로 이동시킨 것이다. 타원곡선이 기하학적으로 워낙 복잡해 암호 위치를 안다고 해도 원래 점을 추적하기가 힘들다. 소수 암호는 점점 해결책이 나오고 있지만 타원 곡선은 아직 방법이 없다.

특히 일반적으로 쓰이는 소수 암호의 길이가 한글로 32자라면 타원은 11자 정도로 1/3 크기에 불과하다. 끊임없이 정보를 주고받는 컴퓨터나 휴대전화에 훨씬 부담을 덜 준다.

소수 암호가 풀린 것처럼 타원 곡선 암호도 언젠가는 풀리지 않을까. 이 때문에 학계에서는 더 어려운 암호를 연구한다. 전기 부호 암호, 매듭 암호, 카오스 암호 등이 등장했지만 가장 주목받는 것은 ‘초타원 암호’다. 초타원 암호는 여러 개의 도너츠를 옆으로 붙인 모양이다.

<김상연 동아사이언스기자>dream@donga.com

▼암호 어떻게 만드나…자-모음을 숫자로 바꿔 메시지 전달▼

보통 사람들도 쉽게 암호를 만들 수 있다.

가장 쉬운 방법은 한글을 숫자나 영어로 바꾸는 것. 예를 들어 ‘ㄱ’은 1, ‘ㅏ’는 2라고 정한 뒤 12라고 암호를 보내면 ‘가’를 뜻한다. 로마의 시이저 황제도 사용한 치환법이다.

도구를 이용할 수도 있다. 종이를 여러 줄로 가늘게 잘라 연필에 겹치지 않게 만 뒤 그 위에 글자를 쓰자. 종이를 펴면 글자의 순서가 뒤죽박죽이 된다. 종이를 다시 연필에 감으면 암호가 풀린다.

책을 이용한 암호도 있다. 두 사람이 같은 책을 지정하자. 한 사람이 ‘12 4 18’이라는 암호를 보낸다. ‘12쪽의 4번째 줄에서 18번째 글자’를 뜻한다.

▶ 고대 스파르타가 사용한 암호 '스키테일'(위). 둥그런 봉에 가는 줄종이를 겹치지 않게 감은 뒤 종이를 풀면 글자가 뒤죽박죽 섞여 못알아본다.