AWS, 새 서버리스 서비스 3종으로 경쟁력 강화 나서 [AWS 리인벤트 2023]

[라스베이거스]

전 세계 최대 규모의 클라우드 행사인 AWS 리인벤트(AWS Re:Invent)가 현지 시간으로 11월 27일부터 오는 12월 1일까지 미국 네바다주 라스베이거스 일대에서 진행된다. 올해 행사는 미국을 비롯해 아시아, 유럽, 인도 등 전 세계에서 5만여 명 이상이 참석하며, 국내에서도 카카오페이증권, 지바이크, 당근, LG유플러스, 에이슬립, 요기요, 한국타이어, 포스코홀딩스, KB금융그룹, 이마트 등의 주요 고객사가 세션에 참여한다,

올해 기조연설은 피터 드산티스 수석 부사장을 시작으로 아담 셀립스키 CEO, 스와미 시바수브라마니안 AWS 데이터 및 AI 부문 부사장, 루바 보르노 전 세계 채널 및 제휴 부사장, 베르너 보겔스 CTO 등이 연단에 오르며, 피터 드산티스 수석 부사장이 월요일 저녁에 기조연설을 시작하는 ‘Monday Night Live’를 진행한다.

크게보기

피터 드산티스 AWS 수석 부사장 / 출처=IT동아

피터 드산티스 수석 부사장은 기조연설을 통해 아마존 오로라 데이터베이스의 쓰기 한도를 넘어 자동 확장하는 아마존 오로라 리미트리스 데이터베이스, 고객 필요에 맞춰 고가용성 캐시를 빠르게 제공하는 아마존 엘라스티캐시 서버리스, 인공지능 기반의 작업 효율 최적화 기능인 아마존 레드시프트 서버리스 기능, 아마존 양자컴퓨팅의 현주소를 차례로 소개했다.

AWS, 관리형 DB 오로라에서 상한선 없앤 리미트리스 DB 공개

아마존 오로라는 관계형 데이터베이스 관리 시스템을 위해 설계한 특수목적의 프로그래밍 언어인 SQL과 호환되는 완전 관리형 데이터베이스 엔진이다. 기존 MySQL 및 포스트그레SQL(PostgreSQL) DB에서 사용되는 코드를 그대로 아마존 오로라로 클라우드 데이터로 구축할 수 있다. 다만 온라인 게임 및 금융 거래 등 수억 명의 사용자를 관리하는 조건에서는 수백만 건의 명령과 페타바이트 단위의 용량이 소요되기도 한다.

크게보기

AWS는 오로라 DB에서 처리의 상한선을 없앤 오로라 리미트리스 데이터베이스 기능을 공개했다 / 출처=IT동아

현재는 이를 안정적으로 처리하기 위해 각각의 부하를 샤드(Shard)로 분산해서 처리하는데, 이를 구축하고 처리하는데 많은 시간과 모니터링, 용량 조절이 필요하다. 이번에 공개된 아마존 오로라 리미트리스 데이터베이스를 활용하면 초당 수백만 건의 쓰기 트랜잭션을 활용할 수 있으며, 단일 데이터베이스로 페타바이트 급의 데이터를 관리할 수 있다. 기업 입장에서는 분할 처리하는 수고로움을 덜고, 처리 속도를 가속화하는 이점이 있다.

오로라 리미트리스 데이터베이스는 곧바로 시범 운영되며, 미국 오하이오, 버지니아 북부, 오레곤, 도쿄 및 아일랜드 리전의 버전 15가 포함된 오로라 포스트그레SQL 클러스터에서 실행된다.

캐시메모리 확장성 극대화하는 아마존 엘라스티캐시 서버리스

크게보기

엘라스티캐시에서 관리의 필요성을 줄이고, 상한선을 없애 높은 성능을 지향하는 엘라스티캐시 서버리스 기능도 소개됐다 / 출처=IT동아

아마존 엘라스티캐시는 레디스(Redis) 및 맴캐시드(Memcashed) 캐시 엔진과 호환되는 클라우드 기반의 가상 캐시 서비스다. 일반적인 데이터베이스 데이터는 램(RAM)과 SSD, 하드디스크 등의 저장장치와 연동돼 있다. 하지만 단순 읽기나 고속 처리가 필요한 데이터의 경우 CPU 내에 내장된 캐시 메모리를 별도로 사용하며, 클라우드 상에서 이와 같은 기능을 구현한 것이 엘라스티캐시다.

그런데 작업의 경제성보다는 빠른 성능과 고속 처리 환경이 우선인 경우들이 등장하면서 고용량의 캐시를 할당하는 사례도 늘고 있다. 하지만 이 경우 할당되지 않은 캐시메모리가 추가 비용으로 청구되는 등의 문제가 발생하고, 이를 관리하기 위한 별도의 솔루션을 마련해야 할 수 있다. 아마존 엘라스티캐시 서버리스를 활용하면 캐시메모리를 사용할 때 곧바로 고가용성 캐시를 가져올 수 있고, 사용량을 확인하거나 성능의 저하 없이 즉시 캐시메모리를 동적으로 할당하고 회수할 수 있게 된다.

크게보기

엘라스티캐시 서버리스를 활용하면 고가용성 캐시를 그대로 쓸 수 있으면서, 사용량도 유기적으로 줄어든다 / 출처=IT동아

결과적으로 사용자는 고속의 캐시메모리를 필요한 만큼 활용하면서도 데이터와 애플리케이션이 사용하는 컴퓨팅 비용에 대해서만 지불하면 된다. 아마존 엘라스티캐시 서버리스는 현재 레디스 및 맴캐시드 호환 배포 옵션에서 바로 사용할 수 있다.

아마존, 서버 데이터 처리에도 AI 효율화 반영해

크게보기

아마존 레드시프트 서버리스에서 데이터 처리 단위인 쿼리를 기계학습 기반의 AI로 최적화하는 기능도 소개됐다 / 출처=IT동아

아마존 레드시프트는 대용량 데이터인 ‘데이터 웨어하우스’를 병렬처리하는 서비스며, 현재 수만 개의 고객이 매일 엑사바이트 규모의 데이터를 아마존 레드시프트로 처리하고 있다. 이때 고객은 수요에 맞게 데이터 웨어하우스 용량을 자동으로 구축하고 사용하는 아마존 레드시프트 서버리스를 활용한다. 하지만 데이터의 정보 처리 단위인 쿼리(Query)의 규모나 요구가 일정하지 않다 보니, 때에 따라서는 병목 현상을 일으키거나 전체에 과부하를 일으키는 경우도 있다.

기존에는 이 현상을 기계적으로 배분하거나, 두 번째 데이터 웨어하우스를 생성해 별도의 대형 쿼리를 분리해서 처리하는 등의 방안을 사용했지만 비용이나 구성 측면에서 적절한 답이 되진 못했다. AWS는 이 문제를 기계학습으로 고도화된 차세대 AI를 통해 해결하는 방안을 제시한다.

크게보기

AI 처리 방식은 기존에 사용자가 쿼리를 처리하는 방식을 학습한 데이터를 토대로 진행된다 / 출처=IT동아

사용자의 쿼리 복잡성, 데이터 크기 및 규모, 빈도 등의 처리 방안을 인공지능으로 학습시키고, 이것을 처리하는 패턴과 방식에 따라 작업 처리를 최적화한다. 예를 들어 낮에는 일반 작업을 처리하기 위해 용량을 줄이다가, 사용량이 줄어드는 밤 시간대에 자동으로 대규모 데이터를 처리하기 위해 용량을 추가한 뒤 대량 데이터를 처리한다.

다만 작업 환경마다 동작 조건이 다르기 때문에 사용자가 고속으로 처리하거나, 최적 효율로 처리하는 등 비용대비 효율성을 지정해서 사용한다. AI 기반 확장 및 최적화 기능을 갖춘 아마존 레드시프트 서버리스는 현재 사전 기능을 통해 제공되고 있다.

AWS 양자 컴퓨팅 반도체 현황도 깜짝 공개

피터 드산티스 수석 부사장은 2019년 처음 시작한 AWS의 양자컴퓨팅 기술에 대한 근황도 밝혔다. 피터 드산티스는 “오늘날 수백, 수천 대의 양자 컴퓨터가 만들어지고 있지만 여전히 양자 컴퓨터가 세상을 바꾸지는 못하고 있다. 양자컴퓨터의 결과물에 노이즈와 오류가 많기 때문이다”라면서, “10년 전에는 10번의 양자연산 중 한 번의 오류가, 5년 전에는 100번에서 한 번으로 줄었다. 지금은 1천 번 중 한 번 오류가 난다. 하지만 실사용을 위해서는 수십억 번의 처리 중 한 개 정도의 오류만 나야 한다”라고 설명했다.

크게보기

피터 드산티스 수석 부사장이 양자 오류를 보정하는 기술이 적용된 시제품(프로토타입)을 소개하고 있다 / 출처=IT동아

양자컴퓨터에서 오류가 나는 이유는 양자 중첩 현상 때문이다. 일반적으로 컴퓨터는 0과 1로만 데이터를 처리하며, 종종 이것이 뒤집혀서 처리되면 오류가 난다. 현재 기술로는 ECC 메모리 등을 사용해 이를 보정할 수 있다. 하지만 양자 컴퓨터는 1과0이 아니라 비트 뒤집힘(Bit flip)을 넘어서 위상 뒤집힘(Phase flip) 등 입체적인 방식으로 오류가 난다.

크게보기

양자칩에 특수한 케이스를 씌우는 방식으로 오류를 보정한다 / 출처=IT동아

AWS는 양자 컴퓨터용 칩에서 발생하는 양자역학적 오류를 줄이기 위해 특별하게 설계된 전용 마운트를 공개했다. 이 칩은 금으로 도금된 구리 소재의 기판에 시간 변화를 측정하는 칩과 위상 오류를 읽는 칩 등을 결합해 안정성을 끌어올린다. 그 결과 최대 여섯 배까지 오류를 보정하는 효과를 거뒀다고 밝혔다.

AWS 리인벤트, 먼데이 나이트 라이브로 대장정 시작

크게보기

AWS 리인벤트 2023 첫날 일정이 끝나고, 둘째 날인 현지시간 28일 오전에 최고경영자 키노트가 진행된다 / 출처=IT동아

AWS 리인벤트는 전통적으로 월요일 저녁에 피터 드산티스 수석 부사장이 기조연설을 진행한다. 이를 시작으로 다음날 아침에 아담 셀립스키 CEO의 기조연이 진행되며, 추후 250여 개 이상의 본격적인 기술 세션 및 엑스포 관람이 진행된다. 이번 행사와 관련된 자세한 내용은 AWS 리인벤트 2023 홈페이지를 통해 확인할 수 있다.

동아닷컴 IT전문 남시현 기자 (sh@itdonga.com)