[IT동아 x SBA] IT동아는 서울경제진흥원(SBA)과 함께 ‘2024년 스케일업 프로그램’을 진행합니다. 서울창업허브 오픈이노베이션 참여기업 중 유망한 스타트업을 선정, 인터뷰로 발전사와 성과를 소개합니다. 나아가 이들이 다음 단계로 도약하도록 지원하는 프로그램입니다.
인공지능(이하 AI)이 주목받으면서 모델 경량화에 대한 시장의 관심도 뜨겁다. AI 장치는 메모리나 연산 장치 등으로 구성된 하드웨어 요소, 그리고 AI 모델 실행 데이터, 프로그램 등으로 구성된 소프트웨어로 나뉜다. 두 요소 모두 실행 요소나 작업 환경에 맞춰 그 수준과 성능이 결정되는데, 하드웨어가 크고 소프트웨어가 작은 건 큰 문제가 되지 않는다. 하지만 소프트웨어가 큰데 하드웨어가 작으면 제 성능을 낼 수 없다. 이 경우에는 성능은 최대한 유지하면서 소프트웨어 크기는 줄여서 넣어야 한다. 이 과정이 모델 경량화다.
아사프 클리카 기술최고책임자와 김나율 클리카 대표 / 출처=IT동아
업계에서는 모델 동작에 필요한 매개변수의 중요도를 조절하는 가중치, 함수 등을 낮은 비트의 정밀도로 조정하는 모델 양자화, 구성 요소를 간소화하는 가지치기, 작은 모델이 큰 모델과 유사한 성능이 내도록 하는 지식 증류 등 다양한 방법을 고안했다. 하지만 모델 크기를 줄여도 속도와 정확도는 유지해야 하는데, 수작업으로 이뤄져 둘 다 살리기가 쉽지 않다. 클리카는 자체 보유한 AI 엔진으로 모델 경량화를 자동화하고, 정확도와 속도 모두 잡아낸다.
“클리카 에이스, 모델 경량화의 연결고리”
클리카의 핵심 사업은 AI 경량화를 자동으로 처리하는 엔진이다 / 출처=IT동아
창업 직후 벤 아사프 CTO는 이스라엘 히브리대 병렬컴퓨터 시니어 개발자로 일하며 모델 가속에 대한 연구를 시작했고, 6월부터 클리카 에이스의 기반이 되는 AI 경량화 엔진 개발에 착수한다. 벤 아사프가 서비스를 개발하는 사이, 마케팅 경력을 가진 김나율 대표는 시장 조사와 국내외 영업 기반, 지원사업 및 투자 등을 마련했다. 22년 들어 개발력을 가진 팀원들이 클리카에 합류했고, 본격적으로 클리카의 AI 기술력이 빛을 발하기 시작한다.
김나율 대표는 “모델 압축은 사이즈를 줄이는 방법, 하드웨어에 호환되도록 하는 방법 두 가지가 있다. 모델을 작게 한다고 무조건 좋은 건 아니고, 정확도와 속도 가속을 최대한 유지하는 게 이상적이다. 시중의 경량화 솔루션을 쓰면 모델 사이즈를 80% 정도 줄일 수 있지만, 엔비디아 계열만 주로 지원하거나 수작업이어서 시간이나 자금이 많이 든다”라고 배경을 설명했다.
“3년 경량화 실패한 작업, 클리카 에이스로 1달 만에 해결”
김나율 대표는 모델 경량화가 정확도, 속도 모두 중요하다고 말한다. 클리카의 AI 경량화 엔진은 두 부분을 모두 잡는다 / 출처=IT동아
이어서 ”클리카는 이 부분을 AI로 완전히 자동화했다. 고객사로부터 어떻게 자동화하는지에 대한 요청이 많지만, 이 부분은 벤 아사프가 직접 고안한 아이디어를 엔진으로 구현한 것이어서 설명이 어렵다. 대신 다수의 레퍼런스를 통해 개발자 두 세명이 6개월에서 1년 정도 걸리는 작업을 5분 만에 해결할 수 있음을 보여줬다”라고 답했다.
도입 사례는 벤 아사프 CTO가 소개했다. 그는 “싱가포르는 정부 차원에서 AI 팀을 운영하는데, 오픈이노베이션 프로그램에 선정돼 정부 조직에서 시각 인식이나 오디오, 언어 모델 등을 경량화해서 배포하고 있다. 이외에도 국내외 빅테크 기업, 스마트 시티 등을 구축하는 해외 정부기관 등과도 유상 개념증명(PoC) 프로젝트를 진행 중이다”라고 덧붙였다.
경량화 엔진 에이스를 비롯해 베가, 모델버스도 준비
클리카 경량화 코어 엔진은 콜빈 푸카트와 벤 아사프, 이정무 세 명의 개발자가 주도적으로 개발하고 있다 / 출처=IT동아
클리카는 모델 경량화 엔진인 ‘에이스’를 비롯해, 모델 경량화를 그래픽 유저 인터페이스(GUI)로 표시하는 ‘베가’, 모델 벤치마크 결과 및 호환성을 정리한 ‘모델버스’를 사업 모델로 삼으며, 세 서비스 모두 올해 4분기 말에 정식 서비스를 시작한다. 각 서비스는 설치형 프로그램인 온프레미스 형태로 제공되며, 고객 기업은 온라인으로 다운로드하고 발급받은 라이선스를 입력해서 쓰면 된다.
에이스는 앞서 설명한 모델 경량화를 AI로 자동화하는 모델인데, 베가와 모델버스는 에이스를 구축하는 과정에서 만들어졌다. 김나율 대표는 “모델 경량화 작업 중에는 종종 시각화를 하는데, 현재는 코드를 먼저 작성한 뒤 이를 시각화 작업을 하고 비교해야 한다. 이 점이 불편해 시각화 상태에서 코드를 바로 수정할 수 있도록 만든 게 베가”라고 말했다.
클리카의 ‘모델버스’는 경량화된 오픈 소스 모델의 하드웨어 호환성을 다룬다 / 출처=클리카
또한 “AI 모델을 개발하면, 장치에서 잘 돌아가는지 확인해야 한다. 하지만 많은 기업들이 오픈소스를 기반으로 작업하고, 이후에 하드웨어를 구매해 호환성 확인이 어렵다. 그 과정에서 AI 모델과 하드웨어가 맞지않는 경우가 종종 있다. 모델버스는 우리가 개발하며 오픈 소스 모델의 하드웨어 호환성을 집대성한 플랫폼으로, AI 모델 개발자들이 하드웨어에서 잘 돌아가는지 확인하기 위한 데이터를 제공한다”라면서, “엔비디아, 인텔, AMD, 퀄컴 등 업계에서 많이 사용되는 하드웨어를 점진적으로 추가할 것”이라 말했다.
벤 아사프 CTO도 “모델버스에 신경망 처리장치(NPU)에 대한 자료도 넣을 예정이다. NPU는 CPU나 GPU와 결합해서 쓰는데, 업체별로 장치가 달라 사용자가 알아서 맞춰 써야 한다. 그러다 보니 문제도 많고 개발도 어렵다. 우리가 보유한 호환성 자료를 모델버스로 제공하고, 협업하는 환경을 구상 중이다. 하드웨어 추론 업계의 허깅페이스로 보면 된다”라고 덧붙였다.
대단히 넓은 AI 업계, 빨리빨리 적응하는 게 중요
클리카의 베가는 모델 경량화 작업을 그래픽 유저 인터페이스로 처리한 서비스다 / 출처=IT동아
AI 업계의 속도는 지나치게 빠르다. 한달은 커녕 일주일 만에 업계 추세가 바뀐다. AI 모델 컴프레션 역시 시장 추세가 바뀌면 많은 부분에서 수정해야 할텐데, 이 부분은 어떻게 대응할까. 김나율 대표는 “장기적인 로드맵은 무의미하다. 6개월, 1년 수준의 로드맵을 수립하고 빠르게 시장에 대응하는데, 다행히 우리는 원천 기술을 보유해 사이클이 빨라도 잘 적응한다”라고 말했다.
“한 번 써보면 느낌 온다, 더 쉽고 편리하게 만들 것”
클리카는 현재 텔아비브대학교, 뉴욕대학교, 인텔 이그나이트, 삼성전자 C랩 아웃사이드, 구글 포 스타트업, 엔비디아, 넷앱 등이 글로벌 유수 대학 및 빅테크 본사에서 엑셀러레이트할 정도로 글로벌 시장에서 주목을 받고 있다. 열 명도 되지 않는 스타트업으로는 대단한 성과지만, 김나율 대표는 여전히 겸손하다.
클리카는 이미 글로벌 기업들의 액셀러레이팅을 받을 정도의 강소기업이다 / 출처=IT동아
김나율 대표는 “이제는 규모를 키울 시점이다. 10월과 11월에는 싱가포르, 이스라엘, 인도 등을 돌며 그 동안 진행했던 PoC 프로젝트들의 결과물을 선보이는 데모데이를 가진다. 지난 3년간 개발해 온 원천기술을 드디어 시장에 프로덕트로 선보이며, 팀 사이즈를 드디어 늘리고 있다. 미국 육군사관학교(West Point) 및 테크스타(Techstars) 출신 CSO 및 Arm 출신 세일즈 팀원이 추가로 합류해, 사업적으로도 달릴 수 있는 만반의 준비를 하고 있다.”라고 말했다.
마지막으로 김나율 대표와 벤 아사프 CTO는 입을 모아 ‘고객 경험(UX)’이 가장 중요하다고 말했다. 김나율 대표는 “딥테크 개발 특성상, 기존에는 시장에서 필요로 할 것 같은 인프라 솔루션 개발에 집중했다면, 이제는 시장에서 필요로 하는 점에 더욱 귀 기울이며 완성도를 높여나갈 것”이라고 말했다.
IT동아 남시현 기자 (sh@itdonga.com)