인포플라 “대답만 하던 기존 AI의 한계, VLM 기반 자동화로 극복”

클라우드 시장의 대표주자인 아마존웹서비스(이하 AWS)가 5월 16일과 17일, 양일간 서울 코엑스에서 ‘AWS 서밋 서울 2024(AWS Summit Seoul 2024, 이하 AWS 서밋)’을 개최했다. 국내 클라우드 생태계의 현황을 조명하고 AWS의 비전을 전하는 이 행사는 2015년부터 시작해 올해로 10년 차를 맞이했다.

올해 AWS 서밋은 60여개의 파트너사가 부스를 꾸리고 2만 9000여명의 인원이 참가해 국내 클라우드 관련 행사 중 최대 규모를 뽐냈다. 특히 올해 행사는 최근 시장의 최대 화두로 떠오른 생성형 AI 관련 혁신을 이끄는 기술과 제품, 그리고 서비스가 다수 소개되어 큰 관심을 끌었다.

AWS 서밋 행사장에서 발표를 진행한 최인묵 인포플라 대표 / 출처=IT동아

AWS 클라우드 생태계와 함께 AI 관련 제품과 서비스를 개발하고 있는 고객사들의 사례 발표도 눈에 띄었다. 그 중에는 대기업 외에 스타트업 및 중소기업의 사례도 주목을 받았다. 17일 EXPO 세션에서 ‘생성형 AI 기반 IT 서비스 자동화 기술 및 클라우드 서비스 개발 여정’을 주제로 발표한 ‘㈜인포플라(대표 최인묵)’도 그 중의 하나다.

이날 발표를 진행한 최인묵 인포플라 대표는 반복적인 업무를 자동화하는 RPA(Robotic Process Automation) 솔루션에 대한 가능성, 그리고 한계를 명확히 하는 것으로 운을 띄웠다. 특히 기존의 스크립트 기반 RPA를 비전공자가 원활하게 이용하기 위해서는 전문가의 도움이 필요한 점을 언급했다. 또한, 웹이나 앱 내에서 이루어지는 반복 작업을 RPA로 자동화한 경우, 갑작스럽게 팝업 창의 등장이나 화면 장애 등의 돌발변수에 제대로 대응하지 못해 RPA가 정지하는 등의 문제가 있다고 지적했다.

VLM을 통해 기존 RPA의 한계를 극복할 수 있다 / 출처=인포플라

인포플라는 이러한 기존 RPA의 한계를 극복하는 방안으로 ‘VLM(Vision Language Model)’을 제안했다. 이는 거대 언어 모델, LLM(Large language model)에 이미지 처리능력을 더한 것이다. 스크립트가 아닌 화면 인식만으로 모든 문제를 해결할 수 있으며, 원격 환경도 지원이 가능한 점 등, 기존 RPA의 한계를 다수 극복할 수 있다.

이와 더불어 돌발변수에도 화면을 인식해 마치 사람처럼 능동적인 대응이 가능하며, 무엇보다 학습이 거듭될수록 능력이 향상되는 것이 가장 큰 장점이다. 이를테면 웹페이지에 텍스트를 반복 입력하는 업무를 VLM 기반으로 자동화한 경우, 작업 중 팝업창이 뜨는 돌발변수가 발생하더라도 화면 및 상황을 분석해 팝업창을 닫은 후 텍스트 박스에 텍스트를 입력하는 업무를 이어갈 수 있다. 물론 기존 RPA라도 이러한 상황에 대응하는 스크립트를 만들어 대응하는 것은 가능하겠지만, 이렇게 스크립트가 늘어날수록 오류 가능성 역시 커진다.

이와 관련, 이날 인포플라는 자사에서 개발한 ‘VLAgent(VLM + Agent)’를 제안했다. 이는 VLM을 통해 화면을 인지하고 명령을 수행할 수 있는 에이전트 모델을 의미한다. 스크립트의 수동 제작이 불필요하며, AI가 화면을 이해하고 작업 플랜 및 액션 플랜의 생성 및 실행을 자동으로 수행할 수 있는 것이 특징이다.

이는 LLM과 AI 에이전트, 그리고 업무 자동화 등의 최근의 트렌드를 한데 모은 것이다. 또한, 단순히 사용자의 질문에 답변만 하는 기존 AI 서비스와 달리, 실행을 통한 문제 해결까지 이어진다는 것도 차별점이다. 또한 기존의 모델은 고해상도 영상을 인식하고 대응하는 과정에서 지나치게 높은 처리 능력을 요구하기도 했고, 한글을 지원하지 않아 국내 사용자들이 이용하기에 불편을 주기도 했다.

‘VLAgent’의 구성 / 출처=인포플라

이에 인포플라는 이러한 문제를 해결할 수 있는 4K 고해상도 및 한글 지원, 그리고 일반 PC에서도 구동 가능한 가벼움, 그리고 데이터 학습 기능 등을 품은 자체 솔루션을 개발하게 되었다고 강조했다. VLAgent는 인포플라의 실시간 객체인식 RPA인 ‘알파카(RPACA)’를 포함해 AWS에 업로드된 상태이며, 인포플라의 AI 기반 통합 매니지먼트 시스템인 ‘아이톰스(ITOMS)’를 통해 활용할 수 있다.

이날 발표 중 인포플라는 시연 영상을 보여주기도 했다. 윈도 운영체제 기반의 PC에서 VLAgent에 “건대역에서 강남역까지 경로를 알려줘”라는 내용의 명령을 입력하자, AI가 마우스와 키보드를 제어해 바탕화면의 ‘크롬’ 웹 브라우저를 실행하고 ‘구글 지도’ 서비스를 선택한 후, 출발지(건대역)와 도착지(강남역)을 입력해 경로를 검색하는 과정까지 자동 완료했다.

'VLAgent'의 시연 영상을 소개하는 최인묵 인포플라 대표 / 출처=IT동아

한편, 최인묵 인포플라 대표는 이날 발표를 마무리하며 “우리의 솔루션은 서비스 및 업무 자동화, 시각 장애인 지원, 엔터테인먼트 사업, 교육 및 제조, 의료, 고객서비스 등 다양한 분야에서 활용이 가능하다”며, “사실상 국내에선 최초의 시도이며, 해외에서도 유사한 사례를 찾기 힘들다”고 강조하기도 했다.

iT동아 김영우 기자 pengo@itdonga.com