[기고] 인공지능 신뢰성 높이는 '설명가능 인공지능(XAI)'의 시대

인공지능(AI) 알고리즘은 수 백만, 많게는 수 십억 개의 입력 데이터를 테스트하고 분석해, 의사결정에 의미 있을 최종 결과를 도출한다. 하지만 그 결과에 이르게 된 근거나 과정을 사람들이 명확하게 이해하지 못하는 경우도 간간이 생긴다. 이에 많은 새로운 변수가 작용을 하면서 XAI(explainable AI), 즉 '설명 가능한 인공지능'이 주목 받기 시작했다.

설명 가능한 인공지능이란, 인공지능이 판단한 결과를 사람이 정확히 이해/해석하고, 최종 결과물에 대해 설명할 수 있도록 해주는, 확장된 개념의 인공지능 기술이다. 인공지능이 어떤 절차와 과정을 거쳐 결과물을 도출했는지 사람이 설명할 수 있을 만큼 신뢰도를 높인다는 의미다.

인공지능은 훈련용 데이터(training data)와 알고리즘을 사용하여 결과/출력물(output)을 도출한다. 인공지능에 새로운 정보를 투입하면, 이 정보를 분석해 일련의 응답물을 추론하는 것이다.

인공지능의 판단과 결과를 사람이 설명할 수 있어야 한다(제공=셔터스톡)

예를 들어, 한 소비자가 온라인 쇼핑몰을 방문한 경우, 이 소비자의 이전 구매, 검색 기록, 나이, 위치 및 기타 인구통계 정보 등과 같은 소비자 관련 데이터를 활용해 맞춤 상품을 추천할 수 있다. 인공지능을 이용하면 소비자를 여러 다른 그룹으로 세분화하고, 각각 다른 추천 상품으로 '맞춤' 제안할 수도 있다.

이 경우 인공지능이 해당 소비자를 어떻게 세분화했는지 그 절차와 이유를 사람이 이해/설명할 수 있다면, 각 소비자 그룹별로 좀더 공격적인 마케팅 전략을 수립, 적용할 수 있게 된다.

구체적으로 살펴보자. 인공지능을 통해 고객을 '확실한 구매자', '망설이는 구매자', '아이쇼핑만 하는 구매자' 등 세 그룹으로 나누고, 각 그룹별로 다른 조치를 취할 수 있다. 확실한 구매자는 이미 해당 상품을 구매했으니 다른 관련 상품을 추천해 상향 판매를 기대할 수 있고, 망설이는 구매자에게는 할인코드나 상품권을 보내 구매 결정 확률을 높일 수 있다. 아이쇼핑 구매자는 어떤 혜택이나 추천상품을 제시해도 구매할 가능성이 사실상 낮기 때문에, 마케팅 활동을 아예 중단함으로써 예산과 시간을 아낄 수 있다.

즉, 인공지능이 그룹화/세분화하는 방식을 이해할 수 있다면, 각 그룹별 좀더 효과적인 마케팅 전략을 세울 수 있다.

XAI가 마케팅에서 특히 중요한 이유

그렇다면 인공지능은 어느 정도까지 설명할 수 있을까? 이는 '무엇을 이해'하려는 지에 달려 있다. 적용된 알고리즘의 작동방식 같은 기술정보까지는 알 필요 없겠지만, 어느 기능 또는 어떤 입력 데이터가 인공지능의 결과 도출에 영향을 미치는 지는 알아야 후속 조치를 취할 수 있다.

예를 들어보자. 인공지능이 특정 소비자를 '망설이는 고객'으로 정의한 것은, 그와 관련된 여러 신호를 감지했기 때문이다. 어느 상품 페이지에서 (망설이며) 마우스가 여러 번 움직였거나, 장바구니에 상품을 담아두기만 하고 결제를 하지 않고 있는 경우가 그렇다.

이 두 경우에 대응하는 전략은 각각 다르다. 전자의 경우, 그 소비자가 관심을 보였던 상품과 비슷한 여러 상품을 다양하게 추천하면 된다. 후자라면, 시간 제한이 있는 무료배송 쿠폰 등을 제공하면 구매를 유도할 수 있다.

여기서, 인공지능이 이런 판단을 내리는 데 결정적인 역할을 한 요소가 무엇인 지를 알아야 한다. 알고리즘 자체는 제외하고, 판단 원인과 요소를 파악하면 인공지능에 좀더 다가갈 수 있을 것이다. 인공지능 동작 방식을 이해하는 것과 어떤 결과에 도달하게 된 이유를 이해하는 것은 분명한 차이가 있다.

또한 시스템 관리자나 사용자는 XAI를 통해 인공지능의 의사결정 과정을 설명하고, 프로세스의 장단점을 이해할 뿐 아니라, 시스템이 어떤 방식으로 계속 작동할 지를 표시할 수 있다.

이미지 인식 과정도 마찬가지다. 인공지능이 사진 내 특정 영역에 집중하도록 설정하면, 그 영역에 따라 서로 다른 결과를 얻을 수 있다. 이때 역시, 인공지능이 이미지 내 어떤 영역을 집중했고, 어떤 결과를 도출했는지 설명할 수 있고, 이해할 수 있어야 한다.

이처럼 XAI는 비즈니스 전략에 중요한 의사결정을 내려야 할 때 큰 도움을 준다. 뿐만 아니라 마케터나 인공지능 관계자들이 경영진 등에게 인공지능의 판단 결과를 제대로 설명할 수 있도록 지원한다. 이는 인공지능이 도출한 결과와 특정 전략을 채택한 이유를 정당화해야 할 때 유용하다.

다만 모든 인공지능 모델이 설명하기 쉬울 순 없을 것이다. 학계에서는 '의사결정 트리(decision tree)'나 '베이시안 분류기(Bayesian classifier)' 같은 알고리즘이 이미지 인식/자연어 처리에 사용되는 딥러닝(deep learning) 모델보다 해석하기가 좀더 쉽다는 점에 주목하고 있다. 아울러 정확성과 설명 가능성 간의 균형도 유지해야 한다. 인공지능이 복잡, 정교해지면서 훨씬 나은 성능을 얻는 만큼, 일반인이 작동 방식을 설명하기는 점점 더 어려워지기 때문이다.

XAI와 인공지능 기술의 편향성

모든 인공지능 모델에는 '편향성'이 존재한다. 훈련용 데이터에 편향/편견이 포함될 수 있기 때문이다. 알고리즘도 의도적이든 우연이든 편향적 설계가 가능하다. 그러나 이러한 인공지능 편향성이 무조건 나쁜 건 아니다. 이 편향성을 활용해 좀더 정확한 예측을 얻을 수 있기 때문이다. 다만 인종이나 성별 같은 민감한 부분에 적용되는 경우라면 더욱 신중하게 고려해야 한다.

인종, 성별, 나이 등에 대한 인공지능 편향성은 신중히 고려해야 한다(제공=셔터스톡)

XAI는 인공지능에 좋은 편향이 반영됐는지 나쁜 편향이 적용됐는지 구분하는 데도 도움을 준다. 어떤 요소를 더 중요하게 평가하는 지도 알려준다. 또한 인공지능 훈련용 데이터에서 편향이 생기는지, 혹은 인공지능이 라벨마다 지정한 가중치의 차이에서 생기는 지를 이해하는 데도 유용하다. 다만 XAI가 편향성 자체를 직접 감지할 순 없다.

인공지능을 얼마나 신뢰할 수 있을까

일반적으로 사람들은 인공지능을 데이터가 저장되는 (항공기용) 블랙박스로 여기곤 한다. 사람이 직접 확인하고 검증할 수 없으니, 인공지능의 판단이나 조치는 왠지 불확실한 알고리즘의 결과라고도 생각한다. 때문에 인공지능이 초기에 직관에 반하거나, 틀렸을 것 같은 결과를 제공한다면 이는 곧바로 불신으로 이어질 수 있다.

이에 XAI는 사람들이 이런 인공지능을 좀더 합리적으로 이해하고, 결과를 확인한 다음 최종 사용 여부를 결정하게 할 수 있다. 즉 사람들을 의사결정 과정의 일부로 유도하고, 최종 결정이 내려지기 전에 사람이 직접 개입하게끔 한다. 전체 의사결정 프로세스에 대한 신뢰를 한층 높이기 위함이다.

이후로는 인공지능이 어떻게 특정 결정에 이르게 됐는지 사람이 충분히 설명할 수 있게 될 것이다. 그럼으로써 그 결정에 대해 신뢰할 수 있고, 더불어 인공지능 개발자의 책임성도 높일 수 있다.

다양한 형태의 XAI 모델 구축

학계에는 추가 설명을 용이하게 하는 인공지능이나 다른 기술 관련 논문들이 이미 많이 나와있다. 인공지능에 따라 설명 가능한 정도가 다른데, 딥러닝의 경우 설명이 매우 어렵기에 딥러닝의 행동을 모방할 수 있는 프록시 모델을 사용하자는 학자들도 있다. 프록시 모델은 딥러닝보다 설명하기가 용이하다.

XAI를 구축하는 또 하나의 방법은, 구조적으로 좀더 설명하기 쉬운 모델을 설계하는 것이다. 신경망(neural network)에서 적은 매개변수를 사용하면, 비교적 덜 복잡하면서도 유사 수준의 정확도를 제공할 수 있다.

인공지능 시대가 시작되면서 많은 기업이 인공지능 기술을 도입하고 있다. 그런 만큼 인공지능 시스템이 어떻게 작동하고, 어떤 판단을 내리는지 이해하는 게 중요해졌다. 사람이 설명할 수 있어야 인공지능의 판단과 편향을 파악할 수 있고, 그래야 인공지능을 신뢰할 수 있다. XAI는 블랙박스로 인식된 인공지능과 머신러닝을, 사람이 들여다보고 이에 관해 설명할 수 있는 투명한 '유리박스'로 바꿔줄 수 있다.

글 / 애피어 머신러닝 최고과학자 슈드 린(Shou-de Lin / sd.lin@appier.com) 박사

국립대만대학교 컴퓨터과학/정보공학 교수로 재직 중 2020년 애피어에 합류했다. 로스 알라모스 내셔널 랩에서 박사 학위 취득 후 연구원으로 근무한 바 있으며, 현재 애피어의 최고 머신러닝 과학자로서 인공지능 연구팀을 이끌며 첨단 머신러닝 기술의 연구 및 응용에 주력하고 있다.

정리 / 동아닷컴 IT전문 이문규 기자 munch@donga.com