[DBR]AI와 성공적인 팀워크? 과도한 의존 줄여야

AI 결정이라고 완벽한 것 아냐
의심 없이 따르면 편향될 위험
AI 설명 명확하면 의존 낮아져

인간이 인공지능(AI)과 함께 한다고 해서 항상 더 나은 성과를 내는 것은 아니다. AI가 완벽한 결과를 내지 않는 데다 인간이 AI에 과도하게 의존하는 경향이 나타나기 때문이다. AI의 예측이 옳은지 충분히 확인하지 않고 그대로 받아들이거나 최종 결정 권한과 책임을 AI에 전가하는 경우도 많다. 이런 경향은 인간이 인식하지도 못하는 사이에 기계 편향을 강화할 위험이 있다.

이 문제를 해결하기 위해 설명 가능한 AI(Explainable AI, XAI)가 대안으로 떠오르고 있다. 미국 스탠퍼드대와 워싱턴대 연구진은 AI가 자신의 예측에 대한 설명을 제공하면 사람들이 더 신중히 생각하고 AI에 덜 의존할 것이라고 추측했다. 이를 실증하기 위해 참가자 731명을 대상으로 미로 탈출 문제를 AI와 함께 풀어보는 다섯 가지 실험을 수행했다. 과제와 AI 설명의 난이도, 금전적 보상 같은 요소가 AI에 대한 사람들의 과의존에 어떤 영향을 미치는지를 분석한 것이다.

그 결과 인간과 AI가 과제를 함께 수행하는 데 있어 해당 과제의 특성, AI가 제공하는 설명의 유형과 복잡도, 과제 수행에 따른 인센티브 등이 모두 사용자의 AI 의존도에 영향을 미치는 것으로 나타났다.

먼저 과제 난도가 높을수록 사람들은 AI의 설명이 더 유용하다고 판단했다. 어려운 과제를 푸는 과정에서 AI의 설명이 과제 수행에 필요한 시간과 인지적 노력을 현저히 줄여줬기 때문이다. 과제 난도가 높을수록 사람들이 AI의 설명을 더 신중하게 고려해 얻는 이득이 커져 결과적으로 AI가 예측하는 결과에 무작정 의존하는 경향을 줄였다.

둘째, AI가 제공하는 설명이 명확할수록 AI에 대한 과도한 의존이 줄어들었다. 설명이 어려우면 참여자들이 들이는 인지적 노력과 시간이 증가해 AI가 내놓는 결과에 의존하기 쉬운 반면에 설명이 명료하면 참여자들이 AI의 오류를 인지하고 그 결과에 동의하지 않을 가능성이 높았다.

셋째, 과제 수행 성공 시 제공되는 금전적 보너스가 늘어나면 AI에 대한 과도한 의존이 감소했다. 보상이 클수록 사람들은 과제에 직접 참여하는 것을 선호했다. 특히 어려운 과제 수행에 대한 보너스 제공은 AI 의존도를 줄이는 데 도움이 됐다.

이처럼 인간과 AI 모두 완벽하지 않기 때문에 둘이 시너지를 내기 위해서는 AI에 대한 사람들의 과의존을 막아야 한다. 사람들은 주어진 과제와 설명에 대한 비용-편익을 따져 AI가 내놓는 결과를 얼마나 따를지를 전략적으로 결정한다. 따라서 AI와 인간의 성공적인 협업을 유도하고 싶다면 어려운 과제에 대해 쉽게 이해할 수 있는 AI의 설명을 제공해 과제에 드는 비용을 낮추는 것이 도움이 된다. 또한 성공 시 보상을 주고 실패 시 불이익을 주는 등 과제와 관련된 이익을 높이는 것도 방법이 될 수 있다. 이렇게 비용과 이익을 잘 조절해야 인간과 AI의 상호 보완적인 협력을 이끌 수 있다.

고민삼 한양대 ERICA ICT융합학부 교수
정리=김윤진 기자 truth311@donga.com