[DBR]“사용자경험 평가하는 AI, 경쟁자 아닌 조력자”

UX 평가 시 AI 제안 78% 수용
AI 놓치는 문제 많아 보완 필요
‘AI=인간 돕는 협력자’ 강화해야

사용자경험(UX)은 디지털 제품과 서비스의 성공을 결정짓는 핵심 요소로 자리 잡았다. 더 나은 UX를 만들기 위해서는 사용자가 제품이나 서비스를 사용할 때 겪는 문제점을 발견하고 개선하는 UX 평가가 필수다. 이 과정은 매우 복잡하고 많은 시간과 자원이 필요하지만 최근 빠르게 발달하고 있는 인공지능(AI)이 UX 평가의 새로운 길을 제시하고 있다. 특히 대화형 AI 도우미는 사용자와 언어로 자연스럽게 상호작용할 수 있어 UX 평가자들에게 필요한 정보를 제공하거나 문제를 자동으로 감지하는 데 도움을 줄 수 있다.

로체스터공과대, 난양기술대, 홍콩과기대 공동 연구진은 대화형 AI 도우미가 UX 평가에 미치는 영향을 조사했다. 챗GPT가 자동으로 사용성 문제를 제안하도록 하고 24명의 UX 평가자가 사용성 문제 제안을 받으면서 UX 평가를 진행하도록 했다.

연구 결과 평가자들은 챗GPT가 도출한 사용성 문제 제안의 77.6%를 수용했다. 그러나 여전히 AI는 인간 평가자가 식별한 고유한 사용성 문제의 58.8%를 놓치는 것으로 나타났다. 이는 UX 분석 과정에서 전문 지식을 가진 인간의 역할이 대체 불가능함을 보여주는 결과다.

평가자들은 사용성 문제 발생 후 문제 제안이 나타나는 것을 가장 선호하며 이것이 더 효율적이며 신뢰할 수 있다고 응답했다. 이는 UX 평가자들이 본인의 관찰과 분석에 의존하며 AI의 제안을 검증 도구로 사용하는 것을 선호한다는 것을 보여준다.

반면 문제 발생 전 제안을 제공하는 방식에 대해 일부 평가자는 AI의 사전 경고가 집중력을 높이는 데 도움이 된다고 설명했지만 다른 평가자들은 선입견을 유발할 수 있다고 지적했다. 또한 문제 발생과 동시에 제공되는 제안은 AI 도우미가 실제로 문제를 인식하고 있다고 느껴 신뢰도를 높이는 데 영향을 줬으며 제안을 확인하고 바로 동의하는 비율이 높아지면서 효율성을 끌어올렸다.

연구 결과는 인간과 AI의 협업 가능성을 제안하는 동시에 인간과 AI가 경쟁하는 역학 관계가 형성될 수도 있다는 점을 보여 준다. 일부 참가자는 AI보다 더 많은 문제를 식별하고자 노력하는 모습을 보였다. 이런 경쟁적 태도는 협력적 UX 분석 환경을 방해할 수 있다. 이를 방지하려면 AI 도구는 인간의 분석을 지원하고 보완하는 역할을 한다는 점을 강조해 인간 평가자들이 AI를 경쟁 상대로 여기지 않도록 해야 한다. 즉 AI가 인간의 결정을 돕는 협력자라는 인식을 지속적으로 강화할 필요가 있다.

AI의 제안은 때때로 불완전하거나 사용 맥락을 완전히 이해하지 못한 채 제공될 수 있다. 연구 참가자들은 AI의 제안이 그들의 분석에 유용한 경고나 검증 역할을 하기도 하지만 AI가 놓치는 부분이 많다는 점을 지적했다. 사용자와 AI의 협력을 도모하기 위해서는 AI 시스템이 더 풍부한 데이터와 맥락 정보를 기반으로 학습하고 제안을 생성하도록 설계해 불완전성의 영향을 최소화하는 데 집중해야 한다.