챗GPT 답변, 사용자 불만은… ① 질문 의도 오해 ② 깊이 부족 ③ 부정확[박재혁의 데이터로 보는 세상]

생성형 AI, 질문 의도 잘못 이해
종종 거짓된 내용으로 답변
편향된 답변은 잘 의식못해 심각
내용 구체화해 다시 물었을 때 답변 불만족 해소 비율 높아

《생성형 AI 사용자 불만-대응 방식

박재혁 KDI 국제정책대학원 교수

최근 챗GPT 같은 생성형 인공지능(AI) 모델이 큰 인기를 끌고 있다. 이러한 흐름 속에서, 인간과 컴퓨터가 어떻게 더 효과적으로 상호작용을 할 수 있을지 연구하는 ‘인간-컴퓨터 상호작용(HCI)’ 분야 역시 주목받고 있다. HCI 분야의 연구들은 사용자들이 컴퓨터나 소프트웨어를 좀 더 편리하게 사용할 수 있도록 사용자의 행동과 인지를 분석하고, 디자인 혹은 알고리즘 개선 방안을 제시한다. 즉, AI 개발자들이 ‘더 똑똑한 AI’를 만드는 데 집중한다면, HCI 연구자들은 ‘잘 활용되는 AI’를 만들기 위해 연구하는 셈이다.》





챗GPT 같은 생성형 AI 모델을 사용할 때 질문이나 요구 사항들을 언어모델이 잘 이해할 수 있도록 작성하는 방법, 즉 ‘프롬프트 공학’은 AI를 잘 사용하기 위한 핵심 능력이다. 다양한 가이드라인과 팁이 소개되고 있지만, 기술에 익숙하지 않은 일반 사용자들은 종종 불만족스러운 상황을 경험하고, 사용을 포기하기도 한다.

이러한 문제점을 해결하기 위한 HCI 분야의 연구들이 진행되고 있다. 우리나라의 KAIST 연구팀을 중심으로, 그리고 필자도 참여한, 최근 연구(Understanding users’ dissatisfaction with chatgpt responses·김윤수 등)는 생성형 AI 모델 사용자들이 어떤 상황에서 어떤 이유로 불만족을 느끼는지, 사용자 특성에 따른 차이를 분석했다.

연구 결과, 생성형 AI 모델이 자신의 의도를 제대로 이해하지 못해서 실망하는 경우가 가장 흔했으며, 답변이 정확한 정보를 제공하지 않을 때 불만족의 정도가 가장 컸다. 이런 부정확한 정보는 현재 생성형 AI 모델들이 ‘진실한 정보’보다는 ‘확률적으로 가장 나올 법한 답변’을 주는 방향으로 훈련되어 있기 때문에 발생하는데, 그에 따라 사용자들은 종종 거짓된 내용의 답변(할루시네이션)을 받게 된다.

챗GPT 같은 생성형 AI 모델들로부터 원하는 수준의 답변을 얻지 못할 경우 사용자들은 어떻게 대응할까? 많은 사용자는 질문을 좀 더 자세하게 작성하여 다시 물어보거나, AI 모델의 답변 중에 부정확한 부분을 짚어주는 적극적인 반응을 보였다. 하지만 원래 질문을 반복하거나 약간만 변형해 다시 물어보고, 불만족스러운 답변을 그냥 무시한 뒤 다음 질문으로 넘어가거나, 아예 사용을 중지하는 소극적 반응도 종종 나타났다. 흥미로운 점은, 생성형 AI 모델에 대한 지식수준에 따라 사용자들의 불만족 대응 방식이 다르다는 것이다. 소극적 반응은 지식수준이 낮은 그룹에서, 잘못된 부분을 짚거나 수정하여 질문하는 적극적 반응은 지식수준이 높은 사람들 사이에서 더 자주 나타났다.

생성형 AI 모델 속 견해들이 우리의 생각이나 의견에 영향을 미치기도 할까? 미국, 이스라엘, 독일의 연구진이 협업한 두 번째 연구(Co-writing with opinionated language models affects users’ views·모리스 야케슈 등)는 챗GPT 같은 생성형 AI 모델이 특정한 사회문제에 대해 가진 생각이나 견해가 이를 사용한 사용자들의 생각이나 견해에 영향을 주는지를 대규모 실험을 통해 분석했다. 연구 결과는 생성형 AI 모델이 우리의 의견을 바꿀 수 있다는 것을 보여준다. 편향된 생성형 AI 모델 기반 도우미를 사용한 참여자들은 이러한 생성형 AI 모델이 지지하는 특정 입장을 본인의 글에서 더 많이 표현했고, 실험 후 설문 조사 결과에서도 참여자들의 소셜미디어에 대한 태도 자체가 생성형 AI 모델의 조작된 선호 의견에서 영향을 받았음이 발견되었다.

사람들이 생성형 AI 모델의 의견에 따르는 이유가 단순히 편리해서만은 아니었다. 일부 참가자들은 요구된 작업을 빨리 마치기 위해 생성형 AI 모델의 추천 표현을 활용했을 수도 있지만, 글 작성에 충분한 시간을 투자한 참가자들 사이에서도 이 효과는 지속되었다. 재미있는 점은 참여자 대부분이 생성형 AI 모델의 편향성에서 영향을 받았다는 것을 인식하지 못했다는 것이다. 참여자들은 자신들이 사용한 생성형 AI 모델의 편향성과 무관하게 AI 모델의 제안들이 균형 잡혀 있다고 생각하는 경향을 보였다.

챗GPT 같은 생성형 AI 모델이 급속도로 발전하면서 이러한 모델들을 바탕으로 한 응용프로그램들의 상용화도 점차 활발하게 이루어지고 있다. 이러한 상황에서 위의 연구들은, 생성형 AI 모델을 안전하고 효과적으로 활용하기 위해서는 사용자들이 단순한 사용 팁뿐만 아니라 생성형 AI 모델의 구조에 대한 기본적 지식을 습득하는 것이 중요하다는 것을 보여준다. 더불어 인공지능 기반의 언어 기술에 잠재적으로 설득될 위험성을 이해하고 이를 완화할 사회적 정치적 정책적 방법을 모색하는 것이 중요해질 것이다. 정책 차원의 방안 수립이 요구된다.