설명 가능한 인공지능(eXplainable AI, XAI)에 대한 사용자 경험 관점

블랙박스로서의 AI ©2021 Henner Hinze

인공지능은 인간의 삶과 관련된 다양한 영역에서 영향을 미친다. 오늘날, 이러한 시스템의 범위는 금융, 법률, 군사, 운송, 의료 및 자율주행 등의 영역가지 확장되었다. 초기 AI 시스템은 쉽게 해석할 수 있었지만, 최근 몇 년 동안 심층 신경망과 같은 복잡하고 불투명한 의사 결정 알고리즘이 개발되었다. DNN과 같은 딥 러닝(Deep Learning, DL) 모델은 기본적인 구조가 복잡하고, 비선형적이며, 일반 사용자가 이해하기 어려운 것으로 간주된다. 학자들은 이러한 현상을 AI 알고리즘에 대한 '블랙박스(Black Boz)' 모델로 정의한다.

불투명한 AI 알고리즘을 신뢰할 수 있고 책임감 있게 만드는 데 있어 중요한 것은 설명 가능성이다. 설명 가능성은 시스템의 의사 결정과 값에 대한 인과 정보를 통해 AI 알고리즘을 이해할 수 있도록 하는 방법을 말한다.

 

설명 가능한 AI(eXplainable AI, XAI) 시스템을 통해 알고리즘에 대한 지식이 없는 일반 사용자들도 알고리즘의 결정을 합리적으로 이해할 수 있어야 한다. 포괄적인 관점에서 XAI에 관한 연구는 엔지니어링, 데이터 과학, 사용자 경험으로 분류한다. XAI 시스템의 설명을 제공받는 대상은 일반 사용자들이기 때문에 연구 및 실무 영역에서 그들을 고려하는 것은 불가피 한 것으로 간주된다. 즉, XAI에 대한 사용자 중심 연구는 엔지니어링, 데이터 사이언스 분야와 지식을 공유하고 상호보완할 수 있다는 점에서 의미 있는 영역이라 볼 수 있다.

 

따라서, 이번 아티클에서 다룰 주제는 '사용자 경험 관점에서의 XAI'이다.

 

---

XAI에 대한 사용자 중심 연구에서는 HCI, 사회 과학, 인지 과학 및 심리학과 같은 다학제간 관점을 통해 문제 현상을 개선하는 사용자 경험(User Experience, UX)과 관련된 연구 역량이 더욱 중요해질 것으로 전망된다. 

 

최근 사용자의 의사결정을 보조하기 위한 목적으로, 머신러닝 및 딥 러닝과 같은 다양한 AI 모델이 수많은 금융 서비스에 적용됨에 따라 전례 없는 성과와 함께 금융 서비스 산업을 극적으로 변화시키는 데 기여하고 있다. 예를 들어, 고객 소비 패턴 데이터에 기반한 맞춤화 된 신용카드 추천 시스템, 주식 및 기타 투자 자문을 제공하는 로보어드바이저, 자동화된 대출 신청 및 금융 사기 탐지 전문가의 의사결정을 보조하는 시스템에 이르기까지 다양한 세부 영역에서 AI 모델이 적용되고 있다. 자산 관리 서비스 관점에서 살펴보면 사용자에 대한 체계적이면서도 많은 양의 금융 데이터 수집이 불가피하므로 데이터 기반 학습이 요구되는 머신러닝이 적용되기 적합한 산업이라고 할 수 있다.

 

이처럼, AI 모델이 금융 분야에서도 활발하게 논의되고 적용됨에 따라, 마찬가지로 AI를 설명 가능하게 만드는 것에 대한 중요성이 강조되고 있다. 예를 들어, 금융안정위원회는 "AI 및 ML 프로세스에 대한 해석 가능성 부족이 거시적 수준에서 위험 요인으로 작용할 수도 있다."는 것을 언급하였으며, 유럽 연합 규정에는 "자동화된 의사결정 시스템은 데이터 주체(즉, 사용자)에게 관련된 논리에 대한 의미 있는 정보 및 시스템의 결정에대한 설명을 제공할 의무"가 있다는 것을 강조한 General Data Protection Regulation (GDPR)이 입법된 바 있다. 마지막으로, UK Financial Conduct Authority 에서는 "경우에 따라 법률 자체가 설명 가능성을 권장할 수도 있다."라는 점을 언급하였다.

 

금융 분야는 인간의 재산에 영향을 미치는 고위험 프로세스에 속하기 때문에 XAI의 사용자 중심 연구에 가장 근접한 영역이라 볼 수 있다.

 

---

설명 가능한 추천 시스템의 핵심 목적은 해당 추천이 제안된 이유를 명확하게 인식시켜주는 '설명'을 사용자에게 제공하는 것이다. XAI 추천 시스템이 제공하는 설명은 다음과 같은 요인들이 고려되어야 한다.

 

[XAI 추천 시스템의 설명이 고려해야할 요인]
1) 인지 프로세스(Cognitive Process): 특정 결과값이 도출된 원인을 식별하여, 가장 적합한 설명을 결정한 후 가장 관련성이 높은 원인의 하위 집합으로써 설명을 제공하는 것. 즉, 설명이 타당하고 설득력 있기 위해서는 맥락에 맞는 적절한 정보가 제공되어야 하는 것으로 간주된다.
2) 결과성(Product): 인지 프로세스 단계에서 고려되고 진행되었던 요인을 나타내는 설명을 제공하는 것. 즉, 1)의 인지 프로세스를 투명하게 공개하는 것만으로도 사용자가 시스템을 이해하는 데 도움이 되는 설명을 제공하는 것이라 볼 수 있다.
3) 사회적 프로세스(Social process): 설명 수용자(예를 들어, 일반 사용자)가 시스템이 추천안을 제시한 원인을 이해할 수 있도록 하기 위해 설명 제공자 및 설명 수용자 간 지식의 격차를 줄이는 것. 사용자가 이해하기 어려운 설명은 인지적 부담을 높여 만족스럽지 못한 결과를 보일 가능성이 있다.

 

이처럼, 추천 시스템 및 일반 지능형 시스템에서 AI의 설명 을 사용자가 효과적으로 이해하기 위해서는 XAI의 개념이 필요하다 볼 수 있다.

Adadi et al., 2018에 의하면 다음 네 가지 요인들을 통해 사용자는 시스템을 보다 이해하고 신뢰할 수 있으며, 지속적인 사용 유도로까지 이어지는데 기여할 수 있다.

 

1) 정당화를 위한 설명(Explain to justify): 사용자는 시스템의 결정(예를 들어, 추천안을 제시 하는 것)에 대한 설명을 제공받을 때, 작업이 달성된 방법이나 수행된 예측 단계에 대한 정보보다는 특정 결과를 얻은 이유 또는 정당성을 명확하게 제공받기를 원한다.
2) 제어를 위한 설명(Explain to control): 사용자는 추천 시스템에 대한 취약점, 한계 및 결함에 대한 가시성을 제공받음으로써 시스템 작동 원리를 더 원활하게 이해하는 것을 선호한다.
3) 개선을 위한 설명(Explain to improve): 기본적으로, 추천 시스템에서 설명을 도입하는 이유는 지속적인 성능 개선과 관련이 있으며, 이러한 주장은 현재 AI 개발자들이 지속적으로 알고리즘 성능을 높이는데 집중하는 현상을 통해 합리적으로 간주될 수 있다.
4) 발견을 위한 설명(Explain to discover) : 사용자가 시스템 스스로가 학습한 데이터를 어떠한 상황에서도 적시에 투명하게 제공받고자 하는 것을 의미한다. 시스템이 언제든 설명을 제공할 수 있을 만큼 안정적으로 만드는 가장 중요한 방법은 시스템의 결과 값을 정당화할 수 있는 가장 효과적인 수단을 찾는 것이라 볼 수 있다.

 

---

좋은 설명이라는 것을 식별하려면 설명에 대한 다양한 요인들이 평가될 수 있어야 한다. XAI 추천 시스템에서 사용자가 이해하기 용이한 설명을 디자인할 수 있는 기준이 되는 7가지를 소개한다.(Tintarec et al., 2017)

 

[XAI 추천 시스템이 지향해야 할 7가지 요인]
1) 투명성 : 시스템 작동 방식에 대한 이해
2) 해석 가능성 : 시스템의 오류(오류 및 시스템의 한계)를 사용자가 알 수 있는 수준
3) 신뢰성 : 시스템에 대한 전반적인 신뢰 수준
4) 효과성 : 사용자가 올바른 의사결정을 하는데 설명이 도움이 될 것이라 믿는 수준
5) 설득성 : 사용자가 의사결정을 내릴 수 있도록 적절히 설득하는 수준
6) 효율성 : 사용자가 빠른 의사결정을 하는데 설명이 도움이 될 것이라 믿는 수준
7) 만족성 : 시스템 전반에 대한 이해를 통해 얻은 만족 수준

 

일반적인 관점에서 살펴보면, 본 7가지 항목들에 기반하여 설명을 평가하는 것이 가장 이상적으로 보여질 수는 있지만 이들은 서로 상충관계에 있기 때문에 모든 항목을 고려하는 것은 매우 어려운 것으로 간주된다. 예를 들어, `투명성`을 높이고자 하면 제공되는 정보량이 많아질 수 있고, 이로 인해 사용자가 설명을 이해하는데 소요되는 시간이 늘어나 의사결정을 빠르게 진행하는 것과 관련된 `효율성`이 하락할 수 있다. 즉, 사용자 중심의 설명을 보다 타당하고 정확하게 평가하기 위해서는 특정 도메인에 대한 지향점을 정의하고, 이에 적합한 평가 항목들을 선정하는 것이 중요하다.