설명할 수 없는 기계를 신뢰한다는 것 — XAI의 한계와 신뢰의 인식론

의료 영상에서 병변을 짚어 내는 모델이 판독에 끼어들고, 채용과 대출 심사에 알고리즘이 개입하는 시대에 우리는 같은 요구를 반복한다. 설명하라. 단계적으로 적용되고 있는 유럽연합 인공지능법은 고위험 AI 시스템이 운용자가 그 출력을 해석하고 적절히 사용할 수 있을 만큼 투명하게 설계될 것을 요구하고, 고위험 AI에 기반한 결정에 대해 영향받은 개인이 설명을 요구할 권리를 규정한다.¹ 이 요구의 밑바닥에는 하나의 직관이 있다. 설명할 수 없는 것은 신뢰할 수 없다는 직관이다. 분명히 해 두면, 이 법이 요구하는 것은 모델 전체의 작동을 남김없이 재현하는 설명이 아니라, 운용자가 출력을 해석하고 사용할 수 있을 정도의 투명성과 특정 결정에서 AI가 수행한 역할에 관한 의미 있는 설명이다. 이 글은 그 법적 설명권을 '완전한 설명'과 동일시하지 않는다. 다만 그런 제한된 설명만으로 신뢰 전체를 정당화할 수 있는지를 묻는다. 그리고 바로 그 지점에서 불편한 논의가 진행되고 있다. 복잡한 모델에 대한 완전한 설명이 기술의 미성숙 때문이 아니라 원리상 도달하기 어려운 목표라는 논증이 쌓이고 있는 것이다. 이 글의 물음은 그래서 이렇다. 설명이 끝내 완전할 수 없다면, AI에 대한 신뢰는 무엇 위에 서야 하는가.

앞서 「AI는 인간을 다 설명하는가」에서 나는 기계가 인간을 남김없이 설명하리라는 주장이 과학의 결론이 아니라 형이상학적 선택임을 논했다. 이번 글은 그 물음을 뒤집는다. 인간은 기계를 다 설명할 수 있는가. 미리 밝혀 두면, 이 글은 설명가능 AI(XAI) 연구를 폄하하지 않으며, 규제의 설명 요구를 무력화하려는 글은 더욱 아니다. 겨누는 것은 오직 하나, "설명이 완전해야 신뢰가 성립한다"는 등식이다.

설명이라 부르는 것 — 개념의 정리

먼저 개념을 규정한다. 설명가능 AI란 복잡한 모델의 판단을 인간이 이해할 수 있는 형태로 제시하려는 기술과 연구의 총칭이다. 그러나 재커리 립턴이 지적했듯 '해석가능성'이라는 말 자체가 단일한 개념이 아니다. 그 아래에는 모델 내부를 들여다보려는 투명성 요구와, 이미 내려진 판단을 사후에 정당화하는 사후 설명(post-hoc explanation)이 뒤섞여 있고, 신뢰·인과·정보성 같은 서로 다른 기대가 한 단어에 얹혀 있다.²

실무에서 널리 쓰이는 것은 후자다. 대표적으로 LIME은 복잡한 모델의 판단 하나를, 그 판단의 근방에서만 유효한 단순한 대리 모델로 근사하여 설명을 만들어 낸다.³ 여기서 핵심 구조가 드러난다. 블랙박스에 대한 설명은 대개 근사다. 더 단순한 모델로 더 복잡한 모델을 흉내 내는 것이다. 그렇다면 물음은 좁혀진다. 그 근사는 원본에 얼마나 충실할 수 있는가.

근사는 어긋난다 — 원리적 한계의 논증

이 물음에 수학적 형태를 부여한 시도가 있다. 슈리샤 라오는 알고리즘 정보 이론의 틀로 설명가능성을 정형화하여, 그 정리의 전제 아래에서 원 모델보다 엄밀히 단순한 전역 근사는 전체 입력 공간에서 원 모델과 완전히 일치할 수 없음을 보였다. 어긋남은 구현의 미숙이 아니라 수학적 필연이라는 것이다. 나아가 그는 자신이 채택한 형식화 아래에서 제한 없는 AI 능력, 인간이 해석 가능한 설명, 무시할 만한 오류율이라는 세 목표를 동시에 보장할 수 없다는 결과를 제시한다.⁴ 다만 이 결과를 읽을 때는 절제가 필요하다. 단독 저자의 프리프린트로 동료 평가가 완결되지 않았고, 이는 실제의 모든 거버넌스 체계가 불가능하다는 경험적 결론이 아니라 규제 목표 사이의 긴장을 드러내는 이론적 결과다. 토대가 되는 콜모고로프 복잡도의 정확값을 일반적으로 계산하는 알고리즘은 없으므로, 이것은 실무 지표가 아니라 원리적 한계의 표현으로 읽어야 한다. 그러므로 정직한 요약은 "XAI는 불가능하다"가 아니라 "완전한 설명가능성이라는 요구에는 원리적 한계가 논증되고 있다"까지다.

이 원리적 한계는 실무의 오래된 불안과 맞닿는다. 신시아 루딘은 고위험 의사결정에서 블랙박스를 사후 설명으로 감싸는 관행을 정면으로 비판했다. 사후 설명은 블랙박스와 다른 판단 논리를 제시하면서도 그럴듯한 확신을 줄 수 있다는 것이다.⁵ 모든 사후 설명이 정의상 불충실하다는 뜻은 아니다. 문제는 단순성을 얻는 과정에서 생기는 충실도 손실을 검증하지 않은 채, 설명을 신뢰의 증거로 사용하는 데 있다.

반론 — 설명을 요구하는 쪽의 정당성

정직한 분별은 반대편의 최선을 세운 뒤에야 성립한다. 설명 요구의 편에는 강한 논거가 있다. 첫째, XAI의 실질 성과다. 사후 설명 기법은 모델의 오작동을 찾아내고 학습 데이터의 편향을 드러내는 개발 도구로서 유용성을 입증해 왔다. LIME의 원 논문 제목이 "내가 왜 당신을 믿어야 하는가"였다는 사실이 보여 주듯, 이 연구 전통은 신뢰의 문제를 회피한 것이 아니라 정면으로 다루려 했다.³ 둘째, 루딘의 비판은 설명 무용론이 아니라 더 강한 설명 요구다. 그는 고위험 영역에서 정확도와 해석가능성의 상충이 흔히 과장되었다고 논증하며, 블랙박스를 설명으로 감싸지 말고 처음부터 해석 가능한 모델을 쓰라고 처방한다.⁵ 셋째, 규제의 설명 요구에는 인식론과 별개의 규범적 정당성이 있다. 설명은 책임을 귀속시키고, 결정에 불복할 통로를 열고, 적법 절차를 지키는 장치다. 이 정당성은 설명의 기술적 한계로 소거되지 않는다.

재반론 — 설명의 몫과 신뢰의 몫

이 반론들을 받아들인 뒤에도 남는 구분이 있다. 설명이 잘하는 일과, 설명에게 맡겨서는 안 되는 일의 구분이다.

첫째, 여기서 거론한 XAI 성과의 직접적 효용은 주로 개발과 감사 과정에서 확인된 것이다. 오류와 편향을 드러내는 데 유효한 도구가 최종 사용자 신뢰의 토대로도 충분하다는 결론은 따라 나오지 않는다. 충실도가 검증되지 않는 한, 사용자에게 설명은 "어디서 어긋나는지 모르는 근사"로 남기 때문이다. 둘째, 루딘의 처방은 정형 데이터 영역에서 강력하지만, 대규모 생성 모델까지 본래 해석 가능한 모델로 대체할 수 있는지는 아직 열린 문제다. 셋째, 규제 불가능성 정리가 옳다면 규제의 언어도 달라져야 한다. "설명 가능할 것"이라는 요구는 도달 가능한 종착점이 아니라 능력·해석가능성·오류율 가운데 무엇을 얼마나 양보할지에 대한 선택의 문제가 되며, 규제는 설명을 요구하되 그 설명이 무엇을 포기한 근사인지 명시하도록 요구하는 편이 정직하다.

그렇다면 신뢰는 어디에 서는가. 우리는 이해하지 못하는 것을 매일 신뢰한다. 항공기의 유체역학을 모른 채 탑승하고, 마취의 기전을 모른 채 수술대에 눕는다. 물론 이 비유에는 한계가 있다. 항공기는 내가 이해하지 못할 뿐 전문가 공동체가 설명하고 시험할 수 있는 대상이므로, 이 비유가 보여 주는 것은 설명의 불필요성이 아니라 이해의 사회적 분업이다. 그러나 바로 그 분업이 요점이다. 개인의 신뢰를 지탱하는 것은 나의 이해가 아니라 검증과 면허와 사고 조사와 배상이라는 제도의 구조, 곧 실패가 추적되고 책임이 귀속되는 장치들이다. 애넷 바이어의 고전적 분석을 빌리면, 신뢰란 상대의 선의에 나를 내어 맡기는 태도로서 단순한 의존과 구별된다.⁶ 이 구별을 기계에 적용하면 결론은 뜻밖에 단순하다. 선의도 성품도 없는 기계는 엄밀한 의미에서 신뢰의 대상이 아니라 의존의 대상이며, 신뢰라는 말의 진짜 수신자는 기계 뒤에 있는 사람들, 곧 만든 자와 배치한 자와 검증한 자와 책임지는 제도다.

이해 없는 신뢰의 조건 — 하나의 분별

마지막으로 렌즈 하나를 얹는다. 인격 사이의 신뢰는 애초에 완전한 설명 위에 선 적이 없다. 마이클 폴라니가 말했듯 우리는 말할 수 있는 것보다 많이 알며,⁷ 우리가 신뢰하는 어떤 사람도 자신의 판단 과정을 남김없이 설명하지 못한다. 그래도 신뢰가 성립하는 것은 설명 때문이 아니라 성품과 이력, 곧 신실함의 역사 때문이다. 기독교 신앙의 인식론은 이 구조를 오래 사유해 왔다. 안셀무스의 "나는 이해하기 위해 믿는다"는 이해가 신뢰의 전제 조건이 아니라 신뢰가 이해로 나아가는 길일 수 있음을 보여 주는 고전적 정식이다.⁸ 다만 이 렌즈가 논증을 대신하지는 않으며, 여기서 잘못된 결론 하나를 미리 막아야 한다. "신앙도 이해 없이 믿는다, 그러니 AI도 그냥 믿으라"는 추론이다. 이것이야말로 범주 착오다. 신앙의 신뢰는 인격의 신실함에 대한 응답이지 맹목이 아니다. 기계에는 성품도 서약도 신실함의 역사도 없다. 인격 신뢰의 문법을 기계에 이식하는 순간, 우리는 신뢰해야 할 것(사람과 제도)을 놓치고 의존해도 되는 것(도구)을 인격처럼 대하게 된다.

그러므로 나의 분별은 이렇다. 설명은 신뢰의 유일하거나 최종적인 토대는 아니지만, 검증과 감사와 이의제기를 가능하게 하는 필수 장치다. AI에 대한 정당한 의존은 설명, 독립적 성능 검증, 책임 귀속과 구제 절차가 함께 작동할 때 성립한다. 설명할 수 없는 기계 앞에서 물어야 할 것은 "나는 이것을 얼마나 이해하는가"와 "이것이 틀렸을 때 누가 어떻게 책임지는가", 둘 모두다.

AI를 신뢰하라는 요구를 만났을 때 물을 것

1. 제시된 설명은 모델의 실제 작동인가, 사후의 근사인가. 근사라면 원본과 어긋나는 지점이 어디인지 확인됐는가.
2. 그럴듯한 설명이 성능 검증을 대신하고 있지 않은가. 설명의 유창함은 정확성의 증거가 아니다.
3. 설명이 불완전해도 신뢰를 지탱할 다른 기둥, 곧 독립적 검증·감사 기록·책임 귀속과 구제 절차가 있는가.
4. 나는 지금 기계를 신뢰하고 있는가, 기계 뒤의 사람과 제도를 신뢰하고 있는가. 후자라면 그들은 신뢰할 만한가.
5. 반대로 나는 '설명 불가'를 근거로 유용한 도구 자체를 배척하고 있지 않은가. 원리적 한계는 무용론의 근거가 아니다.

Footnotes

1. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 (Artificial Intelligence Act), arts. 13, 86. 제13조는 고위험 AI가 배포자에게 충분히 투명하고 필요한 사용 정보를 제공하도록 요구한다. 제86조는 부속서 III의 일정한 고위험 AI 출력에 기초하여 개인에게 법적 효과 또는 그에 준하는 중대한 영향을 미치는 결정이 내려진 경우의 설명 요구권을 규정하며, 이 글의 기준일(2026년 7월)에는 일반 적용일인 2026년 8월 2일이 아직 도래하지 않았다. ↩

2. Zachary C. Lipton, "The Mythos of Model Interpretability," ACM Queue 16, no. 3 (2018): 31–57. ↩

3. Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin, "'Why Should I Trust You?': Explaining the Predictions of Any Classifier," in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (New York: ACM, 2016), 1135–1144. ↩ ↩²

4. Shrisha Rao, "The Limits of AI Explainability: An Algorithmic Information Theory Approach," arXiv preprint arXiv:2504.20676 (2025). 단독 저자의 프리프린트로 동료 평가가 완결되지 않았으므로, 본문의 진술은 확정된 정리가 아니라 진행 중인 논증의 요약으로 읽어야 한다. ↩

5. Cynthia Rudin, "Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead," Nature Machine Intelligence 1 (2019): 206–215. 본문의 진술은 직접 인용이 아니라 루딘의 논지를 요약한 것이다. ↩ ↩²

6. Annette Baier, "Trust and Antitrust," Ethics 96, no. 2 (1986): 231–260. ↩

7. Michael Polanyi, The Tacit Dimension (Garden City, NY: Doubleday, 1966), 4. ↩

8. Anselm of Canterbury, Proslogion, chap. 1. "credo ut intelligam"은 이 장의 논지를 통상 그렇게 요약하는 정식이다. ↩