❝ AI의 결정 과정을 사람이 이해할 수 있도록 만드는 기술 ❞
📌 정의
- AI, 특히 딥러닝 모델의 블랙박스 문제를 해결하고자 등장한 개념
- 모델이 왜, 어떻게 그런 판단을 했는지를 설명하는 것이 핵심
🎯 XAI의 주요 목표
| 목표 |
설명 |
| 투명성 |
AI가 어떤 기준으로 결정을 내렸는지 설명 |
| 신뢰성 |
사용자로부터 AI 판단에 대한 신뢰 확보 |
| 공정성 |
편향 없이, 차별 없이 결정했는지 확인 |
| 책임성 |
오류 발생 시 원인 분석 및 책임 추적 가능 |
🔍 XAI의 주요 종류 및 기법
🧩 모델에 독립적인 기법 (Model-Agnostic)
어떤 모델에도 적용 가능 (범용적)
| LIME |
특정 입력에 대해 모델을 선형 모델로 국소 근사하여 해석 |
| SHAP |
각 피처가 예측값에 얼마나 기여했는지 수치화 (게임 이론 기반) |
🧠 모델 내부 기반 기법 (Model-Specific)
특정 모델 구조(CNN, Transformer 등)에 특화
| CAM / Grad-CAM |
CNN이 이미지 분류 시 중요하게 본 영역 시각화 |
| Saliency Map |
각 입력 특성이 결과에 미친 영향의 크기 시각화 |
| Integrated Gradients |
입력과 기준값 사이의 누적 그래디언트로 중요도 계산 |
| DeepLIFT |
기준값 대비 기여도 추적으로 예측 설명 |
| Attention 시각화 |
Transformer가 어떤 토큰에 집중했는지 시각적으로 확인 |
✨ LLM 기반 XAI (최신 경향)
인간처럼 설명하는 자연어 기반 XAI
| 자연어 설명 생성 |
예측 결과에 대해 텍스트로 설명 제공 |
| Chain-of-Thought 유도 |
추론 과정을 단계별로 명시하여 투명성 향상 |
| 질문-응답 기반 해석 |
사용자가 “왜 이 결과인가요?” 질문 시 이유 생성 |
| 멀티모달 해석 |
이미지 + 텍스트 입력에 대한 해석 제공 (예: GPT-4V, Gemini 등) |
⚠️ XAI의 도전 과제
| 복잡한 모델의 해석 어려움 |
특히 딥러닝은 수백~수천만 파라미터로 이루어져 있어 해석이 어렵다 |
| 설명력 vs 성능 트레이드오프 |
성능 좋은 모델일수록 설명이 어려운 경우 많음 |
| 설명이 사람 기준에 부합하지 않음 |
수학적 설명이 실제 사람 입장에서 "납득되는" 설명이 아닐 수 있음 |
🗺️ 전체 구조 요약 도식 (텍스트 기반)
┌──────────────┐
│ AI 모델 │
└──────┬───────┘
│
(왜 이런 판단을 했지?)
↓
🧠 XAI (Explainable AI)
│
┌──────────────────┴────────────────────┐
│ │
🔸 모델 독립 (LIME, SHAP) 🔸 모델 특화 (Grad-CAM, IG, DeepLIFT)
│ │
└──────────────────┬────────────────────┘
↓
📢 사용자에게 직관적인 설명 제공
(자연어, 시각화 등)
💬 + 최근 경향: LLM 기반 자연어 해석
💡 XAI는 언제 필요할까?
- 의료 AI: 진단 근거 설명 필요
- 금융 AI: 대출 거절 사유 설명
- 자율주행: 특정 판단의 원인 분석
- 딥페이크 검출: 판별 근거 확인
- AI 윤리, 규제 대응: 설명 가능성 요구
