什麼是 XAI 工具
- XAI 工具協助解釋與審視模型的輸出與行為，包括特徵重要度、局部決策依據、對抗與偏見偵測、資料與概念漂移、以及端到端監控與稽核。它們可分為「訓練後解釋」與「可解釋模型」兩大類，並延伸到MLOps監控與治理。
- 全域解釋：特徵重要度、全域部分依賴關係（PDP/ICE）、全域SHAP、規則萃取。
- 局部解釋：LIME、Kernel SHAP/Tree SHAP、Counterfactual（反事實）、Anchors、局部規則。
- 資料與偏見：特徵貢獻分佈、資料漂移/概念漂移、群體公平性指標、敏感特徵影響。
- 監控治理：線上/批次監控、模型卡（Model Card）、數據卡（Data Card）、審計報表。
代表性工具與適配場景
- 通用解釋包
- SHAP：支援樹模型最佳化（TreeSHAP），全域/局部一致性與加法性，適合樹模型與表格資料。
- LIME：模型不可知、局部可解釋，快速原型與比對多模型決策依據。
- ELI5、Skater：特徵重要度、權重可視化、簡易規則與PDP。
- 深度學習與電腦視覺/NLP
- Captum（PyTorch）：集成梯度、DeepLift、特徵歸因，適合CV/NLP/Tabular。
- tf-explain、Grad-CAM/Score-CAM：CNN可視化熱圖。
- InterpretML（含Glassbox/Blackbox）：包含Explainable Boosting Machine（EBM）與多種黑盒解釋器。
- 公平性與偏見偵測
- AIF360、Fairlearn：群體/個體公平性指標、緩解策略（前處理/在模型中/後處理）。
- 監控與漂移
- Evidently：資料/概念漂移、品質報表、模型效能與特徵穩定性監控，適合表格資料MLOps。
- WhyLabs、Arize、Fiddler、Monotonic.ai：商用監控與觀測，含特徵與服務層監控。
- 可解釋模型（本身可解釋）
- EBM（GA2M）、單調GBDT（帶單調約束）、決策樹/規則清單（RuleFit、BRL）、螞蟻獨立得分卡（信用風控風格）。
- 文檔與治理
- Model Cards、Data Cards、FactSheets：生成模型/數據說明文件，支持合規與內部審核。
選型準則（先問六個問題）
1. 模型類型與資料模態：樹模型（優先SHAP/EBM）、深度CV/NLP（Captum/Grad-CAM）、表格資料與監控（Evidently）。
2. 使用階段：研發分析（交互式Notebook）、驗證與治理（可產報表/審計）、上線運維（可視化看板與告警）。
3. 法規與合規：需要可溯源的、可重現的、能產出人可讀報告與審計軌跡。
4. 延伸能力：偏見量測、公平性緩解、漂移偵測、對抗魯棒性測試。
5. 效能與成本：解釋計算昂貴（SHAP在大型深度模型）、需近即時回應（線上SHAP需近似或抽樣）。
6. 利害關係人可讀性：面向法遵/客戶/業務需自然語言報表與可視化；面向工程需API與自動化。
常見場景與推薦組合
- 表格資料、樹模型（信用評分、風控、保險核保）
- 訓練後：TreeSHAP（全域/局部）+ PDP/ICE + 反事實示例
- 上線：Evidently 監控資料/概念漂移與效能；產Model Card
- 公平：AIF360/Fairlearn 衡量群體差異，必要時採單調約束或EBM
- 深度CV（瑕疵檢測/醫影）
- Grad-CAM 家族 + Captum（集成梯度）+ 採樣審核面板
- 監控：漂移（像素/特徵嵌入分佈）+ 資料品質（模糊度/曝光）
- NLP（分類/生成）
- 局部詞級歸因（Integrated Gradients、LIME for text）+ 拼寫/毒性偏見測試
- 監控：分布漂移（詞頻/嵌入）、漂移告警；生成任務可結合Hallucination測試框架
- 需要高可解釋與穩健的商業決策
- 首選玻璃盒：EBM/單調GBDT/規則清單；以SHAP/LIME輔助局部案例說明
- 嚴格治理：Data/Model Cards、自動合規報表、審計追蹤
最佳實踐
- 多方法交叉驗證解釋：全域（重要度/EBM shape）+ 局部（SHAP/LIME）+ 反事實，避免單一方法偏見。
- 資料與概念漂移聯動：一旦漂移告警，回溯影響的特徵與決策邏輯，觸發再訓練與AB保險機制。
- 單調性與業務約束：在關鍵變數上施加單調/形狀約束，提升穩健與合規可講性。
- 解釋一致性測試：對相近樣本的解釋要穩定；對擾動樣本的解釋要合理變化。
- 生成報表自動化：每次版本發布自動生成可視化與文字解釋報告，納入審核流。
