精度の高いモデルでも、「なぜそう判定したのか」に答えられないと現場では使えません。医療や与信など、理由の説明が要る場面ほどこの壁にぶつかります。
こんにちは、zawato（@zawato7）です！
本記事はディープラーニング入門ロードマップの第19回です。画像認識の話を「中身をどう覗くか」の角度から締めくくります。
- ブラックボックス問題とXAIが必要な理由
- LIME・SHAP・Permutation Importanceの違い
- CAMとGrad-CAMの違いと、敵対的攻撃の怖さ
ブラックボックス問題｜精度は出るのに理由が言えない
ディープラーニングは精度が高い一方、その根拠を人が読み取れません。これをブラックボックス問題と呼びます。
原因はモデルの規模です。学習で調整される重みは数百万から数十億にのぼり、眺めても「犬だと判断した理由」は見えてきません。
困るのは精度だけでは足りない場面です。融資を断られた人は理由を知りたいですし、診断支援なら医師が根拠を確かめたい。そこで登場するのが、判断を人が理解できる形に変換する説明可能AI（XAI：Explainable AI）です。
どの変数が効いたか｜LIME・SHAP・Permutation Importance
表形式のデータでは、どの説明変数が予測に寄与したかを求めます。ディープラーニングに限らず使えます。
| 手法 | やっていること |
|---|---|
| LIME | 予測1件の周辺を単純なモデルで近似する |
| SHAP | 協力ゲーム理論のシャープレイ値で貢献度を配分 |
| Permutation Importance | 変数をシャッフルし精度の落ち幅で測る |
Permutation Importanceは、壊しても精度が変わらないならそこは見ていなかった、という素朴な発想です。3つの対応はG検定で問われます。
CAMとGrad-CAM｜画像のどこを見たかを可視化する
画像分野では、判断の手がかりになった領域をヒートマップで可視化します。猫と判定したモデルが画像のどこを見たかを色の濃淡で示します。
| 手法 | 特徴 | 制約 |
|---|---|---|
| CAM | 反応した領域を可視化する | GAP（Global Average Pooling）が必要 |
| Grad-CAM | 出力クラスからの勾配で領域を重み付け | GAPがなくても使える |
「CAMはGAP前提、Grad-CAMはその制約を外したもの」と対比で覚えます。どちらもCNNの特徴マップを使い、画像認識モデルの検証にも役立ちます。背景に反応していればデータの偏りに気づけます。
敵対的攻撃｜見えない根拠が生む脆さ
敵対的攻撃（Adversarial attacks）は、人には気づけない微小なノイズを加えてAIに誤判定させる攻撃です。その入力を敵対的サンプル（Adversarial examples）と呼びます。
有名なのがパンダの例です。ノイズを乗せても人の目にはパンダですが、モデルはテナガザルと判定します。監視カメラに人と認識されない柄や標識を誤認させるステッカーの例もあり、自動運転では事故に直結します。
この脆さの根はブラックボックス問題そのものです。何を見ているか分からなければ、どこを突かれるかも分かりません。ホワイトボックス化は説明責任だけでなく安全性の面でも要るのです。
まとめ
- 判断根拠が読み取れないブラックボックス問題に応えるのがXAI（説明可能AI）
- 変数の寄与度はLIME・SHAP・Permutation Importance、画像の注目領域はCAM・Grad-CAMで見る
- CAMはGAP前提、Grad-CAMは勾配でその制約を外した。違いが問われやすい
- 敵対的攻撃は微小なノイズで誤判定を誘う。ブラックボックスのままでは脆弱性に気づけない
よくある質問
Q. XAIを使えばAIの判断が完全に分かるのですか？
A. 分かるのは「どの変数やどの領域が効いたか」までです。内部の計算を追えるわけではなく、理解しやすい形に近似した説明が得られるだけです。
Q. CAMとGrad-CAMはどちらを覚えればよいですか？
A. 押さえるべきは違いです。CAMはGAPを使ったモデルにしか使えず、Grad-CAMは勾配を用いて制約をなくしました。適用範囲の違いとして問われます。
Q. LIMEとSHAPはどう使い分けるのですか？
A. LIMEは個別の予測を近似するため手軽で速く、SHAPは理論的な裏付けがあり一貫性があります。厳密さならSHAP、手早さならLIMEです。
Q. 敵対的攻撃は防げないのですか？
A. 敵対的サンプルを学習データに混ぜる敵対的学習などの対策はありますが決定打はなく、重要な用途では人の確認を残す設計も要ります。
コメント