説明可能なAI(XAI)とは、AIがその答えや判断に至った理由を、人が理解できる形で示せるようにする考え方や技術のことです。XAIは、Explainable AIの略です。AI、特に深層学習のモデルは、なぜその答えになったのかが外から見えにくく、「ブラックボックス」と呼ばれてきました。判断の理由を示せれば、間違いに気づきやすくなり、利用者や取引先にも説明できるようになります。
説明可能なAIは、なぜ必要なのか?
AIの判断を業務で使うには、その判断が正しいかを人が確かめ、関係する人に理由を説明できる必要があるからです。
総務省と経済産業省がまとめた「AI事業者ガイドライン」(2024年)でも、AIに関わる事業者が大切にすることとして、透明性やアカウンタビリティ(説明する責任)が挙げられています。
- 間違いに気づくため
- 判断の理由が見えれば、おかしな理由で出た答えに気づけます。データの偏りに気づくきっかけにもなります。
- 説明する責任を果たすため
- 融資の審査や採用、保険の査定など、人に影響する判断では、理由を求められたときに答えられる必要があります。
- 改善するため
- どこで判断を誤ったかが分かれば、データやモデルのどこを直せばよいかも分かります。
AIの判断の理由は、どうやって示すのか?
主な方法は、どの項目が判断に効いたかを示す方法、似た例を示す方法、もともと筋道の見えるモデルを使う方法の3つです。生成AIでは、答えの根拠にした資料を示す方法もよく使われます。
| 方法 | 内容 | 例 |
|---|---|---|
| 効いた項目を示す | 判断にどの項目がどれだけ影響したかを示す(SHAPやLIMEなどの手法) | 「支払いの遅れの回数」が審査の結果に最も強く効いた |
| 似た例を示す | 判断の近い過去の例を示す | この見積は、過去のこの3件に近い |
| 筋道の見えるモデルを使う | 決定木やルールのように、判断の筋道が見えるモデルを使う | 売上が前年より2割以上減ったら知らせる |
| 根拠の資料を示す | 生成AIが答えの元にした資料の箇所を示す | 社内規程のどの条文をもとに答えたかを添える |
生成AIの答えも、説明できるのか?
生成AIがなぜその文章になったのかを、モデルの中身から厳密に説明することは、今のところ難しいとされています。業務では、答えの根拠にした資料を示させ、人がその資料と見比べられるようにするのが現実的です。
生成AIに「なぜそう答えたのか」と聞くと、もっともらしい理由を返します。ただ、その説明が、実際にモデルの中で起きたことと一致しているとは限りません。説明の文章をそのまま信じず、根拠の資料で確かめます。
説明可能なAIを取り入れるときの注意点は?
説明の分かりやすさとAIの精度は、両立しにくいことがあります。どこまでの説明が必要かを、業務ごとに先に決めておきます。
- 必要な説明の深さを決める
- 社内の参考にする程度の判断と、取引先や本人に理由を伝える判断とでは、求められる説明の深さが違います。
- AIを使わない選択肢も持つ
- 理由の説明が欠かせない判断では、あえてAIを使わず、決まったルールで判定するほうがよいこともあります。
- 説明を読む人を決める
- 技術者向けの細かな数値と、現場の担当者が読む一文の説明とでは、示し方が変わります。誰が読むかに合わせて形を決めます。
トラックファームでは、AIの判断の説明をどう考えているか?
理由を説明できることが大切な判断では、AIを使うかどうかから考えます。AIを使う場合も、重要な判断や社外に出す文書には、必ず人の確認を入れます。
物流業の経営管理の仕組みでは、異常を知らせるアラートの判定に、あえてAIを使いませんでした。当月の値を直近12か月の中央値と比べる決まったルールと、担当者の記録で動かし、どの数字がなぜ知らされたのかを、誰でも説明できるようにしています。
よくある質問
説明可能なAIにすると、AIの精度は下がりますか?
下がる場合があります。筋道の見えるシンプルなモデルは説明しやすい一方、複雑なモデルより精度が劣ることがあります。複雑なモデルを使ったまま、効いた項目をあとから示す方法もあるため、業務に必要な説明の深さに合わせて選びます。
説明可能なAIは、どんな業務で特に必要ですか?
融資や保険の審査、採用、人事の評価など、人の生活や権利に影響する判断で特に必要です。社内の業務でも、取引先に理由を伝える判断や、監査で根拠を求められる判断では、説明できる形にしておきます。
