本文へ移動
(お問い合わせ)

説明可能なAI(XAI)とは?

説明可能なAI(XAI)とは、AIが判断に至った理由を、人が理解できる形で示せるようにする考え方と技術です。審査や評価の業務で特に求められます。

AIとHUMANのアイコンを両手に載せて見せる、スーツ姿の男性

説明可能なAI(XAI)とは、AIがその答えや判断に至った理由を、人が理解できる形で示せるようにする考え方や技術のことです。XAIは、Explainable AIの略です。AI、特に深層学習のモデルは、なぜその答えになったのかが外から見えにくく、「ブラックボックス」と呼ばれてきました。判断の理由を示せれば、間違いに気づきやすくなり、利用者や取引先にも説明できるようになります。

説明可能なAIは、なぜ必要なのか?

AIの判断を業務で使うには、その判断が正しいかを人が確かめ、関係する人に理由を説明できる必要があるからです。

総務省と経済産業省がまとめた「AI事業者ガイドライン」(2024年)でも、AIに関わる事業者が大切にすることとして、透明性やアカウンタビリティ(説明する責任)が挙げられています。

間違いに気づくため
判断の理由が見えれば、おかしな理由で出た答えに気づけます。データの偏りに気づくきっかけにもなります。
説明する責任を果たすため
融資の審査や採用、保険の査定など、人に影響する判断では、理由を求められたときに答えられる必要があります。
改善するため
どこで判断を誤ったかが分かれば、データやモデルのどこを直せばよいかも分かります。

AIの判断の理由は、どうやって示すのか?

主な方法は、どの項目が判断に効いたかを示す方法、似た例を示す方法、もともと筋道の見えるモデルを使う方法の3つです。生成AIでは、答えの根拠にした資料を示す方法もよく使われます。

方法内容例
効いた項目を示す判断にどの項目がどれだけ影響したかを示す(SHAPやLIMEなどの手法)「支払いの遅れの回数」が審査の結果に最も強く効いた
似た例を示す判断の近い過去の例を示すこの見積は、過去のこの3件に近い
筋道の見えるモデルを使う決定木やルールのように、判断の筋道が見えるモデルを使う売上が前年より2割以上減ったら知らせる
根拠の資料を示す生成AIが答えの元にした資料の箇所を示す社内規程のどの条文をもとに答えたかを添える

生成AIの答えも、説明できるのか?

生成AIがなぜその文章になったのかを、モデルの中身から厳密に説明することは、今のところ難しいとされています。業務では、答えの根拠にした資料を示させ、人がその資料と見比べられるようにするのが現実的です。

生成AIに「なぜそう答えたのか」と聞くと、もっともらしい理由を返します。ただ、その説明が、実際にモデルの中で起きたことと一致しているとは限りません。説明の文章をそのまま信じず、根拠の資料で確かめます。

説明可能なAIを取り入れるときの注意点は?

説明の分かりやすさとAIの精度は、両立しにくいことがあります。どこまでの説明が必要かを、業務ごとに先に決めておきます。

必要な説明の深さを決める
社内の参考にする程度の判断と、取引先や本人に理由を伝える判断とでは、求められる説明の深さが違います。
AIを使わない選択肢も持つ
理由の説明が欠かせない判断では、あえてAIを使わず、決まったルールで判定するほうがよいこともあります。
説明を読む人を決める
技術者向けの細かな数値と、現場の担当者が読む一文の説明とでは、示し方が変わります。誰が読むかに合わせて形を決めます。

トラックファームでは、AIの判断の説明をどう考えているか?

理由を説明できることが大切な判断では、AIを使うかどうかから考えます。AIを使う場合も、重要な判断や社外に出す文書には、必ず人の確認を入れます。

物流業の経営管理の仕組みでは、異常を知らせるアラートの判定に、あえてAIを使いませんでした。当月の値を直近12か月の中央値と比べる決まったルールと、担当者の記録で動かし、どの数字がなぜ知らされたのかを、誰でも説明できるようにしています。

よくある質問

説明可能なAIにすると、AIの精度は下がりますか?

下がる場合があります。筋道の見えるシンプルなモデルは説明しやすい一方、複雑なモデルより精度が劣ることがあります。複雑なモデルを使ったまま、効いた項目をあとから示す方法もあるため、業務に必要な説明の深さに合わせて選びます。

説明可能なAIは、どんな業務で特に必要ですか?

融資や保険の審査、採用、人事の評価など、人の生活や権利に影響する判断で特に必要です。社内の業務でも、取引先に理由を伝える判断や、監査で根拠を求められる判断では、説明できる形にしておきます。

最終更新:監修:代表取締役 錦見 穣

まずは無料で、
どこから手をつけるべきかを見立てます。

オンライン面談60分+診断メモ。全国対応です。