生成AIは、もっともらしい文章で、事実と違うことを答えることがあります。この記事では、AIの回答を確かめる具体的な方法と、そもそも間違いが起きにくい使い方や仕組みのつくり方を解説します。
AIの回答は、なぜ確かめる必要があるのか?
生成AIは、事実と違う内容を、自然な文章で答えることがあるからです。この現象はハルシネーションと呼ばれ、いまの生成AIでは完全にはなくせません。
生成AIは、学習した文章をもとに、続きとして自然な言葉を選んで文章をつくります。そのため、知らないことや資料にないことでも、それらしい答えを返してしまうことがあります。文章が整っているほど間違いに気づきにくい点にも、注意が必要です。
AIの回答の、どこを重点的に確かめればいいか?
間違いが起きやすく、間違えたときの影響が大きいところから確かめます。特に、数字、固有名詞、日付、法令や制度、引用元の5つは、必ず元の資料で照らし合わせてください。
- 数字
- 金額、件数、割合などです。計算や桁の間違い、別の年度の値との取り違えが起きやすいところです。
- 固有名詞
- 社名、製品名、人名、地名などです。似た名前との取り違えや、存在しない名前が出てくることがあります。
- 日付と期間
- いつの出来事か、いつまでの期限かを取り違えることがあります。
- 法令や制度
- 改正前の古い内容や、別の制度と混ざった説明になることがあります。
- 引用元
- 示された資料やURLが、実際には存在しないことがあります。
AIの回答は、具体的にどう確かめればいいか?
根拠を一緒に出させ、元の資料と照らし合わせ、必要に応じて聞き直したり詳しい人に見てもらったりします。
根拠を一緒に出させる
回答と一緒に、どの資料のどこをもとにしたかを示すよう指示します。根拠を示せない回答は、そのまま使わないと決めておきます。
元の資料と照らし合わせる
数字や制度は、公的機関の発表や社内の原本など、元の資料で確かめます。AIが示したURLも、実際に開いて中身を見ます。
別の聞き方で聞き直す
質問の言い方を変えたり、反対の立場から聞いたりして、答えがぶれないかを見ます。答えが変わるところは、間違いを疑うきっかけになります。
詳しい人に確かめてもらう
専門的な内容や社外に出す文書は、その分野が分かる担当者が最後に確認します。誰が確認するかを、あらかじめ決めておきます。
間違いが起きにくい仕組みは、どうつくるか?
AIに答えさせる範囲を社内の資料に限ったり、数字はAIに書かせずシステムから取り出したりすると、間違いそのものを減らせます。人が確認するところも、仕組みの中に組み込んでおきます。
- 社内の規程やマニュアルなど、決まった資料だけをもとに答えさせ、回答と一緒に根拠の資料を表示する(RAG)
- 数字や計算はAIに任せず、データベースやシステムから機械的に取り出す
- AIがつくるのは下書きまでにし、人が直してから保存・送信する
- 主な数字を、別の仕組みで元の資料から引き直して突き合わせる
トラックファームでは、AIの間違いをどう防いでいるか?
AIに任せる作業と人が確認する作業を、導入の前にお客様と決めています。たとえばコンサルティング会社の動画づくりの自動化では、数字をAIに書かせず、金融庁の開示システムから機械で取り出しています。
主な数字は、別のAIエージェントが一次資料から改めて引き直して突き合わせ、食い違いがあれば公開に進めません。製造業の見積・請求の管理システムでも、AIがつくるのは見積の明細の下書きまでで、人が直してから保存する形にしています。
よくある質問
AIの回答の正しさは、どう確かめればいいですか?
根拠の資料と突き合わせて確かめます。数字や固有名詞、日付は必ず元の資料で照らし合わせ、社外に出す文書や重要な判断には、人の確認を入れます。
AIに「根拠を示して」と頼めば、間違いはなくなりますか?
なくなりはしません。示された根拠そのものが存在しなかったり、資料の内容と回答が食い違っていたりすることがあるため、根拠の資料は実際に開いて確かめてください。
すべての回答を人が確かめるのは、手間がかかりすぎませんか?
すべてを同じ重さで確かめる必要はありません。社内向けのメモの下書きは軽く、社外に出す文書や数字を含む回答はしっかり、というように、影響の大きさで確認の深さを変えると負担を抑えられます。
