ハルシネーションとは、生成AIが、事実と違う内容や存在しない情報を、もっともらしく答えてしまうことです。英語で「幻覚」を意味する言葉です。存在しない制度や数字、資料をそれらしく書いてしまうため、文章を読んだだけで誤りに気づくのは簡単ではありません。業務で生成AIを使うときは、ハルシネーションが起きる前提で、仕組みと手順を考えます。
ハルシネーションは、なぜ起きるのか?
生成AIは、事実を調べて答えているのではなく、文の流れから、もっともらしい言葉を順に選んで文章をつくっているためです。とくに、学習していない情報や新しい情報を聞かれたとき、質問があいまいなとき、渡した資料が古いときに起きやすくなります。
- 学習したデータに、その情報が含まれていない
- 学習した時点より新しい情報を聞かれている
- 質問があいまいで、意図を取り違えている
- 渡した資料が古い、または資料どうしの内容が食い違っている
ハルシネーションが起きると、業務で何が困るのか?
誤りに気づかないまま、お客様への回答や社内の判断に使ってしまうことが、いちばんの問題です。
| 場面 | 起こりうること |
|---|---|
| お客様への回答 | ないサービスの内容や条件を、案内してしまう |
| 社内の規程の問い合わせ | 古い規程や、ない手続きを答えてしまう |
| 資料や報告書づくり | 数字や出典を、それらしく作ってしまう |
| 契約や法令の確認 | 条文の内容を取り違えて説明してしまう |
ハルシネーションは、どうすれば減らせるのか?
根拠になる資料を渡す、資料そのものを整える、根拠を示させる、分からないときは分からないと答えさせる、人が確かめる、の5つを組み合わせて減らします。
根拠になる資料を渡す
RAGを使い、社内の資料をもとに答えさせます。
資料を整える
古い資料や重複した資料を減らします。資料の誤りは、そのまま答えの誤りになります。
根拠を示させる
答えと一緒に、参照した資料の場所を示させると、確かめやすくなります。
分からないときは、分からないと答えさせる
資料に答えがない場合は、推測せずにそう伝えるよう指示しておきます。
人が確かめる
お客様への回答や判断に使う内容は、人が確かめてから使います。
トラックファームでは、ハルシネーションにどう備えているか?
ハルシネーションは完全にはなくせない、という前提で仕組みをつくります。社内の資料をもとに答える仕組みにし、資料の整理から一緒に進めたうえで、重要な判断には人の確認を入れます。
よくある質問
ハルシネーションは、なくすことができますか?
今の生成AIでは、完全になくすことはできません。資料を渡す仕組みや、根拠を示させる工夫で大きく減らせますが、重要な内容は人が確かめる前提で使います。
どんな業務なら、ハルシネーションの影響を小さくできますか?
アイデア出しや文章の下書きなど、人が読んで直すことが前提の作業は、影響が小さく使いやすい業務です。反対に、お客様への回答や金額、契約に関わる内容は、必ず人が確かめます。
