ガードレールとは、生成AIやAIエージェントが、決めた範囲の外の答えや動きをしないように、入力や出力を確かめて止める仕組みのことです。道路のガードレールが車の飛び出しを防ぐように、AIの答えや動きが、業務で許される範囲から外れないようにします。AIに「守ってください」と指示するだけでなく、AIの前と後ろに確認の仕組みを置くのが特徴です。
ガードレールは、どんな仕組みか?
AIに渡す前の入力と、AIが返した出力のそれぞれで、決めたルールに合っているかを確かめます。合わないときは、止める、書き直させる、人に回す、のいずれかで対応します。
- 入力を確かめる
- 個人情報や機密情報が含まれていないか、業務と関係のない依頼や、AIへの指示を書き換えようとする文が紛れ込んでいないかを確かめます。
- 出力を確かめる
- 不適切な表現や根拠のない数字が含まれていないか、決められた形式から外れていないかを確かめます。
- 動きを絞る
- AIエージェントが使えるシステムや操作を、必要なものだけに絞ります。メールの送信や支払いのように取り消せない操作は、人の承認を通します。
ガードレールには、どんな種類があるのか?
確かめる中身で分けると、情報を守るもの、話題を絞るもの、答えの正しさを確かめるもの、操作を絞るもの、の4つがよく使われます。
| 種類 | 確かめること | 例 |
|---|---|---|
| 情報を守る | 個人情報や機密情報の出し入れ | 氏名や電話番号を伏せてからAIに渡す |
| 話題を絞る | 業務と関係のない質問への回答 | 社内規程の問い合わせ窓口では、規程以外の質問に答えない |
| 答えを確かめる | 根拠のない内容や数字 | 答えに出てくる数字を、元の資料の数字と突き合わせる |
| 操作を絞る | AIエージェントが行う操作 | データの読み取りはさせても、削除や送信はさせない |
ガードレールと人による確認は、どう違うのか?
ガードレールは仕組みで自動的に止めるもので、人による確認は人が目で見て判断するものです。決まったルールで判定できることはガードレールに任せ、判断が必要なことを人が確かめる、という組み合わせが基本です。
すべてを人が確かめると、件数が増えたときに確認が追いつかなくなります。反対に、すべてを仕組みに任せると、ルールで捉えきれない間違いを見逃します。人が見るところを絞り込むためにも、ガードレールは役立ちます。
ガードレールを設けるときの注意点は?
主な注意点は、厳しくしすぎて使えなくならないようにすること、すべてを防げるとは考えないこと、ルールを見直し続けることの3つです。
- 厳しくしすぎない
- 止める範囲を広げすぎると、ふつうの質問にも答えなくなり、現場で使われなくなります。業務で困ることと、止めたいことの両方を見て決めます。
- すべては防げない
- ルールで見つけられない間違いや、想定していない使われ方は残ります。重要な判断や社外に出す文書には、人の確認を組み合わせます。
- ルールを見直し続ける
- 止めた記録と、すり抜けた記録を残し、定期的にルールを見直します。業務や使う資料が変われば、守るべきことも変わります。
トラックファームでは、ガードレールをどう組み込んでいるか?
AIに任せる業務の範囲と、AIに使うデータ・使わないデータ、人が確認する工程を、導入の前にお客様と一緒に決め、その決まりを仕組みの側に組み込みます。
企業研究の動画をつくって投稿するまでを自動化したコンサルティング会社の事例では、数字の検算や一次資料との照合を別々の検査として組み込み、食い違いがあれば公開に進まないようにしました。投稿は非公開の状態で行い、公開のボタンは人が押します。
よくある質問
ガードレールがあれば、AIの間違いはなくなりますか?
なくなりはしません。決めたルールで見つけられる間違いは減らせますが、ルールで捉えきれない間違いは残ります。重要な判断や社外に出す文書には、人の確認を組み合わせます。
AIの提供会社の安全対策だけでは、足りませんか?
多くの場合、足りません。提供会社の対策は、どの会社にも共通する危険な使い方を防ぐためのもので、自社の業務のルール(答えてよい範囲や、扱ってはいけない情報)までは知りません。業務に合わせたガードレールは、使う側で設けます。
