評価(Eval)とは、生成AIの答えが業務で使える質になっているかを、あらかじめ用意した問題と基準で確かめることです。Evalは、Evaluation(評価)の略です。生成AIは、同じ質問でも答えが少しずつ変わり、モデルやプロンプトを変えると答えの質も変わります。何となく試して「よさそうだ」と決めるのではなく、同じ問題で何度でも測れるようにしておくのが、評価の考え方です。
評価は、どうやって進めるのか?
業務で実際に出る質問と、その正しい答え(または良い答えの条件)を集めて問題集をつくり、AIに解かせて、決めた基準で採点します。
問題集をつくる
過去の問い合わせや実際の資料から、業務でよく出る質問と、答えを間違えると困る質問を集めます。
合格の基準を決める
「根拠の資料に沿っている」「数字が合っている」「決まった形式で答えている」など、何をもって良い答えとするかを決めます。
AIに解かせて採点する
問題集をAIに解かせ、基準に沿って採点します。何割の問題で基準を満たしたかを記録します。
結果を見て直す
間違えた問題の傾向を見て、渡す資料やプロンプト、使うモデルを直し、同じ問題集で測り直します。
評価には、どんなやり方があるのか?
採点のしかたは、主に、機械で照らし合わせる方法、人が採点する方法、別のAIに採点させる方法の3つです。確かめたいことと手間に合わせて組み合わせます。
| やり方 | 向いている確認 | 注意点 |
|---|---|---|
| 機械で照らし合わせる | 数字や分類が正しいか、決まった形式で出ているか | 文章の分かりやすさは測りにくい |
| 人が採点する | 文章の分かりやすさ、業務での使いやすさ | 時間がかかり、人によって基準がぶれやすい |
| 別のAIに採点させる | 根拠の資料に沿っているか、聞かれたことに答えているか | 採点するAIも間違えるため、ときどき人の採点と見比べる |
評価と、ふつうのソフトウェアのテストは、どう違うのか?
ふつうのテストは、同じ入力に同じ結果が返るかを、合格か不合格かで確かめます。生成AIの答えは毎回少しずつ変わるため、評価では「何割の問題で基準を満たしたか」のように、割合や点数で見るのが一般的です。
そのため、1回の結果だけで判断せず、同じ問題集をくり返し使って、変更の前と後の点数を比べます。モデルの更新やプロンプトの手直しで、前はできていたことができなくなっていないかを確かめるのにも役立ちます。
評価をするときの注意点は?
主な注意点は、問題集を業務の実態に合わせること、合格の基準を先に決めること、使い始めてからも評価を続けることの3つです。
- 問題集を業務の実態に合わせる
- 答えやすい質問ばかりを集めると、点数だけが高くなります。言い回しのくずれた質問や、資料に答えのない質問も入れておきます。
- 合格の基準を先に決める
- 結果を見てから基準を決めると、都合のよい判断になりがちです。PoCを始める前に、何点なら次に進むかを決めておきます。
- 使い始めてからも続ける
- 資料の更新やモデルの切り替えで、答えの質は変わります。実際に間違えた質問を問題集に足し、定期的に測り直します。
トラックファームでは、評価をどう取り入れているか?
PoCでは、目的と評価の基準を先に決めてから検証を始めます。業務の実際の質問で答えの質を測り、本格的に組み込むかどうかを、その結果をもとにお客様と一緒に判断します。
よくある質問
評価の問題集は、何問くらい必要ですか?
決まった数はありません。まずは業務でよく出る質問と、間違えると困る質問を数十問ほど集めて始めるのが現実的です。使いながら、AIが間違えた質問や新しい種類の質問を足していきます。
モデルを新しいものに変えるときも、評価は必要ですか?
必要です。新しいモデルが全体として高性能でも、自社の業務の質問で良い答えを返すとは限りません。同じ問題集で切り替えの前と後の点数を比べてから、切り替えるかどうかを決めます。
