埋め込み(エンベディング)とは、文章や画像などを、意味の近さを計算できる数値の並びに変換することです。変換した数値の並びは「ベクトル」と呼ばれます。社内の資料をもとに答えるRAGでは、質問に関係する資料を探す段階で、この埋め込みが使われています。
埋め込みは、どんな仕組みか?
埋め込みでは、AIのモデルが文章を読み、その意味を数百から数千の数値の並びに変換します。意味の近い文章ほど、数値の並びも近くなります。
たとえば、「有給休暇の申請方法」と「休みを取るときの手続き」は、使っている言葉は違いますが、意味が近いため、近い数値の並びになります。この性質を使うと、言葉がぴったり合わなくても、意味の近い資料を探せます。
変換した数値の並びは、「ベクトルデータベース」と呼ばれる、近いものを速く探せる専用の保存先にためておくのが一般的です。
埋め込みで、何ができるのか?
意味の近い資料を探す、似た内容をまとめる、内容の近いものを見比べる、といった作業に使えます。
- 質問の意味に近い社内の資料を探す(RAGの検索)
- 似た内容の問い合わせや意見を、まとめて分類する
- 過去の提案書や報告書から、内容の近いものを探す
- 内容が重複している資料を見つける
埋め込みを使った検索とキーワード検索は、どう違うのか?
キーワード検索は、入力した言葉そのものを含む資料を探します。埋め込みを使った検索は、言葉が違っても、意味の近い資料を探せます。実際には、両方を組み合わせて使うことも多くあります。
| 比べる点 | キーワード検索 | 埋め込みを使った検索 |
|---|---|---|
| 探し方 | 入力した言葉を含む資料を探す | 意味の近い資料を探す |
| 言い換え | 言葉が違うと見つからない | 言葉が違っても見つかりやすい |
| 得意なこと | 型番や名前など、決まった言葉を探す | 質問の意図に合う資料を探す |
| 苦手なこと | 言い換えや、あいまいな質問 | 型番や数字の、細かな違いの見分け |
RAGでは、埋め込みをどう使うのか?
RAGでは、まず社内の資料を細かく分けて埋め込みに変換し、保存しておきます。質問が来たら、その質問も埋め込みに変換し、意味の近い資料を探して、生成AIに渡します。
資料を分けて変換する
規程やマニュアルを、段落などの小さなまとまりに分け、それぞれを埋め込みに変換して保存します。
質問を変換する
利用者の質問も、同じ方法で埋め込みに変換します。
近い資料を探してAIに渡す
質問と意味の近い資料のまとまりを探し、質問と一緒に生成AIに渡して、答えをつくらせます。
トラックファームでは、埋め込みをどう扱っているか?
社内の資料をもとに答える仕組みをつくるときは、埋め込みに変換する前に、資料の整理から一緒に進めます。古い資料や重複した資料を減らし、見てよい資料の範囲を利用者ごとに分けておくと、探す精度も安全性も上がります。
よくある質問
埋め込みに変換した社内の資料は、AIの学習に使われますか?
埋め込みに変換すること自体は、AIのモデルを学習させることとは別の処理です。ただし、変換に使うサービスが入力したデータをどう扱うかは、契約や設定によって違うため、学習に使われない環境を選んで使います。
資料を更新したら、埋め込みもつくり直す必要がありますか?
はい。資料の内容が変わったら、その部分の埋め込みもつくり直します。資料の更新にあわせて自動でつくり直す仕組みにしておくと、答えが古くなるのを防げます。
