ベクトルデータベースとは、文章や画像を変換した数値の並び(ベクトル)を保存し、意味の近いものを速く探せるようにしたデータベースのことです。社内の資料をもとに生成AIが答えるRAGの仕組みで、資料を探す役目を受け持つことが多い技術です。ふつうのデータベースが「値が一致するもの」を探すのに対して、ベクトルデータベースは「意味が近いもの」を探します。
ベクトルデータベースは、どんな仕組みか?
資料をあらかじめ埋め込み(ベクトル)に変換して保存しておき、質問も同じ方法で変換して、数値の並びが近いものを探します。データが多いときは、厳密さを少しゆるめて速く探す方法が使われます。
資料を変換して保存する
文章や画像を、AIのモデルで数値の並びに変換し、元のデータと一緒に保存します。
質問を変換する
探したい言葉や質問も、同じモデルで数値の並びに変換します。
近いものを探す
保存してある数値の並びの中から、質問と近いものを探します。件数が多い場合は、索引を使って速く探します。
元のデータを返す
近い順に、元の文章や画像を返します。
ふつうのデータベースと、何が違うのか?
ふつうのデータベースは、条件に一致するデータをすべて返します。ベクトルデータベースは、意味の近さで順位をつけ、近いものから返します。売上の集計や顧客の管理は前者、似た文章や画像を探すのは後者が得意です。
| 比べる点 | ふつうのデータベース | ベクトルデータベース |
|---|---|---|
| 探し方 | 値が一致する、範囲に入るものを探す | 意味が近いものを探す |
| 返ってくる結果 | 条件に合うものすべて | 近い順に、上位のもの |
| 得意なこと | 売上の集計、顧客や受注の管理 | 似た文章・画像・事例を探す |
RAGでは、ベクトルデータベースをどう使うのか?
RAGでは、社内の資料を段落などの小さなまとまりに分けて埋め込みに変換し、ベクトルデータベースに保存します。質問が来たら、意味の近いまとまりを探して、質問と一緒に生成AIに渡します。
実際には、言葉そのものが一致するかを見るキーワード検索と組み合わせることも多くあります。部署や役職によって見てよい資料が違う場合は、検索の条件に権限を含めて、見てはいけない資料がAIに渡らないようにします。
ベクトルデータベースを選ぶときの観点は?
データの量と更新の頻度、いま使っているデータベースとの関係、権限の扱い、データを置く場所の4つを確かめます。
- 専用の製品か、既存のデータベースか
- ベクトル検索の専用の製品を使う方法と、いま使っているデータベースにベクトル検索の機能を足して使う方法があります。
- データの量と更新の頻度
- 資料の件数や、どのくらいの頻度で資料を差し替えるかによって、必要な性能と運用の手間が変わります。
- 権限による絞り込み
- 利用者ごとに、探せる資料の範囲を分けられるかを確かめます。
- データを置く場所
- 社内の資料を変換したデータも、社外に出せない情報です。どの環境に置くかを、社内の規程に合わせて決めます。
トラックファームでは、ベクトルデータベースをどう扱っているか?
ベクトルデータベースを入れる前に、探す対象の資料を整理し、見てよい範囲を利用者ごとに分けます。データの量が多くない場合は、専用の製品を入れずに、既存のデータベースやシステムの中で探す方法も検討します。
製造業の見積・請求の管理システムでは、過去の似た見積を探す処理を、外部のサービスを使わずに、システムの中で行っています。
よくある質問
RAGをつくるには、必ずベクトルデータベースが必要ですか?
必ずしも必要ではありません。資料が少なければキーワード検索だけで足りることもあり、既存のデータベースの機能で意味の近さを探すこともできます。資料の量と、求める検索の精度で決めます。
ベクトルデータベースに保存したデータは、AIの学習に使われますか?
ベクトルデータベースは、データを保存して探すための仕組みで、それ自体がデータを学習に使うものではありません。ただ、資料の変換に外部のAIのサービスを使う場合は、そのサービスでのデータの扱いを確かめておく必要があります。
