Vertex AI RAG Engine で選択できるベクトル データベース

このページでは、Vertex AI RAG Engine でサポートされているベクトル データベースについて説明します。また、ベクトル データベース(ベクトルストア)を RAG コーパスに接続する方法についても説明します。

ベクトル データベースは、RAG アプリケーションの検索を可能にするうえで重要な役割を果たします。ベクトル データベースは、ベクトル エンベディングを保存してクエリする専用の方法を提供します。ベクトル エンベディングは、語義上の意味と関係をキャプチャするテキストなどのデータの数学的表現です。ベクトル エンベディングにより、RAG システムは、複雑なクエリや微妙なニュアンスのクエリを処理する場合でも、広大なナレッジベース内で最も関連性の高い情報を迅速かつ正確に見つけることができます。ベクトル データベースをエンベディング モデルと組み合わせると、LLM の制限を克服し、より正確で関連性の高い包括的な回答を提供できます。

サポートされているベクトル データベース

RAG コーパスを作成するときに、Vertex AI RAG Engine はエンタープライズ対応の RagManagedDb をデフォルトのベクトル データベースとして提供します。追加のプロビジョニングや管理は必要ありません。RagManagedDb には KNN と ANN の両方の検索オプションが用意されており、迅速なプロトタイピングとテストのためにベーシック ティアに切り替えることができます。RagManagedDb での取得戦略の選択またはティアの更新について詳しくは、RAG で RagManagedDb を使用するをご覧ください。Vertex AI RAG Engine がベクトル データベースを自動的に作成して管理するには、RAG コーパスを作成するをご覧ください。

Vertex AI RAG Engine では、デフォルトの RagManagedDb に加えて、RAG コーパス内でベクトル データベースをプロビジョニングして使用できます。この場合、ベクトル データベースのライフサイクルとスケーラビリティはユーザーが責任を負います。

ベクトル データベース オプションを比較する

次の表に、Vertex AI RAG Engine でサポートされているベクトル データベースの選択肢を示します。また、RAG コーパス内でベクトル データベースを使用する方法を説明するページへのリンクも示します。

ベクトル データベース   利点   最適な用途   欠点 サポートされている距離指標 検索のタイプ リリース ステージ
RagManagedDb(デフォルト)は、非常に高い整合性と高可用性を提供する、リージョン単位で分散されたスケーラブル データベース サービスです。ベクトル検索に使用できます。簡単、シンプル、高速、迅速
  • 設定の必要はありません。
  • エンタープライズ規模と小規模のユースケースに適しています。
  • 非常に高い一貫性。
  • 高可用性。
  • 低レイテンシ。
  • トランザクション ワークロードに最適です。
  • CMEK が有効になっています。
  • 大量のドキュメントの生成。
  • エンタープライズ規模の RAG の構築。
  • 迅速な概念実証の開発。
  • プロビジョニングとメンテナンスのオーバーヘッドを低く抑える。
  • チャットボットとの併用。
  • RAG アプリケーションの構築。
  • ANN の機能で最適な再現率を得るには、データに大きな変更を加えた後にインデックスを再構築する必要があります。
cosine KNN(デフォルト)と ANN 一般提供
ベクトル検索は、Vertex AI 内のベクトル データベース サービスで、ML タスク用に最適化されています。
  • 他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は Google Cloud インフラストラクチャによってサポートされます。
  • 従量課金制の料金が適用されます。
  • 大量のドキュメントの生成。
  • エンタープライズ規模の RAG の構築。
  • ベクトル データベース インフラストラクチャの管理。
  • Google Cloud の既存のお客様、または複数の Google Cloud サービスの使用を検討している方。
  • 更新はすぐには反映されません。
  • Google Cloudによるベンダー ロックイン。
  • ユースケースによっては費用が高くなる可能性があります。
cosine

dot-product
ANN 一般提供
Vertex AI Feature Store は、ML 機能を整理、保存、提供するためのマネージド サービスです。
  • Vertex AI や他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は Google Cloud インフラストラクチャによってサポートされます。
  • 既存の BigQuery インフラストラクチャを活用します。
  • 大量のドキュメントの生成。
  • エンタープライズ規模の RAG の構築。
  • ベクトル データベース インフラストラクチャの管理。
  • Google Cloud の既存のお客様、または複数の Google Cloud サービスの使用を検討しているお客様。
  • 変更がオンライン ストアに反映されるのは、手動による同期が実行された後です。
  • Google Cloudによるベンダー ロックイン。
cosine

dot-product

L2 squared
ANN プレビュー
Weaviate は、柔軟性とモジュール性を備えたオープンソースのベクトル データベースです。
  • さまざまなデータ型をサポートし、組み込みのグラフ機能を提供します。
  • オープンソースの活発なコミュニティを備えています。
  • 柔軟でカスタマイズ性に優れています。
  • テキストや画像など、さまざまなモダリティに対応した多様なデータ型とモジュールをサポートしています。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 大量のドキュメントの生成。
  • エンタープライズ規模の RAG の構築。
  • ベクトル データベース インフラストラクチャの管理。
  • Weaviate の既存のお客様。
  • 更新はすぐには反映されません。
  • 設定と管理が複雑になる場合があります。
  • パフォーマンスは構成によって異なる場合があります。
cosine

dot-product

L2 squared

hamming

manhattan
ANN + ハイブリッド検索のサポート プレビュー
Pinecone は、高パフォーマンスの類似検索用に設計された、フルマネージドのクラウドネイティブ ベクトル データベースです。
  • すぐに使い始められます。
  • 優れたスケーラビリティとパフォーマンス。
  • フィルタリングやメタデータ検索などの高度な機能を備えたベクトル検索に重点を置きます。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 大量のドキュメントの生成。
  • エンタープライズ規模の RAG の構築。
  • ベクトル データベース インフラストラクチャの管理。
  • Pinecone の既存のお客様。
  • 更新はすぐには反映されません。
  • 他の選択肢より高額になる可能性があります。
  • 割り当てと上限によってスケールとパフォーマンスが制限されます。
  • 基盤となるインフラストラクチャの制御は限定的です。
cosine

euclidean

dot-product
ANN 一般提供

次のステップ