Vertex AI RAG Engine で選択できるベクトル データベース

このページでは、Vertex AI RAG Engine でサポートされているベクトル データベースの選択について説明します。また、ベクトル データベース(ベクトル ストア)を RAG コーパスに接続する方法についても説明します。

LLM の一般的な問題は、プライベート データ(組織のデータ)を理解していないことです。Vertex AI RAG Engine を使用すると、追加の非公開情報で LLM のコンテキストを拡充できます。これは、モデルがハルシネーションを低減し、質問に正確に答えることができるためです。

ベクトル データベースは、RAG アプリケーションの検索を可能にするうえで重要な役割を果たします。ベクトル データベースは、ベクトル エンベディングを保存してクエリする専用の方法を提供します。ベクトル エンベディングは、意味的な意味と関係をキャプチャするテキストなどのデータの数学的表現です。ベクトル エンベディングにより、RAG システムは、複雑なクエリや微妙なニュアンスのクエリを処理する場合でも、広大なナレッジベース内で最も関連性の高い情報を迅速かつ正確に見つけることができます。ベクトル データベースをエンベディング モデルと組み合わせると、LLM の制限を克服し、より正確で関連性の高い包括的な回答を提供できます。

サポートされているベクトル データベース

RAG コーパスを作成するときに、Vertex AI RAG Engine はベクトル データベースのデフォルトとして RagManagedDb を提供します。これにより、追加のプロビジョニングや管理は必要ありません。Vertex AI RAG Engine がベクトル データベースを自動的に作成して管理するには、RAG コーパスを作成するをご覧ください。

Vertex AI RAG Engine では、デフォルトの RagManagedDb に加えて、RAG コーパス内で使用するためにベクトル データベースをプロビジョニングして取り込むことができます。この場合、ベクトル データベースのライフサイクルとスケーラビリティはユーザーが責任を負います。

ベクター データベースのオプションを比較する

次の表に、Vertex AI RAG Engine でサポートされているベクトル データベースの選択肢を示します。また、RAG コーパス内でベクトル データベースを使用する方法を説明するページへのリンクも示します。

ニーズに合ったベクトル データベースを特定するには、次の表を使用してベクトル データベース オプションを比較します。

ベクトル データベース 説明 利点 欠点 Vertex AI RAG Engine でサポートされている距離指標 検索のタイプ Vertex AI RAG Engine でステージを起動する 本番環境対応 最適な用途
RagManagedDb (default) RagManagedDb は、整合性と高可用性を提供するリージョン分散スケーラブル データベース サービスです。

RagManagedDb はベクトル検索に使用できます。
  • 設定の必要はありません。クイックスタートと小規模なユースケースに適しています。
  • 一貫性と高可用性。
  • 低レイテンシ。
  • トランザクション ワークロードに最適です。
  • 容量は意図的に制限されています。
  • 大規模なユースケースには推奨されません。
cosine KNN プレビュー
  • 簡単な PoC
  • chatbot
  • RAG アプリ
ベクトル検索 ベクトル検索は、Vertex AI 内のベクトル データベース サービスです。

ベクトル検索は ML タスク用に最適化されており、他の Google Cloud サービスと統合できます。
  • ベクトル検索は、Vertex AI や他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は、 Google Cloud インフラストラクチャによってサポートされています。
  • 従量課金制の料金が適用されます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 機能が進化している新しいサービス。
  • Google Cloudでのベンダー ロックイン。
  • ユースケースによっては費用が高くなる場合があります。
cosine

dot-product
ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • 既存の Google Cloud のお客様、または複数の Google Cloud サービスをご利用になる予定のお客様
Vertex AI Feature Store

Vertex AI Feature Store は、ML の特徴を整理、保存、提供するためのマネージド サービスです。

Vertex AI Feature Store は ML タスク用に最適化されており、他の Google Cloud サービスと統合できます。

  • Vertex AI Feature Store は、Vertex AI や他の Google Cloud サービスと統合されています。
  • スケーラビリティと信頼性は、 Google Cloud インフラストラクチャによってサポートされています。
  • 既存の BigQuery インフラストラクチャを Vertex AI Feature Store として活用し、費用対効果に優れたスケーラブルなソリューションを提供します。
  • 変更がオンライン ストアに反映されるのは、手動同期が実行された後です。
  • Google Cloudでのベンダー ロックイン。
cosine

dot-product

L2 squared
ANN プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • 既存の Google Cloud のお客様、または複数の Google Cloud サービスをご利用になる予定のお客様
Weaviate Weaviate は、柔軟性とモジュラ性に重点を置いたオープンソースのベクトル データベースです。

Weaviate はさまざまなデータ型をサポートし、組み込みのグラフ機能を提供します。
  • Weaviate はオープンソースで、活気のあるコミュニティが提供されています。
  • 柔軟でカスタマイズ性に優れている。
  • テキストや画像など、さまざまなモダリティに対応したさまざまなデータ型とモジュールをサポートしています。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 設定と管理が複雑になる場合があります。
  • パフォーマンスは構成によって異なる場合があります。
cosine

dot-product

L2 squared

hamming

manhattan
ANN + ハイブリッド検索のサポート プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Weaviate の既存のお客様
Pinecone Pinecone は、高パフォーマンスの類似性検索用に設計されたフルマネージドのクラウドネイティブ ベクトル データベースです。
  • すぐに始められる。
  • 優れたスケーラビリティとパフォーマンス。
  • フィルタリングやメタデータ検索などの高度な機能を使用して、ベクトル検索に重点を置きます。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 他の選択肢より高額になる可能性がある。
  • 割り当てと上限は、スケールとパフォーマンスを制限します。
  • 基盤となるインフラストラクチャの制御は限定的です。
cosine

euclidean

dot-product
ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Pinecone の既存のお客様

次のステップ