Vertex AI RAG Engine で選択できるベクトル データベース

このページでは、Vertex AI RAG Engine でサポートされているベクトル データベースの選択について説明します。また、ベクトル データベース(ベクトル ストア)を RAG コーパスに接続する方法についても説明します。

LLM の一般的な問題は、プライベート データ(組織のデータ)を理解していないことです。Vertex AI RAG Engine を使用すると、追加の非公開情報で LLM のコンテキストを拡充できます。これは、モデルがハルシネーションを低減し、質問に正確に答えることができるためです。

ベクトル データベースは、RAG アプリケーションの検索を可能にするうえで重要な役割を果たします。ベクトル データベースは、ベクトル エンベディングを保存してクエリする専用の方法を提供します。ベクトル エンベディングは、意味的な意味と関係をキャプチャするテキストなどのデータの数学的表現です。ベクトル エンベディングにより、RAG システムは、複雑なクエリや微妙なニュアンスのクエリを処理する場合でも、広大なナレッジベース内で最も関連性の高い情報を迅速かつ正確に見つけることができます。ベクトル データベースをエンベディング モデルと組み合わせると、LLM の制限を克服し、より正確で関連性の高い包括的な回答を提供できます。

サポートされているベクトル データベース

RAG コーパスを作成するときに、Vertex AI RAG Engine はベクトル データベースのデフォルトとして RagManagedDb を提供します。追加のプロビジョニングや管理は必要ありません。Vertex AI RAG Engine がベクトル データベースを自動的に作成して管理するには、RAG コーパスを作成するをご覧ください。

Vertex AI RAG Engine では、デフォルトの RagManagedDb に加えて、RAG コーパス内で使用するためにベクトル データベースをプロビジョニングして取り込むことができます。この場合、ベクトル データベースのライフサイクルとスケーラビリティはユーザーが責任を負います。

ベクター データベース オプションを比較する

次の表に、Vertex AI RAG Engine でサポートされているベクトル データベースの選択肢を示します。また、RAG コーパス内でベクトル データベースを使用する方法を説明するページへのリンクも示します。

ニーズに合ったベクトル データベースを特定するには、次の表を使用してベクトル データベース オプションを比較します。

ベクトル データベース 説明 利点 欠点 Vertex AI RAG Engine でサポートされている距離指標 検索のタイプ Vertex AI RAG Engine でステージを起動する 本番環境対応 最適な用途
RagManagedDb (default) RagManagedDb は、整合性と高可用性を提供するリージョン分散スケーラブル データベース サービスです。

RagManagedDb はベクトル検索に使用できます。
  • 設定の必要はありません。クイックスタートと小規模なユースケースに適しています。
  • 一貫性と高可用性。
  • 低レイテンシ。
  • トランザクション ワークロードに最適です。
  • 容量は意図的に制限されています。
  • 大規模なユースケースには推奨されません。
cosine KNN プレビュー
  • 簡単な PoC
  • chatbot
  • RAG アプリ
ベクトル検索 Vector Search は、Vertex AI 内のベクトル データベース サービスです。

Vector Search は ML タスク用に最適化されており、他の Google Cloud サービスと統合できます。
  • ベクトル検索は、Vertex AI や他の Google Cloud サービスと統合できます。
  • スケーラビリティと信頼性はインフラストラクチャによってサポートされます。 Google Cloud
  • 従量課金制の料金が適用されます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 機能が進化している新しいサービス。
  • Google Cloudによるベンダー ロックイン。
  • ユースケースによっては費用が高くなる可能性があります。
cosine

dot-product
ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • 既存の Google Cloud お客様、または複数のサービスを使用する予定のある方 Google Cloud
Vertex AI Feature Store

Vertex AI Feature Store は、ML の特徴を整理、保存、提供するためのマネージド サービスです。

Vertex AI Feature Store は ML タスク用に最適化されており、他の Google Cloud サービスと統合できます。

  • Vertex AI Feature Store は、Vertex AI やその他のサービスと統合されています。 Google Cloud
  • スケーラビリティと信頼性はインフラストラクチャによってサポートされます。 Google Cloud
  • 既存の BigQuery インフラストラクチャを Vertex AI Feature Store として活用し、費用対効果の高いスケーラブルなソリューションを提供します。
  • 変更がオンライン ストアに反映されるのは、手動同期が実行された後です。
  • Google Cloudによるベンダー ロックイン。
cosine

dot-product

L2 squared
ANN プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • 既存の Google Cloud お客様、または複数のサービスを利用することを検討しているお客様 Google Cloud
Weaviate Weaviate は、柔軟性とモジュラ性に重点を置いたオープンソースのベクトル データベースです。

Weaviate はさまざまなデータ型をサポートし、組み込みのグラフ機能を提供します。
  • Weaviate はオープンソースであり、活気のあるコミュニティがあります。
  • 柔軟でカスタマイズ性に優れています。
  • テキストや画像など、さまざまなモダリティに対応したさまざまなデータ型とモジュールをサポートしています。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 設定と管理が複雑になる場合があります。
  • パフォーマンスは構成によって異なる場合があります。
cosine

dot-product

L2 squared

hamming

manhattan
ANN + ハイブリッド検索のサポート プレビュー
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Weaviate の既存のお客様
Pinecone Pinecone は、高パフォーマンスの類似性検索用に設計されたフルマネージド クラウドネイティブ ベクトル データベースです。
  • すぐに始められる。
  • 優れたスケーラビリティとパフォーマンス。
  • フィルタリングやメタデータ検索などの高度な機能を使用して、ベクトル検索に重点を置きます。
  • Google Cloud、AWS、Azure などのクラウド プロバイダから選択できます。
  • 結果整合性。つまり、更新はすぐに反映されません。
  • 他の選択肢より高額になる可能性がある。
  • 割り当てと上限は、スケールとパフォーマンスを制限します。
  • 基盤となるインフラストラクチャの制御は限定的です。
cosine

euclidean

dot-product
ANN GA
  • 大量のドキュメント
  • エンタープライズ規模の RAG
  • ベクトル データベース インフラストラクチャの管理
  • Pinecone の既存のお客様

次のステップ