RAG Engine で Vertex AI ベクトル検索を使用する

このページでは、RAG Engine を Vertex AI ベクトル検索に接続する方法について説明します。

RAG Engine は、Spanner を搭載した組み込みベクトルデータベースを使用して、テキストドキュメントのベクトル表現の保存と管理を行う強力なツールです。ベクトルデータベースを使用すると、指定されたクエリに対するドキュメントの意味的な類似性に基づいて、関連するドキュメントを効率的に取得できます。Vertex AI ベクトル検索を追加のベクトルデータベースとして RAG Engine と統合することで、ベクトル検索の機能を使用して低レイテンシで大量のデータを処理し、RAG アプリケーションのパフォーマンスとスケーラビリティを向上させることができます。

Vertex AI ベクトル検索の設定

Vertex AI ベクトル検索は、Google Research が開発したベクトル検索技術をベースにしています。ベクトル検索では、Google 検索、YouTube、Google Play などの Google プロダクトの基盤と同じインフラストラクチャを利用できます。

RAG Engine と統合するには、空のベクトル検索インデックスが必要です。

Vertex AI SDK を設定する

RAG アプリケーション用の Vertex AI Vector Search インスタンスを準備する手順は次のとおりです。

Vertex AI SDK を設定するには、設定をご覧ください。

環境変数を次のように設定します。

PROJECT_ID=YOUR_PROJECT_ID
LOCATION=YOUR_LOCATION_ID

省略可: Vertex AI Workbench を使用している場合は、事前に認証されているため、この手順は必要ありません。それ以外の場合は、ノートブックを実行するために、次のセル認証を実行する必要があります。
```
# If it's Colab runtime, authenticate the user with Google Cloud
if "google.colab" in sys.modules:
    from google.colab import auth

    auth.authenticate_user()
```
次のコマンドを入力して API を有効にします。

! gcloud services enable compute.googleapis.com aiplatform.googleapis.com --project "{PROJECT_ID}"

`aiplatform` SDK を初期化する

aiplatform SDK を初期化するには、次の操作を行います。

# init the aiplatform package
from google.cloud import aiplatform
aiplatform.init(project=PROJECT_ID, location=LOCATION)

ベクトル検索インデックスを作成する

RAG コーパスと互換性のあるベクトル検索インデックスを作成するには、インデックスが次の条件を満たしている必要があります。

IndexUpdateMethod は STREAM_UPDATE にする必要があります。ストリームインデックスを作成するをご覧ください。
距離の測定タイプは、次のいずれかに明示的に設定する必要があります。
- DOT_PRODUCT_DISTANCE
- COSINE_DISTANCE
ベクトルのディメンションは、RAG コーパスで使用するエンベディングモデルと一致している必要があります。その他のパラメータは、選択内容に基づいてチューニングできます。選択内容によって、追加のパラメータをチューニングできるかどうかが決まります。

# create the index
my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
    display_name="your-display-name",
    description="your-description",
    dimensions=768,
    approximate_neighbors_count=10,
    leaf_node_embedding_count=500,
    leaf_nodes_to_search_percent=7,
    distance_measure_type="DOT_PRODUCT_DISTANCE",
    feature_norm_type="UNIT_L2_NORM",
    index_update_method="STREAM_UPDATE",
)

ベクトル検索インデックスエンドポイントを作成する

パブリックエンドポイントは RAG Engine でサポートされています。

# create IndexEndpoint
my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
    display_name="your-display-name", public_endpoint_enabled=True
)

インデックスをインデックスエンドポイントにデプロイする

最近傍検索を行う前に、インデックスをインデックスエンドポイントにデプロイする必要があります。

DEPLOYED_INDEX_ID="YOUR_DEPLOYED_INDEX_ID"

my_index_endpoint.deploy_index(index=my_index, deployed_index_id=DEPLOYED_INDEX_ID)

インデックスをインデックスエンドポイントに初めてデプロイする場合は、バックエンドを自動的にビルドして起動するまでに 30 分ほどかかります。その後、インデックスを保存できます。最初のデプロイ後、インデックスは数秒で準備が整います。インデックスのデプロイステータスを確認するには、ベクトル検索コンソールを開き、[インデックスエンドポイント] タブを選択して、インデックスエンドポイントを選択します。

インデックスとインデックスエンドポイントのリソース名を特定します。形式は次のとおりです。

projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexes/${INDEX_ID}
projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexEndpoints/${INDEX_ENDPOINT_ID}。

リソース名がわからない場合は、次のコマンドを使用して確認します。

print(my_index_endpoint.resource_name)
print(my_index.resource_name)