このページは Cloud Translation API によって翻訳されました。

RAG Engine で Vertex AI ベクトル検索を使用する

このページでは、RAG Engine を Vertex AI ベクトル検索に接続する方法について説明します。

このノートブック Vertex AI ベクトル検索を使用した RAG エンジンを使用して、手順に沿って操作することもできます。

RAG Engine は、Spanner を搭載した組み込みベクトルデータベースを使用して、テキストドキュメントのベクトル表現の保存と管理を行う強力なツールです。ベクトルデータベースを使用すると、指定されたクエリに対するドキュメントの意味的な類似性に基づいて、関連するドキュメントを効率的に取得できます。Vertex AI Vector Search を追加のベクトルデータベースとして RAG Engine と統合することで、Vector Search の機能を使用して低レイテンシでデータ量を処理し、RAG アプリケーションのパフォーマンスとスケーラビリティを向上させることができます。

Vertex AI ベクトル検索の設定

Vertex AI ベクトル検索は、Google Research が開発したベクトル検索技術をベースにしています。ベクトル検索では、Google 検索、YouTube、Google Play などの Google プロダクトの基盤と同じインフラストラクチャを使用できます。

RAG Engine と統合するには、空のベクトル検索インデックスが必要です。

Vertex AI SDK を設定する

Vertex AI SDK を設定するには、設定をご覧ください。

ベクトル検索インデックスを作成する

RAG コーパスと互換性のあるベクトル検索インデックスを作成するには、インデックスが次の条件を満たしている必要があります。

IndexUpdateMethod は STREAM_UPDATE にする必要があります。ストリームインデックスを作成するをご覧ください。
距離の測定タイプは、次のいずれかに明示的に設定する必要があります。
- DOT_PRODUCT_DISTANCE
- COSINE_DISTANCE
ベクトルの次元は、RAG コーパスで使用するエンベディングモデルと一致している必要があります。その他のパラメータは、選択内容に基づいてチューニングできます。選択内容によって、追加のパラメータをチューニングできるかどうかが決まります。

Python

Vertex AI SDK for Python のインストールまたは更新の方法については、Vertex AI SDK for Python をインストールするをご覧ください。詳細については、Python API リファレンスドキュメントをご覧ください。

def vector_search_create_streaming_index(
    project: str, location: str, display_name: str, gcs_uri: Optional[str] = None
) -> aiplatform.MatchingEngineIndex:
    """Create a vector search index.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index display name
        gcs_uri (str): Optional. The Google Cloud Storage uri for index content

    Returns:
        The created MatchingEngineIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index
    index = aiplatform.MatchingEngineIndex.create_tree_ah_index(
        display_name=display_name,
        contents_delta_uri=gcs_uri,
        description="Matching Engine Index",
        dimensions=100,
        approximate_neighbors_count=150,
        leaf_node_embedding_count=500,
        leaf_nodes_to_search_percent=7,
        index_update_method="STREAM_UPDATE",  # Options: STREAM_UPDATE, BATCH_UPDATE
        distance_measure_type=aiplatform.matching_engine.matching_engine_index_config.DistanceMeasureType.DOT_PRODUCT_DISTANCE,
    )

    return index

ベクトル検索インデックスエンドポイントを作成する

パブリックエンドポイントは RAG Engine でサポートされています。

Python

def vector_search_create_index_endpoint(
    project: str, location: str, display_name: str
) -> None:
    """Create a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        display_name (str): Required. The index endpoint display name
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create Index Endpoint
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(
        display_name=display_name,
        public_endpoint_enabled=True,
        description="Matching Engine Index Endpoint",
    )

    print(index_endpoint.name)

インデックスをインデックスエンドポイントにデプロイする

最近傍検索を行う前に、インデックスをインデックスエンドポイントにデプロイする必要があります。

Python

def vector_search_deploy_index(
    project: str,
    location: str,
    index_name: str,
    index_endpoint_name: str,
    deployed_index_id: str,
) -> None:
    """Deploy a vector search index to a vector search index endpoint.

    Args:
        project (str): Required. Project ID
        location (str): Required. The region name
        index_name (str): Required. The index to update. A fully-qualified index
          resource name or a index ID.  Example:
          "projects/123/locations/us-central1/indexes/my_index_id" or
          "my_index_id".
        index_endpoint_name (str): Required. Index endpoint to deploy the index
          to.
        deployed_index_id (str): Required. The user specified ID of the
          DeployedIndex.
    """
    # Initialize the Vertex AI client
    aiplatform.init(project=project, location=location)

    # Create the index instance from an existing index
    index = aiplatform.MatchingEngineIndex(index_name=index_name)

    # Create the index endpoint instance from an existing endpoint.
    index_endpoint = aiplatform.MatchingEngineIndexEndpoint(
        index_endpoint_name=index_endpoint_name
    )

    # Deploy Index to Endpoint
    index_endpoint = index_endpoint.deploy_index(
        index=index, deployed_index_id=deployed_index_id
    )

    print(index_endpoint.deployed_indexes)

インデックスをインデックスエンドポイントに初めてデプロイする場合は、バックエンドを自動的にビルドして起動するまでに 30 分ほどかかります。その後、インデックスを保存できます。最初のデプロイ後、数秒でインデックスの準備が整います。インデックスのデプロイのステータスを確認するには、ベクトル検索コンソールを開き、[インデックスエンドポイント] タブを選択して、インデックスエンドポイントを選択します。

インデックスとインデックスエンドポイントのリソース名を特定します。形式は次のとおりです。

projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexes/${INDEX_ID}
projects/${PROJECT_ID}/locations/${LOCATION_ID}/indexEndpoints/${INDEX_ENDPOINT_ID}。