Bigtable to Vertex AI Vector Search テンプレート

Bigtable to Vertex AI Vector Search files on Cloud Storage テンプレートは、Bigtable テーブルからデータを読み取り、JSON 形式で Cloud Storage バケットに書き込むバッチ パイプラインを作成します。このテンプレートはベクトル エンベディングに使用します。

パイプラインの要件

  • Bigtable テーブルが存在している必要があります。
  • パイプラインを実行する前に、出力用の Cloud Storage バケットが存在している必要があります。

テンプレートのパラメータ

必須パラメータ

  • bigtableProjectId: データの読み取り元である Bigtable インスタンスが含まれている Google Cloud プロジェクトの ID。
  • bigtableInstanceId: テーブルが含まれている Bigtable インスタンスの ID。
  • bigtableTableId: 読み取り元の Bigtable テーブルの ID。
  • filenamePrefix: JSON ファイル名の接頭辞。たとえば、「table1-」などです。値を指定しない場合、デフォルトは「part」です。
  • idColumn: ID が保存される列の完全修飾名。形式は cf:col または _key です。
  • embeddingColumn: エンベディングが保存される列の完全修飾名。形式は cf:col または _key です。

オプション パラメータ

  • outputDirectory: 出力 JSON ファイルが保存されている Cloud Storage パス(例: gs://your-bucket/your-path/)。
  • crowdingTagColumn: クラウディング タグが保存される列の完全修飾名。形式は cf:col または _key です。
  • embeddingByteSize: エンベディング配列内の各エントリのバイトサイズ。浮動小数点数の場合は、値 4 を使用します。倍精度の場合は、値 8 を使用します。デフォルトは 4 です。
  • allowRestrictsMappings: 許可制限として使用する列の、カンマ区切りの完全修飾名とそのエイリアス。形式は cf:col->alias です。
  • denyRestrictsMappings: 拒否制限として使用する列の、カンマ区切りの完全修飾名とそのエイリアス。形式は cf:col->alias です。
  • intNumericRestrictsMappings: 整数の numeric_restricts として使用する列の、カンマ区切りの完全修飾名とエイリアス。形式は cf:col->alias です。
  • floatNumericRestrictsMappings: 浮動小数点数(4 バイト)の numeric_restricts として使用する列の、カンマ区切りの完全修飾名とエイリアス。形式は cf:col->alias です。
  • doubleNumericRestrictsMappings: 倍精度(8 バイト)numeric_restricts として使用する列の、カンマ区切りの完全修飾名とエイリアス。形式は cf:col->alias です。
  • bigtableAppProfileId: エクスポートに使用する Cloud Bigtable アプリ プロファイルの ID。デフォルトは default です。

テンプレートを実行する

コンソール

  1. Dataflow の [テンプレートからジョブを作成] ページに移動します。
  2. [テンプレートからジョブを作成] に移動
  3. [ジョブ名] フィールドに、固有のジョブ名を入力します。
  4. (省略可)[リージョン エンドポイント] で、プルダウン メニューから値を選択します。デフォルトのリージョンは us-central1 です。

    Dataflow ジョブを実行できるリージョンのリストについては、Dataflow のロケーションをご覧ください。

  5. [Dataflow テンプレート] プルダウン メニューから、[ the Cloud Bigtable to Vector Embeddings template] を選択します。
  6. 表示されたパラメータ フィールドに、パラメータ値を入力します。
  7. [ジョブを実行] をクリックします。

gcloud CLI

シェルまたはターミナルで、テンプレートを実行します。

gcloud dataflow jobs run JOB_NAME \
    --gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_Vector_Embeddings \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       bigtableProjectId=BIGTABLE_PROJECT_ID,\
       bigtableInstanceId=BIGTABLE_INSTANCE_ID,\
       bigtableTableId=BIGTABLE_TABLE_ID,\
       filenamePrefix=FILENAME_PREFIX,\
       idColumn=ID_COLUMN,\
       embeddingColumn=EMBEDDING_COLUMN,\

次のように置き換えます。

  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。
    • バージョン名(例: 2023-09-12-00_RC00)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
  • REGION_NAME: Dataflow ジョブをデプロイするリージョン(例: us-central1
  • BIGTABLE_PROJECT_ID: プロジェクト ID
  • BIGTABLE_INSTANCE_ID: インスタンス ID
  • BIGTABLE_TABLE_ID: テーブル ID
  • FILENAME_PREFIX: JSON ファイルの接頭辞
  • ID_COLUMN: ID 列
  • EMBEDDING_COLUMN: エンベディング列

API

REST API を使用してテンプレートを実行するには、HTTP POST リクエストを送信します。API とその認証スコープの詳細については、projects.templates.launch をご覧ください。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_Vector_Embeddings
{
   "jobName": "JOB_NAME",
   "parameters": {
     "bigtableProjectId": "BIGTABLE_PROJECT_ID",
     "bigtableInstanceId": "BIGTABLE_INSTANCE_ID",
     "bigtableTableId": "BIGTABLE_TABLE_ID",
     "filenamePrefix": "FILENAME_PREFIX",
     "idColumn": "ID_COLUMN",
     "embeddingColumn": "EMBEDDING_COLUMN",
   },
   "environment": { "maxWorkers": "10" }
}

次のように置き換えます。

  • PROJECT_ID: Dataflow ジョブを実行する Google Cloud プロジェクトの ID
  • JOB_NAME: 一意の任意のジョブ名
  • VERSION: 使用するテンプレートのバージョン

    使用できる値は次のとおりです。

    • latest: 最新バージョンのテンプレートを使用します。このテンプレートは、バケット内で日付のない親フォルダ(gs://dataflow-templates-REGION_NAME/latest/)にあります。
    • バージョン名(例: 2023-09-12-00_RC00)。特定のバージョンのテンプレートを使用します。このテンプレートは、バケット内で対応する日付の親フォルダ(gs://dataflow-templates-REGION_NAME/)にあります。
  • LOCATION: Dataflow ジョブをデプロイするリージョン(例: us-central1
  • BIGTABLE_PROJECT_ID: プロジェクト ID
  • BIGTABLE_INSTANCE_ID: インスタンス ID
  • BIGTABLE_TABLE_ID: テーブル ID
  • FILENAME_PREFIX: JSON ファイルの接頭辞
  • ID_COLUMN: ID 列
  • EMBEDDING_COLUMN: エンベディング列

次のステップ