ML.GENERATE_EMBEDDING 関数を使用して動画エンベディングを生成する
このドキュメントでは、Vertex AI エンベディングの基盤モデルを参照する、BigQuery ML のリモートモデルを作成する方法について説明します。次に、そのモデルを ML.GENERATE_EMBEDDING 関数で使用し、BigQuery のオブジェクト テーブルのデータを使用して動画エンベディングを作成します。
必要なロール
接続を作成するには、次の Identity and Access Management（IAM）ロールのメンバーシップが必要です。
roles/bigquery.connectionAdmin
接続のサービス アカウントに権限を付与するには、次の権限が必要です。
resourcemanager.projects.setIamPolicy
BigQuery ML を使用してモデルを作成するには、次の IAM 権限が必要です。
bigquery.jobs.createbigquery.models.createbigquery.models.getDatabigquery.models.updateDatabigquery.models.updateMetadata
推論を実行するには、次の権限が必要です。
- テーブルに対する
bigquery.tables.getData - モデルに対する
bigquery.models.getData bigquery.jobs.create
- テーブルに対する
始める前に
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.
データセットを作成する
ML モデルを保存する BigQuery データセットを作成します。
Google Cloud コンソールで [BigQuery] ページに移動します。
[エクスプローラ] ペインで、プロジェクト名をクリックします。
「アクションを表示」> [データセットを作成] をクリックします。
[データセットを作成する] ページで、次の操作を行います。
[データセット ID] に「
bqml_tutorial」と入力します。[ロケーション タイプ] で [マルチリージョン] を選択してから、[US (米国の複数のリージョン)] を選択します。
一般公開データセットは
USマルチリージョンに保存されています。わかりやすくするため、データセットを同じロケーションに保存します。残りのデフォルトの設定は変更せず、[データセットを作成] をクリックします。
接続を作成する
クラウド リソース接続を作成し、接続のサービス アカウントを取得します。前の手順で作成したデータセットと同じロケーションに接続を作成します。
次のオプションのいずれかを選択します。
コンソール
[BigQuery] ページに移動します。
接続を作成するには、[追加] をクリックし、続いて [外部データソースへの接続] をクリックします。
[接続タイプ] リストで、[Vertex AI リモートモデル、リモート関数、BigLake（Cloud リソース）] を選択します。
[接続 ID] フィールドに接続の名前を入力します。
[接続を作成] をクリックします。
[接続へ移動] をクリックします。
[接続情報] ペインで、次の手順で使用するサービス アカウント ID をコピーします。
bq
コマンドライン環境で接続を作成します。
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
--project_idパラメータは、デフォルト プロジェクトをオーバーライドします。次のように置き換えます。
REGION: 接続のリージョンPROJECT_ID: 実際の Google Cloud プロジェクト IDCONNECTION_ID: 接続の ID
接続リソースを作成すると、BigQuery は、一意のシステム サービス アカウントを作成し、それを接続に関連付けます。
トラブルシューティング: 次の接続エラーが発生した場合は、Google Cloud SDK を更新します。
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
後の手順で使用するため、サービス アカウント ID を取得してコピーします。
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
出力は次のようになります。
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
main.tf ファイルに次のセクションを追加します。
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }
CONNECTION_ID: 接続の IDPROJECT_ID: 実際の Google Cloud プロジェクト IDREGION: 接続のリージョン
サービス アカウントにアクセス権を付与する
接続のサービス アカウントに Vertex AI ユーザーロールを付与します。
リモートモデルの作成時にエンドポイントを URL（endpoint = 'https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/text-embedding-004' など）として指定する場合は、URL に指定するプロジェクト内でこのロールを付与してください。
リモートモデルの作成時にモデル名（endpoint = 'text-embedding-004' など）を使用してエンドポイントを指定する場合は、リモートモデルを作成するプロジェクト内でこのロールを付与してください。
別のプロジェクト内でロールを付与すると、エラー bqcx-1234567890-xxxx@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource が発生します。
ロールを付与する手順は次のとおりです。
コンソール
[IAM と管理] ページに移動します。
[アクセスを許可] をクリックします。
[プリンシパルを追加] ダイアログが開きます。
[新しいプリンシパル] フィールドに、前の手順でコピーしたサービス アカウント ID を入力します。
[ロールを選択] フィールドで、[Vertex AI] を選択し、[Vertex AI ユーザー] を選択します。
[保存] をクリックします。
gcloud
gcloud projects add-iam-policy-binding コマンドを実行します。
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None
次のように置き換えます。
PROJECT_NUMBER: プロジェクトの番号MEMBER: 先ほどコピーしたサービス アカウント ID
オブジェクト テーブルを作成する
動画コンテンツを保存するオブジェクト テーブルを作成します。オブジェクト テーブルを使用すると、Cloud Storage から動画を移動することなく分析できます。
オブジェクト テーブルで使用される Cloud Storage バケットは、モデルを作成し、ML.GENERATE_EMBEDDING 関数を呼び出すプロジェクトに含まれている必要があります。オブジェクト テーブルで使用される Cloud Storage バケットを含むプロジェクトとは異なるプロジェクトで ML.GENERATE_EMBEDDING 関数を呼び出す場合は、service-A@gcp-sa-aiplatform.iam.gserviceaccount.com サービス アカウントにバケットレベルでストレージ管理者ロールを付与する必要があります。
モデルを作成する
Google Cloud コンソールで [BigQuery] ページに移動します。
SQL エディタを使用してリモートモデルを作成します。
CREATE OR REPLACE MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME` REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID` OPTIONS (ENDPOINT = 'ENDPOINT');
次のように置き換えます。
PROJECT_ID: プロジェクト IDDATASET_ID: モデルを格納するデータセットの IDMODEL_NAME: モデルの名前REGION: 接続で使用されるリージョンCONNECTION_ID: BigQuery 接続の IDGoogle Cloud コンソールで接続の詳細を表示する場合、これは [接続 ID] に表示される完全修飾接続 ID の最後のセクションの値です。例:
projects/myproject/locations/connection_location/connections/myconnectionENDPOINT: 使用するエンベディング LLM。この場合はmultimodalembedding@001です。
動画エンベディングを生成する
オブジェクト テーブルの動画データを使用して、ML.GENERATE_EMBEDDING 関数で動画エンベディングを生成します。
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`, TABLE PROJECT_ID.DATASET_ID.TABLE_NAME, STRUCT(FLATTEN_JSON AS flatten_json_output, START_SECOND AS start_second, END_SECOND AS end_second, INTERVAL_SECONDS AS interval_seconds) );
次のように置き換えます。
PROJECT_ID: プロジェクト ID。DATASET_ID: モデルを保存するデータセットの ID。MODEL_NAME:multimodalembedding@001モデルのリモートモデルの名前。TABLE_NAME: 埋め込む動画を含むオブジェクト テーブルの名前。FLATTEN_JSON: エンベディングを別の列にパースするかどうかを示すBOOL値。デフォルト値はTRUEです。START_SECOND: エンベディングを開始する動画の秒数を指定するFLOAT64値。デフォルト値は0です。この値は正の値で、end_second値より小さくする必要があります。END_SECOND: エンベディングを終了する動画の秒数を指定するFLOAT64値。デフォルト値は120です。この値は正の値で、start_second値より大きくする必要があります。INTERVAL_SECONDS: エンベディングの作成時に使用する間隔を指定するFLOAT64値。たとえば、start_second = 0、end_second = 120、interval_seconds = 10を設定すると、動画は 10 秒のセグメント（[0, 10), [10, 20), [20, 30)...）に 12 分割され、各セグメントに対してエンベディングが生成されます。この値は4より大きく、120より小さくする必要があります。デフォルト値は16です。
例
次の例は、videos オブジェクト テーブル内に画像エンベディングを作成する方法を示しています。エンベディングは、各動画の 10 秒目から 40 秒目までの間に 5 秒ごとの間隔で作成されます。
SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `mydataset.embedding_model`, TABLE `mydataset.videos`, STRUCT(TRUE AS flatten_json_output, 10 AS start_second, 40 AS end_second, 5 AS interval_seconds) );