BigQuery テーブルにイベントを公開する

BigQuery テーブルにイベントを公開する

詳細設定

このクイックスタートでは、 Google Cloudプロジェクトで Eventarc Advanced バスを作成して登録し、イベント メッセージをパブリッシュして受信する方法について説明します。

• バスを使用すると、システム内のメッセージ フローを一元化し、ルーターとして機能します。メッセージ ソースからイベント メッセージを受信するか、プロバイダによって公開されたイベント メッセージを受信し、登録に従って評価します。

• 登録は、特定のバスへのサブスクリプションを識別し、メッセージの一致条件を定義します。これにより、メッセージは 1 つ以上の宛先にルーティングされます。

このクイックスタートでは、以下の操作を行います。

1. BigQuery テーブルを作成します。

2. Eventarc Advanced バスを作成します。

3. Eventarc Advanced 登録を作成します。

4. イベント メッセージをバスにパブリッシュします。

5. BigQuery テーブルでイベントデータを表示します。

このクイックスタートでは、gcloud CLI と bq コマンドライン ツールを使用します。

始める前に

組織で定義されているセキュリティの制約により、次の手順を完了できない場合があります。トラブルシューティング情報については、制約のある Google Cloud 環境でアプリケーションを開発するをご覧ください。

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

外部 ID プロバイダ（IdP）を使用している場合は、まずフェデレーション ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Install the Google Cloud CLI.

外部 ID プロバイダ（IdP）を使用している場合は、まずフェデレーション ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

Create or select a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

• Create a Google Cloud project:

  gcloud projects create PROJECT_ID

  Replace PROJECT_ID with a name for the Google Cloud project you are creating.

• Select the Google Cloud project that you created:

  gcloud config set project PROJECT_ID

  Replace PROJECT_ID with your Google Cloud project name.

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Eventarc APIs:

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

1. gcloud コンポーネントを更新します。

   gcloud components update

2. アカウントを使用してログインします。

   gcloud auth login

3. このクイックスタートで使用する構成変数を設定します。

   REGION=REGION

   REGION は、バスのサポートされているロケーション（us-central1 など）に置き換えます。

4. プロジェクト作成者には、基本オーナーロール（roles/owner）が付与されます。デフォルトでは、この Identity and Access Management（IAM）ロールには、ほとんどの Google Cloudリソースへのフルアクセスに必要な権限が含まれており、この手順は省略できます。

   プロジェクト作成者でない場合は、プロジェクトで適切なプリンシパルに必要な権限を付与する必要があります。プリンシパルは Google アカウント（エンドユーザーの場合）やサービス アカウント（アプリケーションとコンピューティング ワークロードの場合）になることもあります。

   必要な権限

   このクイックスタートを完了するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

   • BigQuery データ編集者（roles/bigquery.dataEditor）
   • Eventarc デベロッパー （roles/eventarc.developer）
   • Eventarc メッセージバス管理者 （roles/eventarc.messageBusAdmin）
   • ログ表示アクセス者（roles/logging.viewAccessor）
   • プロジェクト IAM 管理者（roles/resourcemanager.projectIamAdmin）
   • サービス アカウント管理者（roles/iam.serviceAccountAdmin）
   • サービス アカウント ユーザー（roles/iam.serviceAccountUser）
   • Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）

   ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

   必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

5. Eventarc Advanced に BigQuery テーブルのプロパティを更新するために必要な権限を付与するには、 Google Cloud プロジェクトの BigQuery データ編集者（roles/bigquery.dataEditor）IAM ロールをサービス アカウントに付与するよう管理者に依頼します。
   1. サービス アカウントを作成します。テスト目的で、このサービス アカウントを Eventarc Advanced パイプラインに関連付けて、パイプラインの ID を示します。

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      SERVICE_ACCOUNT_NAME をサービス アカウントの名前に置き換えます。
   2. サービス アカウントに roles/bigquery.dataEditor IAM ロールを付与します。

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
          --role=roles/bigquery.dataEditor

BigQuery テーブルを作成する

イベントの宛先として BigQuery テーブルを作成します。Pub/Sub トピック、Workflows、別の HTTP エンドポイントなど、他のイベントの宛先もサポートされています。詳細については、イベント プロバイダと宛先をご覧ください。

BigQuery テーブルを作成する前に、テーブルの最上位コンテナとして機能するデータセットとテーブル スキーマを作成します。

1. 新しいデータセットを作成するには、--dataset フラグを指定して bq mk コマンドを使用します。

   bq --location=$REGION mk --dataset DATASET_ID

   DATASET_ID は、BigQuery データセットの一意の名前に置き換えます（my_dataset など）。

2. ターミナルで、my-schema.json という名前の新しいファイルを作成します。

3. 次のスキーマをコピーして新しいファイルに貼り付け、ファイルを保存します。

   [
       {
           "name": "name",
           "type": "STRING",
           "mode": "REQUIRED"
       },
       {
           "name": "age",
           "type": "INTEGER",
           "mode": "NULLABLE"
       }
   ]

4. テーブルを作成するには、--table フラグを指定して bq mk コマンドを使用します。

   bq mk --table PROJECT_ID:DATASET_ID.TABLE_ID my-schema.json

   TABLE_ID は、BigQuery テーブルの一意の名前に置き換えます（my-table など）。

Eventarc Advanced バスを作成する

バスは、メッセージ ソースからイベント メッセージを受信するか、プロバイダによって公開されたイベント メッセージを受信し、メッセージ ルーターとして機能します。

詳細については、メッセージを転送するバスを作成するをご覧ください。

注: サポートされているリージョンごとに、 Google Cloud プロジェクトごとに 1 つのバスを作成できます。

gcloud eventarc message-buses create コマンドを使用して、プロジェクトに Eventarc Advanced バスを作成します。

gcloud eventarc message-buses create BUS_NAME \
    --location=$REGION

BUS_NAME は、バスの ID または完全修飾名（my-bus など）に置き換えます。

Eventarc Advanced の登録を作成する

登録により、宛先にルーティングされるメッセージが決定され、イベント メッセージの宛先を構成するために使用されるパイプラインも指定されます。この場合、ターゲット宛先は BigQuery API エンドポイントです。

詳細については、イベントを受信する登録を作成するをご覧ください。

注: パイプラインの作成には 10 分以上かかる場合があります。

gcloud CLI を使用する場合は、まずパイプラインを作成してから登録を作成します。

1. gcloud eventarc pipelines create コマンドを使用してパイプラインを作成します。

   gcloud eventarc pipelines create PIPELINE_NAME \
       --destinations=http_endpoint_uri='https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID/insertAll',http_endpoint_message_binding_template='{"headers": headers.merge({"content-type":"application/json"}), "body": {"rows":[{"json":message.data}]}}',oauth_token_authentication_service_account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
       --input-payload-format-json= \
       --location=$REGION

   PIPELINE_NAME は、パイプラインの ID または完全修飾名（例: my-pipeline）に置き換えます。

   次の点にご注意ください。

   • http_endpoint_message_binding_template キーは、API で想定される形式にイベントを変換します。メッセージ バインディングを定義するときに、ペイロードにアクセスするための入力形式を構成する必要があります。
   • oauth_token_authentication_service_account キーは、サービス アカウントのメールアドレスを指定します。このメールアドレスは OAuth トークンの生成に使用されます。このトークンは通常、*.googleapis.com でホストされている Google API を呼び出す場合にのみ使用します。
   • input-payload-format-json フラグは、パイプラインの入力ペイロード形式が JSON であることを指定します。この形式と一致しないメッセージは、永続エラーとして扱われます。

2. gcloud eventarc enrollments create コマンドを使用して登録を作成します。

   gcloud eventarc enrollments create ENROLLMENT_NAME \
       --cel-match=MATCH_EXPRESSION \
       --destination-pipeline=PIPELINE_NAME \
       --message-bus=BUS_NAME \
       --message-bus-project=PROJECT_ID \
       --location=$REGION

   次のように置き換えます。

   • ENROLLMENT_NAME: 登録の ID または完全修飾名（例: my-enrollment）。

   • MATCH_EXPRESSION: この登録のCEL を使用したマッチング式。例:

     "message.type == 'hello-world-type'"
     

イベント メッセージをバスにパブリッシュする

バスにメッセージを直接パブリッシュするには、gcloud eventarc message-buses publish コマンドを使用するか、Eventarc Publishing REST API にリクエストを送信します。詳細については、イベントを直接パブリッシュするをご覧ください。

メッセージは、イベントデータを一般的な方法で記述するための仕様である CloudEvents 形式である必要があります。data 要素はイベントのペイロードであり、最終的には BigQuery テーブルのスキーマと一致する必要があります。このフィールドには、整形式の JSON を指定できます。CloudEvents コンテキスト属性の詳細については、イベント形式をご覧ください。

以下は、Eventarc Advanced バスにイベントを直接パブリッシュする例です。

例 1

gcloud CLI と --event-data などのイベント属性フラグを使用して、イベントをバスにパブリッシュできます。

gcloud eventarc message-buses publish BUS_NAME \
    --event-data='{"name": "my-name", "age": "20"}' \
    --event-id=hello-world-id-1234 \
    --event-source=hello-world-source \
    --event-type=hello-world-type \
    --event-attributes="datacontenttype=application/json" \
    --location=$REGION

例 2

gcloud CLI と --json-message フラグを使用して、イベントを JSON メッセージとしてバスにパブリッシュできます。

gcloud eventarc message-buses publish BUS_NAME \
    --location=$REGION \
    --json-message='{"id": "hello-world-id-1234", "type":
 "hello-world-type", "source":
 "hello-world-source", "specversion": "1.0", "data":
 {"name": "my-name", "age": "20"}}'

イベントを公開すると、「イベントが正常に公開されました」というメッセージが表示されます。

BigQuery テーブルでイベントデータを表示する

Eventarc Advanced バスにイベントをパブリッシュした後、bq query コマンドを使用して、BigQuery テーブルに新しい行が追加されたことを確認できます。

bq query \
    --use_legacy_sql=false \
    'SELECT
      *
    FROM
      `PROJECT_ID.DATASET_ID.TABLE_ID`
    LIMIT
      10;'

Eventarc Advanced バスと登録が正常に作成され、イベント メッセージがバスに公開され、BigQuery テーブルにクエリを実行して期待どおりの結果が得られたことを確認しました。

クリーンアップ

このクイックスタートに記載されているタスクの完了後、作成したリソースを削除すると、それ以上の請求は発生しません。

1. BigQuery テーブルを削除する。

2. BigQuery データセットを削除します。

3. Eventarc Advanced リソースを削除します。

   1. 登録を削除する。

   2. パイプラインを削除する。

   3. バスを削除する。

また、 Google Cloud プロジェクトを削除して、料金が発生しないようにすることもできます。 Google Cloud プロジェクトを削除すると、そのプロジェクト内で使用されているすべてのリソースに対する課金が停止します。

注意: プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このドキュメントのタスクで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限の超過を回避できます。

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

次のステップ

• Google ソースからイベントを公開する
• イベントを直接公開する
• 受信したイベントを変換する
• 受信したイベントの形式を設定する