アプリケーションモダナイゼーション

Eventarc と Cloud Run でクラウドリソースの変更に対応する

2023年1月26日

Google Cloud Japan Team

※この投稿は米国時間 2023 年 1 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

Eventarc と Cloud Run でクラウドリソースの変更に対応する

この投稿では、クラウドインフラストラクチャ内の変更を通知するイベントに Eventarc を使って非同期で対応する方法を取り上げます。また、こうしたイベントへの反応、ダウンストリームのオペレーションの実施ができる基本的な Cloud Run サービスの実装についても説明します。ここでは例として、Apigee の監査ログイベントを使用して Eventarc のイベントをトリガーします。トリガーの仕組みは一般的な GCP の監査ログに基づいているため、監査ログをサポートするあらゆる GCP サービスにもこの事例を簡単に適用できます。

Eventarc とは

クラウドコンピューティングといえばまず思い浮かぶのは、インフラストラクチャの動的な性質です。また、複雑なアーキテクチャでもワンクリックで、あるいは GitOps のパイプラインに PR をマージして簡単にプロビジョニングできる点です。

インフラストラクチャの作成プロセスを簡素化し、プロビジョニングにかかる時間を数日から数分に短縮することで、Google はプロセスとガバナンスの要件を刷新しました。インフラストラクチャの変更へ適切に反応するには、より高度な自動化とレジリエンスが欠かせません。そこで登場するのが Eventarc です。Eventarc を使えば、さまざまな種類のイベントソースからイベントを非同期に配信し、無数のサーバーレスイベントハンドラでこれらに対応できます。

Eventarc では、次のようなさまざまイベントに反応できます。

Cloud Storage、Firebase のアラート、Firebase Remote Config の変更といった直接公開されたイベント
多数の GCP サービスの監査ログエントリ
一般的な Pub/Sub メッセージ
パートナーのソース

サポート対象のイベント一覧はこちらをご覧ください。

こうしたイベントは、Cloud Run、Kubernetes Service、Workflows で処理できます。イベントソースとイベントハンドラの組み合わせは多数存在するため、このデモンストレーションでは監査ログイベントおよび Cloud Run での処理方法を取り上げることとします。利用可能なドキュメントおよびオープンソースの例を参照すれば、このコンセプトをその他の利用可能な組み合わせに簡単に適用できます。

Eventarc ハンドラの定義

このサンプルでの基本アーキテクチャは次の通りです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/1_overview.max-2000x2000.jpg

上図の編集可能版についてはこちらのリンクをご確認ください。

ここでは、Apigee が発行した監査ログを Eventarc で処理したいイベントのソースとして使用します。このイベントはその後、Eventarc が管理する Pub/Sub トピックに追加され、Cloud Run の Node.js サービスで処理されます。

Cloud Run イベントハンドラ

まず、シンプルな Cloud Run サービスで監査ログイベントに反応するサンプルアプリケーションを作成します。これを行うには、eventarc-handler というフォルダと、このフォルダ内に格納する package.json と index.js ファイルを作成します。また、後ほどこれを Cloud Run 用のコンテナとして構築した際に Cloud Build へノードモジュールが送信されないよう、gcloudignore ファイルも作成します。

読み込んでいます...

mkdir eventarc-handler && cd eventarc-handler

cat >package.json <<EOF
{
  "name": "eventarc-handler",
  "description": "Eventarc Demo",
  "version": "1.0.0",
  "private": true,
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "engines": {
    "node": ">=12.0.0"
  },
  "author": "danistrebel",
  "license": "Apache-2.0",
  "dependencies": {
    "express": "^4.17.1",
    "@google/events": "^3.1.0",
    "cloudevents": "^4.0.1"
  }
}
EOF

cat >index.js <<EOF
const { HTTP } = require('cloudevents');
const express = require('express');
const {toLogEntryData} = require('@google/events/cloud/audit/v1/LogEntryData');

const app = express();
app.use(express.json());

app.post('/', async (req, res) => {
    try {
        const cloudEvent = HTTP.toEvent({ headers: req.headers, body: req.body });
        const logEntryData = toLogEntryData(cloudEvent.data);
        console.info('Received EventarcEvent:', logEntryData.protoPayload.methodName);
        console.info(logEntryData);

res.status(200).send('OK');
    } catch (error) {
        console.error('Error in handing Eventarc Event');
        console.error(error);
        res.status(500).send('Internal Error');
    }
});

const port = parseInt(process.env.PORT) || 8080;
app.listen(port, () => {
  console.log("eventarc-handler: listening on port", port);
});
EOF

cat >.gcloudignore <<EOF
node_modules
EOF

必要な Google API を有効にして上記のイベントハンドラを実行対象の Cloud Run サービスとしてデプロイするには、eventarc-handler フォルダ内で次のコードを実行します。

読み込んでいます...

サービスがデプロイされたら、サンプルのクラウドイベントでテストを行うことができます。これを実行するには、Cloud Run サービスの URI を取得して SERVICE_URI（形式: https://eventarc-handler-some-hash.a.run.app）に保存し、サンプルイベントのペイロードを送信する必要があります。このサンプルイベントでは、わかりやすくするためリクエストとレスポンスの詳細が省略されています。実際のクラウドイベントにはさらに詳細な情報が含まれています。

読み込んでいます...

SERVICE_URI=$(gcloud run services describe eventarc-handler --region $REGION --format="value(status.url)") --project $PROJECT_ID

echo $SERVICE_URI

curl -X POST "$SERVICE_URI" \
-H "Authorization: Bearer $(gcloud auth print-identity-token)" \
-H 'Content-Type: application/json' \
-H "ce-id: 1" \
-H "ce-source: //pubsub.googleapis.com/projects/my-apigee-org/topics/my-topic" \
-H "ce-specversion: 1.0" \
-H "ce-type: google.cloud.audit.log.v1.written" \
-H "ce-dataschema: type.googleapis.com/google.logging.v2.LogEntry" \
-H "ce-subject: apigee.googleapis.com/organizations/my-org/developers/somedeveloper@example.com" \
-H "ce-methodname: google.cloud.apigee.v1.SampleResource.SampleMethod" \
-d '{
   "resource": {
     "labels": {
       "service": "apigee.googleapis.com",
       "project_id": "my-apigee-org",
       "method": "google.cloud.apigee.v1.SampleResource.SampleMethod"
     },
     "type": "audited_resource"
   },
   "insertId": "1de11nde7ys3b",
   "timestamp": "2022-08-04T14:56:05.729242115Z",
   "protoPayload": {
     "authenticationInfo": {
       "principalEmail": "someone@example.com"
     },
     "authorizationInfo": [],
     "response": {},
     "serviceName": "apigee.googleapis.com",
     "serviceData": {},
     "request": {},
     "requestMetadata": {},
     "resourceName": "organizations/my-apigee-org/developers/somedeveloper@example.com",
     "methodName": "google.cloud.apigee.v1.SampleResource.SampleMethod"
   },
   "receiveTimestamp": "2022-08-04T14:56:05.729242115Z",
   "logName": "projects/my-apigee-org/logs/cloudaudit.googleapis.com%2Factivity"
}'

Cloud Logging UI または次の gcloud コマンドで Cloud Run ログのクラウドイベントからログステートメントを確認できます。

読み込んでいます...

出力結果に次のログエントリが含まれているはずです。

読み込んでいます...

これでイベントハンドラの準備が整いました。次は取得するイベントに進みます。

監査ログイベントのソース

Eventarc は、Cloud Audit Logs に書き込まれるイベントに反応できます。このサンプルでは Apigee Management API にある特定のメソッドに反応したいので、Apigee サービスの監査ログを有効にする必要があります。これは、こちらに記載した API 経由もしくは GCP UI で行えます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/2_enable_audit_logging.max-2000x2000.jpg

監査ログが想定通り動作していることを確認するため、Apigee UI を開いてプロキシを開きます。その後以下のコマンドを実行して、このアクションに対して監査ログが作成されていることを確認します。

読み込んでいます...

Eventarc で監査ログイベントをイベントハンドラに転送する

これでイベントソースとイベントハンドラのどちらも構成が済んだので、この 2 つのコンポーネントを非同期のイベントデリバリーパイプラインに統合する Eventarc を作成します。

これを行うには、GCP コンソールまたは以下の gcloud コマンドを利用して Eventarc API を有効にします。

読み込んでいます...

サービスを有効にしたら、新規の Eventarc トリガーを作成できます。Cloud コンソールで、次の情報の新規トリガーを作成します（Pub/Sub および Compute のサービスアカウントには、提案されたロールを割り当ててください）。

トリガーの名前: apigee-developer-app

イベントプロバイダ: Apigee

イベント: google.cloud.apigee.v1.DeveloperApps.CreateDeveloperApp

リソース: Any resource

リージョン: global（Apigee コントロールプレーンはグローバルサービスであるため）

サービスアカウント: Compute Engine default service account

イベントの宛先: Cloud Run

Cloud Run サービス: eventarc-handler

サービス URL パス: /

https://storage.googleapis.com/gweb-cloudblog-publish/images/3_create_trigger.max-600x600.jpg

gcloud の場合は以下を参照してください。

読み込んでいます...

PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format="value(projectNumber)")

gcloud projects add-iam-policy-binding $PROJECT_ID     --member=serviceAccount:service-$PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com --role=roles/iam.serviceAccountTokenCreator

gcloud projects add-iam-policy-binding $PROJECT_ID     --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com --role=roles/eventarc.eventReceiver

gcloud projects add-iam-policy-binding $PROJECT_ID     --member=serviceAccount:$PROJECT_NUMBER-compute@developer.gserviceaccount.com --role=roles/run.invoker

gcloud eventarc triggers create apigee-developer-app \
--location=global \
--service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--destination-run-service=eventarc-handler \
--destination-run-region=$REGION \
--destination-run-path="/" \
--event-filters="type=google.cloud.audit.log.v1.written" \
--event-filters="serviceName=apigee.googleapis.com" \
--event-filters="methodName=google.cloud.apigee.v1.DeveloperApps.CreateDeveloperApp" \
--project $PROJECT_ID

Eventarc 用に自動作成された Pub/Sub サブスクリプションを確認します。

読み込んでいます...

これまでに作成し指定した Cloud Run アプリケーションとして push エンドポイントが一覧表示されることを確認します。

エンドツーエンドのバリデーション

同じ Apigee 組織の Apigee UI から、次のリソースを作成できます。

[Publish] > [Developers] から [App Developer] を作成
[Publish] > [Products] から [API Product] を作成
[Publish] > [Apps] から [APP for the Product and Developer] を作成

Cloud Logging UI または次の gcloud コマンドで Cloud Run ログのクラウドイベントからログステートメントを確認できます。

読み込んでいます...

出力結果に次のログエントリが含まれているはずです。

読み込んでいます...

また、Eventarc の実行は Eventarc UI または該当するエクスプローラーの UI で確認できます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/4_metrics_explorer.max-2000x2000.jpg

Apigee 固有の Eventarc ユースケース案

上記のサンプルを参考に Cloud Run サービスを拡張して、さらに便利なダウンストリームアクションをトリガーできます。これにより、クラウドアーキテクチャや Google API が管理するその他のリソースの変更へ非同期に反応できるようになります。

Apigee のコンテキスト内で Eventarc のトリガーを適用可能な例を一部ご紹介します。

開発者アプリの承認フロー
Apigee には、アプリケーションの任意の承認という考えがあります。ここで説明した Eventarc のアーキテクチャを使えば、API プロダクトオーナーによる手動承認が必要な、新規登録された開発者アプリケーションの承認プロセスをトリガーするワークフローを実装できます。まずは、Cloud Logging のアラート、メール、chatbot 経由、または問題追跡ツールでの問題作成から開始します。このアプローチに関する説明は、こちらのコミュニティ投稿をご確認ください。
アプリケーションや開発者の動的な登録
アプリケーションや開発者を管理する Apigee の仕組みは、サードパーティの ID プロバイダ（IdP）と簡単に統合できます。これにより、たとえば Apigee とバックエンドサービスのどちらでも使用できるアクセストークンを作成できます。新規に作成された DeveloperApps で Eventarc のイベントを使用すると、Apigee の認証情報を外部の IdP と同期できます。そのため、外部のアクセストークンが使用されても Apigee の分析データセマンティクスを維持できます。
デベロッパーポータルや API Hub での API プロダクトの自動公開および自動更新
API の公開は API プログラムの重要な側面です。Apigee では、デベロッパーポータルに公開された API のアーティファクトが、API プロダクトに基づきながら疎結合されています。デベロッパーポータルの公開 API と API プロダクトを同期させるため、Eventarc を利用してポータルの API を自動で登録、更新、削除できます。同じ仕組みを Apigee API Hub での API の公開にも適用できます。

まとめ

Eventarc はインフラストラクチャの変更に応じてワークフローをトリガーできるパワフルなサービスです。サポートされているトリガーイベントやイベントハンドラにより、さまざまな自動化プロセスやガバナンスプロセスの実装に適しており、クラウドインフラストラクチャの動的な性質を補完するツールになっています。

まずは、さまざまなイベントタイプやターゲットに合わせて Eventarc を作成する手順を記載したクイックスタートをご確認ください。

- アプリケーションモダナイゼーションソリューションリード Daniel Strebel

サーバーレス

Cloud Run にイベント機能を取り込む Eventarc が一般提供に

イベントを Cloud Run にルーティングできる Eventarc が一般提供になり、新しい機能が追加されました。

執筆者: Google Cloud Japan Team • 所要時間: 2 分

https://storage.googleapis.com/gweb-cloudblog-publish/images/eventarc.max-900x900.jpg

投稿先

https://storage.googleapis.com/gweb-cloudblog-publish/images/Leader_s-Story_yourmystar.max-700x700.jpg

Customers

日本一のフルスタックエンジニア集団を目指すユアマイスターの成長を支える Google Cloud

執筆者: Google Cloud Japan Team • 所要時間: 2 分

https://storage.googleapis.com/gweb-cloudblog-publish/images/pinball.max-700x700.jpg

Application Modernization

フリップアウト: クラウド接続でクラシックなピンボールマシンをモダナイズ

執筆者: Drew Brown • 所要時間: 6 分

Application Modernization

HEART フレームワークによるデベロッパーエクスペリエンスの測定: プラットフォームエンジニア向けガイド

執筆者: Darren Evans • 所要時間: 13 分

Eventarc と Cloud Run でクラウドリソースの変更に対応する

Google Cloud Japan Team

Eventarc と Cloud Run でクラウドリソースの変更に対応する

Eventarc とは

Eventarc ハンドラの定義

Cloud Run イベントハンドラ

監査ログイベントのソース

Eventarc で監査ログイベントをイベントハンドラに転送する

エンドツーエンドのバリデーション

Apigee 固有の Eventarc ユースケース案

まとめ

Cloud Run にイベント機能を取り込む Eventarc が一般提供に

関連記事

日本一のフルスタックエンジニア集団を目指すユアマイスターの成長を支える Google Cloud

フリップアウト: クラウド接続でクラシックなピンボールマシンをモダナイズ

最新のプラットフォーム戦略を立てる 3 つのステップ

HEART フレームワークによるデベロッパーエクスペリエンスの測定: プラットフォームエンジニア向けガイド

Eventarc と Cloud Run でクラウド リソースの変更に対応する

Google Cloud Japan Team

Eventarc と Cloud Run でクラウド リソースの変更に対応する

Eventarc とは

Eventarc ハンドラの定義

Cloud Run イベント ハンドラ

監査ログイベントのソース

Eventarc で監査ログイベントをイベント ハンドラに転送する

エンドツーエンドのバリデーション

Apigee 固有の Eventarc ユースケース案

まとめ

Cloud Run にイベント機能を取り込む Eventarc が一般提供に

関連記事

日本一のフルスタックエンジニア集団を目指すユアマイスターの成長を支える Google Cloud

フリップアウト: クラウド接続でクラシックなピンボール マシンをモダナイズ

最新のプラットフォーム戦略を立てる 3 つのステップ

HEART フレームワークによるデベロッパー エクスペリエンスの測定: プラットフォーム エンジニア向けガイド

Eventarc と Cloud Run でクラウドリソースの変更に対応する

Eventarc と Cloud Run でクラウドリソースの変更に対応する

Cloud Run イベントハンドラ

Eventarc で監査ログイベントをイベントハンドラに転送する

フリップアウト: クラウド接続でクラシックなピンボールマシンをモダナイズ

HEART フレームワークによるデベロッパーエクスペリエンスの測定: プラットフォームエンジニア向けガイド