使用 Eventarc 建立 BigQuery 處理管道

本教學課程說明如何使用 Eventarc 建構處理管道，以便排定查詢公開 BigQuery 資料集的作業、根據資料產生圖表，以及透過電子郵件分享圖表連結。

建立 SendGrid API 金鑰

SendGrid 是一項雲端電子郵件服務，可讓您傳送電子郵件，不必維護電子郵件伺服器。

1. 登入 SendGrid，然後前往「Settings」>「API Keys」。
2. 按一下「建立 API 金鑰」。
3. 選取金鑰的權限。至少必須具備「郵件傳送」權限，才能傳送電子郵件。
4. 為金鑰命名，然後按一下「儲存」即可建立金鑰。
5. SendGrid 會產生一個新金鑰。此為唯一一份金鑰，因此請務必複製並儲存金鑰，以供日後使用。

建立 Artifact Registry 標準存放區

建立 Artifact Registry 標準存放區，用於儲存 Docker 容器映像檔：

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=$REGION

將 REPOSITORY 替換成存放區的專屬名稱。

建立 Cloud Storage 值區

建立不重複的 Cloud Storage bucket，用來儲存圖表。請確認值區和圖表皆為公開資源，且與 Cloud Run 服務位於相同區域：

export BUCKET="$(gcloud config get-value core/project)-charts"
gcloud storage buckets create gs://${BUCKET} --location=$(gcloud config get-value run/region)
gcloud storage buckets update gs://${BUCKET} --uniform-bucket-level-access
gcloud storage buckets add-iam-policy-binding gs://${BUCKET} --member=allUsers --role=roles/storage.objectViewer

部署 Notifier 服務

部署 Cloud Run 服務，接收圖表建立工具事件，並使用 SendGrid 透過電子郵件傳送所產生圖表的連結。

1. 複製 GitHub 存放區並變更為 notifier/python 目錄：

   git clone https://github.com/GoogleCloudPlatform/eventarc-samples
   cd eventarc-samples/processing-pipelines/bigquery/notifier/python/

2. 建構及推送容器映像檔：

   export SERVICE_NAME=notifier
   docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 .
   docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1

3. 將容器映像檔部署到 Cloud Run，並傳遞要傳送電子郵件的地址和 SendGrid API 金鑰：

   export TO_EMAILS=EMAIL_ADDRESS
   export SENDGRID_API_KEY=YOUR_SENDGRID_API_KEY
   gcloud run deploy ${SERVICE_NAME} \
       --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \
       --update-env-vars TO_EMAILS=${TO_EMAILS},SENDGRID_API_KEY=${SENDGRID_API_KEY},BUCKET=${BUCKET} \
       --allow-unauthenticated

   更改下列內容：

   • EMAIL_ADDRESS，並提供電子郵件地址，以便接收生成的圖表連結
   • YOUR_SENDGRID_API_KEY，並替換為您先前記下的 SendGrid API 金鑰

看到服務網址時，表示部署作業已完成。

注意： 權限可能需要幾分鐘才能套用至服務，因此您可能要稍候片刻才能建立觸發條件。

為 Notifier 服務建立觸發條件

部署在 Cloud Run 上的 Notifier 服務的 Eventarc 觸發條件，會篩選 methodName 為 storage.objects.create 的 Cloud Storage 稽核記錄。

1. 建立觸發條件：

   gcloud eventarc triggers create trigger-${SERVICE_NAME} \
       --destination-run-service=${SERVICE_NAME} \
       --destination-run-region=${REGION} \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=storage.googleapis.com" \
       --event-filters="methodName=storage.objects.create" \
       --service-account=${PROJECT_NUMBER}-compute@

   這項操作會建立名為 trigger-notifier 的觸發條件。

部署圖表建立服務

部署 Cloud Run 服務，接收 Query Runner 事件、從特定國家/地區的 BigQuery 資料表擷取資料，然後使用 Matplotlib 從資料產生圖表。圖表會上傳至 Cloud Storage bucket。

1. 切換至 chart-creator/python 目錄：

   cd ../../chart-creator/python

2. 建構及推送容器映像檔：

   export SERVICE_NAME=chart-creator
   docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 .
   docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1

3. 將容器映像檔部署至 Cloud Run，並傳遞 BUCKET：

   gcloud run deploy ${SERVICE_NAME} \
       --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \
       --update-env-vars BUCKET=${BUCKET} \
       --allow-unauthenticated

看到服務網址時，表示部署作業已完成。

為圖表建立工具服務建立觸發條件

部署在 Cloud Run 上的 Chart Creator 服務的 Eventarc 觸發程序，會篩選發布至 Pub/Sub 主題的訊息。

1. 建立觸發條件：

   gcloud eventarc triggers create trigger-${SERVICE_NAME} \
       --destination-run-service=${SERVICE_NAME} \
       --destination-run-region=${REGION} \
       --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished"

   這項操作會建立名為 trigger-chart-creator 的觸發條件。

2. 設定 Pub/Sub 主題環境變數。

   export TOPIC_QUERY_COMPLETED=$(basename $(gcloud eventarc triggers describe trigger-${SERVICE_NAME} --format='value(transport.pubsub.topic)'))

部署 Query Runner 服務

部署 Cloud Run 服務，接收 Cloud Scheduler 事件、從 COVID-19 公開資料集擷取資料，並將結果儲存到新的 BigQuery 資料表。

1. 切換至 processing-pipelines 目錄：

   cd ../../..

2. 建構及推送容器映像檔：

   export SERVICE_NAME=query-runner
   docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 -f Dockerfile .
   docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1

3. 將容器映像檔部署至 Cloud Run，並傳遞 PROJECT_ID 和 TOPIC_QUERY_COMPLETED：

   gcloud run deploy ${SERVICE_NAME} \
       --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \
       --update-env-vars PROJECT_ID=$(gcloud config get-value project),TOPIC_ID=${TOPIC_QUERY_COMPLETED} \
       --allow-unauthenticated

看到服務網址時，表示部署作業已完成。

為 Query Runner 服務建立觸發條件

部署在 Cloud Run 上的 Query Runner 服務的 Eventarc 觸發條件，會篩選發布至 Pub/Sub 主題的訊息。

1. 建立觸發條件：

   gcloud eventarc triggers create trigger-${SERVICE_NAME} \
       --destination-run-service=${SERVICE_NAME} \
       --destination-run-region=${REGION} \
       --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished"

   這項操作會建立名為 trigger-query-runner 的觸發條件。

2. 設定 Pub/Sub 主題的環境變數。

   export TOPIC_QUERY_SCHEDULED=$(gcloud eventarc triggers describe trigger-${SERVICE_NAME} --format='value(transport.pubsub.topic)')

排定工作

處理管道是由兩項 Cloud Scheduler 工作觸發。

1. 建立 Cloud Scheduler 必須使用的 App Engine 應用程式，並指定適當的位置：

   export APP_ENGINE_LOCATION=LOCATION
   gcloud app create --region=${APP_ENGINE_LOCATION}

2. 建立兩項 Cloud Scheduler 工作，每天發布至 Pub/Sub 主題一次：

   gcloud scheduler jobs create pubsub cre-scheduler-uk \
       --schedule="0 16 * * *" \
       --topic=${TOPIC_QUERY_SCHEDULED} \
       --message-body="United Kingdom"

   gcloud scheduler jobs create pubsub cre-scheduler-cy \
       --schedule="0 17 * * *" \
       --topic=${TOPIC_QUERY_SCHEDULED} \
       --message-body="Cyprus"

   排程以 Unix-Cron 格式指定。 舉例來說，0 16 * * * 表示工作每天會在世界標準時間下午 4 點執行。

執行管道

1. 首先，請確認所有觸發條件都已建立成功：

   gcloud eventarc triggers list

   注意： 觸發條件最多可能需要兩分鐘才能正常運作。

   畫面會顯示如下的輸出內容：

   NAME: trigger-chart-creator
   TYPE: google.cloud.pubsub.topic.v1.messagePublished
   DESTINATION: Cloud Run service: chart-creator
   ACTIVE: Yes
   LOCATION: us-central1
   
   NAME: trigger-notifier
   TYPE: google.cloud.audit.log.v1.written
   DESTINATION: Cloud Run service: notifier
   ACTIVE: Yes
   LOCATION: us-central1
   
   NAME: trigger-query-runner
   TYPE: google.cloud.pubsub.topic.v1.messagePublished
   DESTINATION: Cloud Run service: query-runner
   ACTIVE: Yes
   LOCATION: us-central1
   

2. 擷取 Cloud Scheduler 工作 ID：

   gcloud scheduler jobs list

   畫面會顯示如下的輸出內容：

   ID                LOCATION      SCHEDULE (TZ)         TARGET_TYPE  STATE
   cre-scheduler-cy  us-central1   0 17 * * * (Etc/UTC)  Pub/Sub      ENABLED
   cre-scheduler-uk  us-central1   0 16 * * * (Etc/UTC)  Pub/Sub      ENABLED
   

3. 雖然系統已排定工作在每天下午 4 點和 5 點執行，您也可以手動執行 Cloud Scheduler 工作：

   gcloud scheduler jobs run cre-scheduler-cy
   gcloud scheduler jobs run cre-scheduler-uk

4. 幾分鐘後，確認 Cloud Storage bucket 中有兩張圖表：

   gcloud storage ls gs://${BUCKET}

   畫面會顯示如下的輸出內容：

   gs://BUCKET/chart-cyprus.png
   gs://BUCKET/chart-unitedkingdom.png
   

恭喜！您也會收到兩封電子郵件，內含圖表連結。