이 튜토리얼에서는 Eventarc를 사용하여 공개 BigQuery 데이터 세트에 대한 쿼리를 예약하고 데이터를 기반으로 차트를 생성하고 이메일을 통해 차트에 대한 링크를 공유하는 처리 파이프라인을 빌드하는 방법을 보여줍니다.
목표
이 튜토리얼에서는 인증되지 않은 액세스를 허용하고 Eventarc를 사용하여 이벤트를 수신하는 세 가지 Cloud Run 서비스를 빌드하고 배포합니다.
- Query Runner—Cloud Scheduler 작업에서 Pub/Sub 주제에 메시지를 게시하면 트리거되며 이 서비스는 BigQuery API를 사용하여 공개 코로나19 데이터 세트에서 데이터를 검색하고 결과를 새 BigQuery 테이블에 저장합니다.
- Chart Creator—Query Runner 서비스가 Pub/Sub 주제에 메시지를 게시할 때 트리거되며, 이 서비스는 Python 표시 라이브러리인 매트플롯립을 사용하여 차트를 Cloud Storage 버킷에 저장합니다.
- Notifier—Chart Creator 서비스가 Cloud Storage 버킷에 차트를 저장할 때 감사 로그에 의해 트리거되는 이 서비스는 이메일 서비스인 SendGrid를 사용하여 차트의 링크를 이메일 주소로 보냅니다.
다음 다이어그램은 대략적인 아키텍처를 보여줍니다.
비용
이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.
프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요.
시작하기 전에
조직에서 정의한 보안 제약조건으로 인해 다음 단계를 완료하지 못할 수 있습니다. 문제 해결 정보는 제한된 Google Cloud 환경에서 애플리케이션 개발을 참조하세요.
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Scheduler, Eventarc, and Pub/Sub APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com cloudscheduler.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com - Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_ID
with a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_ID
with your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Run, Cloud Scheduler, Eventarc, and Pub/Sub APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com cloudscheduler.googleapis.com eventarc.googleapis.com logging.googleapis.com pubsub.googleapis.com run.googleapis.com - Cloud Storage의 경우
ADMIN_READ
,DATA_WRITE
,DATA_READ
데이터 액세스 유형에 감사 로깅을 사용 설정합니다.- Google Cloud 프로젝트, 폴더 또는 조직과 관련된 Identity and Access Management(IAM) 정책을 읽고 임시 파일에 저장합니다.
gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml
- 텍스트 편집기에서
/tmp/policy.yaml
을 열고auditConfigs
섹션의 감사 로그 구성만 추가하거나 변경합니다.auditConfigs: - auditLogConfigs: - logType: ADMIN_READ - logType: DATA_WRITE - logType: DATA_READ service: storage.googleapis.com bindings: - members: [...] etag: BwW_bHKTV5U= version: 1
- 다음과 같이 새 IAM 정책을 씁니다.
gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml
앞의 명령어가 다른 변경사항과의 충돌을 보고할 경우 이 단계를 반복하면서 IAM 정책 읽기를 시작합니다. 자세한 내용은 API로 데이터 액세스 감사 로그 구성을 참조하세요.
- Google Cloud 프로젝트, 폴더 또는 조직과 관련된 Identity and Access Management(IAM) 정책을 읽고 임시 파일에 저장합니다.
- Compute Engine 서비스 계정에
eventarc.eventReceiver
역할을 부여합니다.export PROJECT_NUMBER="$(gcloud projects describe $(gcloud config get-value project) --format='value(projectNumber)')" gcloud projects add-iam-policy-binding $(gcloud config get-value project) \ --member=serviceAccount:${PROJECT_NUMBER}-compute@developer.gserviceaccount.com \ --role='roles/eventarc.eventReceiver'
- 2021년 4월 8일 이전에 Pub/Sub 서비스 계정을 사용 설정한 경우 Pub/Sub 서비스 계정에
iam.serviceAccountTokenCreator
역할을 부여합니다.gcloud projects add-iam-policy-binding $(gcloud config get-value project) \ --member="serviceAccount:service-${PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com"\ --role='roles/iam.serviceAccountTokenCreator'
- 이 튜토리얼에서 사용되는 기본값을 설정합니다.
export REGION=REGION gcloud config set run/region ${REGION} gcloud config set run/platform managed gcloud config set eventarc/location ${REGION}
REGION
을 지원되는 Eventarc 위치 중 원하는 위치로 바꿉니다.
SendGrid API 키 만들기
SendGrid는 이메일 서버를 유지관리하지 않고도 이메일을 전송할 수 있는 클라우드 기반 이메일 제공업체입니다.
- SendGrid에 로그인하고 Settings(설정) > API Keys(API 키)로 이동합니다.
- API 키 만들기를 클릭합니다.
- 키의 권한을 선택합니다. 키에는 최소한 이메일을 전송할 수 있는 Mail send 권한이 필요합니다.
- 키 이름을 지정하고 키를 만들려면 저장을 클릭합니다.
- SendGrid에서 새로운 키가 생성됩니다. 이 키는 키의 유일한 사본이므로 나중을 위해 키를 복사하여 저장해 두세요.
Artifact Registry 표준 저장소 만들기
Docker 컨테이너 이미지를 저장할 Artifact Registry 표준 저장소를 만듭니다.
gcloud artifacts repositories create REPOSITORY \ --repository-format=docker \ --location=$REGION
REPOSITORY
를 저장소의 고유한 이름으로 바꿉니다.
Cloud Storage 버킷 만들기
고유한 Cloud Storage 버킷을 만들어 차트를 저장합니다. 버킷 및 차트를 공개적으로 사용할 수 있는지, Cloud Run 서비스와 동일한 리전에 있는지 확인합니다.
export BUCKET="$(gcloud config get-value core/project)-charts" gcloud storage buckets create gs://${BUCKET} --location=$(gcloud config get-value run/region) --uniform-bucket-level-access gcloud storage buckets add-iam-policy-binding gs://${BUCKET} --member=allUsers --role=roles/storage.objectViewer
Notifier 서비스 배포
Chart Creator 이벤트를 수신하고 SendGrid를 사용하여 생성된 차트의 링크를 이메일로 전송하는 Cloud Run 서비스를 배포합니다.
GitHub 저장소를 클론하고
notifier/python
디렉터리로 변경합니다.git clone https://github.com/GoogleCloudPlatform/eventarc-samples cd eventarc-samples/processing-pipelines/bigquery/notifier/python/
컨테이너 이미지 빌드 및 푸시:
export SERVICE_NAME=notifier docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 . docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1
컨테이너 이미지를 Cloud Run에 배포하고 이메일을 전송할 주소와 SendGrid API 키를 전달합니다.
export TO_EMAILS=EMAIL_ADDRESS export SENDGRID_API_KEY=YOUR_SENDGRID_API_KEY gcloud run deploy ${SERVICE_NAME} \ --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars TO_EMAILS=${TO_EMAILS},SENDGRID_API_KEY=${SENDGRID_API_KEY},BUCKET=${BUCKET} \ --allow-unauthenticated
다음을 바꿉니다.
EMAIL_ADDRESS
를 생성된 차트로 연결되는 링크를 보내기 위한 이메일 주소로 바꿉니다.YOUR_SENDGRID_API_KEY
를 앞에서 기록한 SendGrid API 키로 바꿉니다.
서비스 URL이 표시되면 배포가 완료된 것입니다.
Notifier 서비스의 트리거 만들기
methodName
이 storage.objects.create
인 Cloud Storage 감사 로그의 Cloud Run 필터에 배포된 Notifier 서비스의 Eventarc 트리거입니다.
트리거를 만듭니다.
gcloud eventarc triggers create trigger-${SERVICE_NAME} \ --destination-run-service=${SERVICE_NAME} \ --destination-run-region=${REGION} \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=storage.googleapis.com" \ --event-filters="methodName=storage.objects.create" \ --service-account=${PROJECT_NUMBER}-compute@developer.gserviceaccount.com
그러면
trigger-notifier
라는 트리거가 생성됩니다.
Chart Creator 서비스 배포
Query Runner 이벤트를 수신하고 특정 국가의 BigQuery 테이블에서 데이터를 검색한 다음 데이터에서 매트플롯립을 사용하여 차트를 생성하는 Cloud Run 서비스를 배포합니다. 차트가 Cloud Storage 버킷에 업로드됩니다.
chart-creator/python
디렉터리로 변경합니다.cd ../../chart-creator/python
컨테이너 이미지 빌드 및 푸시:
export SERVICE_NAME=chart-creator docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 . docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1
BUCKET
을 전달하여 컨테이너 이미지를 Cloud Run에 배포합니다.gcloud run deploy ${SERVICE_NAME} \ --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars BUCKET=${BUCKET} \ --allow-unauthenticated
서비스 URL이 표시되면 배포가 완료된 것입니다.
Chart Creator 서비스의 트리거 만들기
Cloud Run에 배포된 Chart Creator 서비스의 Eventarc 트리거는 Pub/Sub 주제에 게시된 메시지를 필터링합니다.
트리거를 만듭니다.
gcloud eventarc triggers create trigger-${SERVICE_NAME} \ --destination-run-service=${SERVICE_NAME} \ --destination-run-region=${REGION} \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished"
그러면
trigger-chart-creator
라는 트리거가 생성됩니다.Pub/Sub 주제 환경 변수를 설정합니다.
export TOPIC_QUERY_COMPLETED=$(basename $(gcloud eventarc triggers describe trigger-${SERVICE_NAME} --format='value(transport.pubsub.topic)'))
Query Runner 서비스 배포
Cloud Scheduler 이벤트를 수신하고, 공개 코로나19 데이터 세트에서 데이터를 검색하고, 결과를 새 BigQuery 테이블에 저장하는 Cloud Run 서비스를 배포합니다.
processing-pipelines
디렉터리로 변경합니다.cd ../../..
컨테이너 이미지 빌드 및 푸시:
export SERVICE_NAME=query-runner docker build -t $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 -f Dockerfile . docker push $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1
PROJECT_ID
및TOPIC_QUERY_COMPLETED
를 전달하여 컨테이너 이미지를 Cloud Run에 배포합니다.gcloud run deploy ${SERVICE_NAME} \ --image $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars PROJECT_ID=$(gcloud config get-value project),TOPIC_ID=${TOPIC_QUERY_COMPLETED} \ --allow-unauthenticated
서비스 URL이 표시되면 배포가 완료된 것입니다.
Query Runner 서비스의 트리거 만들기
Cloud Run에 배포된 Query Runner 서비스의 Eventarc 트리거는 Pub/Sub 주제에 게시된 메시지를 필터링합니다.
트리거를 만듭니다.
gcloud eventarc triggers create trigger-${SERVICE_NAME} \ --destination-run-service=${SERVICE_NAME} \ --destination-run-region=${REGION} \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished"
그러면
trigger-query-runner
라는 트리거가 생성됩니다.Pub/Sub 주제의 환경 변수를 설정합니다.
export TOPIC_QUERY_SCHEDULED=$(gcloud eventarc triggers describe trigger-${SERVICE_NAME} --format='value(transport.pubsub.topic)')
작업 예약
처리 파이프라인은 두 개의 Cloud Scheduler 작업에 의해 트리거됩니다.
Cloud Scheduler에 필요한 App Engine 앱을 만들고 적절한 위치를 지정합니다.
export APP_ENGINE_LOCATION=LOCATION gcloud app create --region=${APP_ENGINE_LOCATION}
Pub/Sub 주제에 하루에 한 번 게시하는 Cloud Scheduler 작업 두 개를 만듭니다.
gcloud scheduler jobs create pubsub cre-scheduler-uk \ --schedule="0 16 * * *" \ --topic=${TOPIC_QUERY_SCHEDULED} \ --message-body="United Kingdom"
gcloud scheduler jobs create pubsub cre-scheduler-cy \ --schedule="0 17 * * *" \ --topic=${TOPIC_QUERY_SCHEDULED} \ --message-body="Cyprus"
일정은 unix-cron 형식으로 지정됩니다. 예를 들어
0 16 * * *
는 작업이 매일 UTC 16:00(오후 4시)에 실행됨을 의미합니다.
파이프라인 실행
먼저 모든 트리거가 성공적으로 생성되었는지 확인합니다.
gcloud eventarc triggers list
출력은 다음과 비슷하게 표시됩니다.
NAME: trigger-chart-creator TYPE: google.cloud.pubsub.topic.v1.messagePublished DESTINATION: Cloud Run service: chart-creator ACTIVE: Yes LOCATION: us-central1 NAME: trigger-notifier TYPE: google.cloud.audit.log.v1.written DESTINATION: Cloud Run service: notifier ACTIVE: Yes LOCATION: us-central1 NAME: trigger-query-runner TYPE: google.cloud.pubsub.topic.v1.messagePublished DESTINATION: Cloud Run service: query-runner ACTIVE: Yes LOCATION: us-central1
Cloud Scheduler 작업 ID를 검색합니다.
gcloud scheduler jobs list
출력은 다음과 비슷하게 표시됩니다.
ID LOCATION SCHEDULE (TZ) TARGET_TYPE STATE cre-scheduler-cy us-central1 0 17 * * * (Etc/UTC) Pub/Sub ENABLED cre-scheduler-uk us-central1 0 16 * * * (Etc/UTC) Pub/Sub ENABLED
작업이 매일 오후 4시, 5시에 실행되도록 예약되어 있지만 Cloud Scheduler 작업을 수동으로 실행할 수도 있습니다.
gcloud scheduler jobs run cre-scheduler-cy gcloud scheduler jobs run cre-scheduler-uk
몇 분 후 Cloud Storage 버킷에 차트가 두 개 있는지 확인합니다.
gcloud storage ls gs://${BUCKET}
출력은 다음과 비슷하게 표시됩니다.
gs://BUCKET/chart-cyprus.png gs://BUCKET/chart-unitedkingdom.png
수고하셨습니다 차트 링크가 포함된 2개의 이메일도 받게 됩니다.
삭제
이 튜토리얼용으로 새 프로젝트를 만든 경우 이 프로젝트를 삭제합니다. 기존 프로젝트를 사용한 경우 이 튜토리얼에 추가된 변경사항은 제외하고 보존하려면 튜토리얼용으로 만든 리소스를 삭제합니다.
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
튜토리얼 리소스 삭제
이 튜토리얼에서 배포한 Cloud Run 서비스를 삭제합니다.
gcloud run services delete SERVICE_NAME
여기서
SERVICE_NAME
은 선택한 서비스 이름입니다.Google Cloud 콘솔에서 Cloud Run 서비스를 삭제할 수도 있습니다.
튜토리얼 설정 중에 추가한 Google Cloud CLI 기본 구성을 삭제합니다.
gcloud config unset project gcloud config unset run/region gcloud config unset run/platform gcloud config unset eventarc/location
이 튜토리얼에서 만든 Eventarc 트리거를 삭제합니다.
gcloud eventarc triggers delete TRIGGER_NAME
TRIGGER_NAME
을 트리거의 이름으로 바꿉니다.Artifact Registry에서 이미지를 삭제합니다.
gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/notifier:v1 gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/chart-creator:v1 gcloud artifacts docker images delete $REGION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/query-runner:v1
버킷 내에 있는 모든 객체와 함께 버킷을 삭제합니다.
gcloud storage rm --recursive gs://${BUCKET}/
Cloud Scheduler 작업을 삭제합니다.
gcloud scheduler jobs delete cre-scheduler-cy gcloud scheduler jobs delete cre-scheduler-uk