Ce tutoriel explique comment utiliser Eventarc pour créer un pipeline de traitement qui planifie des requêtes sur un ensemble de données BigQuery public, génère des graphiques basés sur les données et partage des liens vers les graphiques par e-mail.
Objectifs
Dans ce tutoriel, vous allez créer et déployer trois services Knative serving s'exécutant dans un cluster Google Kubernetes Engine (GKE) et qui recevront des événements à l'aide d'Eventarc :
- Exécuteur de requêtes : déclenché lorsque les tâches Cloud Scheduler publient un message dans un sujet Pub/Sub, ce service extrait les données d'un ensemble de données public sur la COVID-19 à l'aide de l'API BigQuery et enregistre les résultats dans une nouvelle table BigQuery.
- Créateur de graphiques : déclenché lorsque le service d'exécution de requêtes publie un message dans un sujet Pub/Sub, ce service génère des graphiques à l'aide de la bibliothèque de traçage Python Matplotlib et les enregistre dans un bucket Cloud Storage.
- Système d'alerte : déclenché par les journaux d'audit lorsque le service de création de graphiques stocke un graphique dans un bucket Cloud Storage, ce service utilise le service de messagerie SendGrid pour envoyer des liens vers les graphiques à une adresse e-mail.
Le schéma suivant illustre l'architecture générale :
Coûts
Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :
- Artifact Registry
- BigQuery
- Cloud Build
- Cloud Scheduler
- Cloud Storage
- Eventarc
- Google Kubernetes Engine
- Pub/Sub
Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.
Avant de commencer
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_IDwith a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_IDwith your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Scheduler, Eventarc, GKE, Pub/Sub, and Resource Manager APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com cloudresourcemanager.googleapis.com cloudscheduler.googleapis.com container.googleapis.com eventarc.googleapis.com pubsub.googleapis.com run.googleapis.com logging.googleapis.com - Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
Create or select a Google Cloud project.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_IDwith a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_IDwith your Google Cloud project name.
-
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Artifact Registry, Cloud Build, Cloud Logging, Cloud Scheduler, Eventarc, GKE, Pub/Sub, and Resource Manager APIs:
gcloud services enable artifactregistry.googleapis.com
cloudbuild.googleapis.com cloudresourcemanager.googleapis.com cloudscheduler.googleapis.com container.googleapis.com eventarc.googleapis.com pubsub.googleapis.com run.googleapis.com logging.googleapis.com - Pour Cloud Storage, activez la journalisation d'audit pour les types d'accès aux données
ADMIN_READ,DATA_WRITEetDATA_READ.- Lisez la stratégie IAM (Identity and Access Management) associée à votre projet, dossier ou organisation Google Cloud, et stockez-la dans un fichier temporaire :
gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml
- Dans un éditeur de texte, ouvrez
/tmp/policy.yaml, puis ajoutez ou modifiez uniquement la configuration du journal d'audit dans la sectionauditConfigs:auditConfigs: - auditLogConfigs: - logType: ADMIN_READ - logType: DATA_WRITE - logType: DATA_READ service: storage.googleapis.com bindings: - members: [...] etag: BwW_bHKTV5U= version: 1
- Rédigez votre nouvelle stratégie IAM :
gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml
Si la commande précédente signale un conflit avec une autre modification, répétez ces étapes en commençant par la lecture de la stratégie IAM. Pour en savoir plus, consultez la page Configurer les journaux d'audit pour l'accès aux données à l'aide de l'API.
- Lisez la stratégie IAM (Identity and Access Management) associée à votre projet, dossier ou organisation Google Cloud, et stockez-la dans un fichier temporaire :
- Définissez les valeurs par défaut utilisées dans ce tutoriel :
CLUSTER_NAME=events-cluster CLUSTER_LOCATION=us-central1 PROJECT_ID=PROJECT_ID gcloud config set project $PROJECT_ID gcloud config set run/region $CLUSTER_LOCATION gcloud config set run/cluster $CLUSTER_NAME gcloud config set run/cluster_location $CLUSTER_LOCATION gcloud config set run/platform gke gcloud config set eventarc/location $CLUSTER_LOCATION
Remplacez
PROJECT_IDpar l'ID du projet.
Créer une clé API SendGrid
SendGrid est un fournisseur de messagerie dans le cloud qui vous permet d'envoyer des e-mails, sans avoir à gérer de serveurs de messagerie.
- Connectez-vous à Sendgrid et accédez à Paramètres > Clés API.
- Cliquez sur Créer la clé API.
- Sélectionnez les autorisations pour la clé. La clé a besoin au minimum de l'autorisation d'envoi d'e-mails pour envoyer des e-mails.
- Cliquez sur Enregistrer pour créer la clé.
- SendGrid génère une nouvelle clé. Il s'agit de la seule copie de la clé. Assurez-vous de la copier et de l'enregistrer pour plus tard.
Créer un cluster GKE
Créez un cluster avec Workload Identity Federation for GKE activé afin qu'il puisse accéder aux services Google Cloud à partir des applications qui s'exécutent dans GKE. Vous avez également besoin de Workload Identity Federation for GKE pour transférer des événements à l'aide d'Eventarc.
Créez un cluster GKE pour Knative serving avec les modules complémentaires
CloudRun,HttpLoadBalancingetHorizontalPodAutoscalingactivés :gcloud beta container clusters create $CLUSTER_NAME \ --addons=HttpLoadBalancing,HorizontalPodAutoscaling,CloudRun \ --machine-type=n1-standard-4 \ --enable-autoscaling --min-nodes=2 --max-nodes=10 \ --no-issue-client-certificate --num-nodes=2 \ --logging=SYSTEM,WORKLOAD \ --monitoring=SYSTEM \ --scopes=cloud-platform,logging-write,monitoring-write,pubsub \ --zone us-central1 \ --release-channel=rapid \ --workload-pool=$PROJECT_ID.svc.id.googAttendez quelques minutes que la création du cluster soit terminée. Au cours du processus, des avertissements peuvent s'afficher, que vous pouvez ignorer en toute sécurité. Une fois le cluster créé, le résultat ressemble à ce qui suit :
Creating cluster ...done. Created [https://container.googleapis.com/v1beta1/projects/my-project/zones/us-central1/clusters/events-cluster].
Créez un dépôt standard Artifact Registry pour stocker votre image de conteneur Docker :
gcloud artifacts repositories create REPOSITORY \ --repository-format=docker \ --location=$CLUSTER_LOCATION
Remplacez
REPOSITORYpar un nom unique pour le dépôt.
Configurer le compte de service GKE
Configurez un compte de service GKE qui servira de compte de service Compute par défaut.
Créez une liaison de gestion de l'authentification et des accès (IAM) entre les comptes de service :
PROJECT_NUMBER="$(gcloud projects describe $(gcloud config get-value project) --format='value(projectNumber)')" gcloud iam service-accounts add-iam-policy-binding \ --role roles/iam.workloadIdentityUser \ --member "serviceAccount:$PROJECT_ID.svc.id.goog[default/default]" \ $PROJECT_NUMBER-compute@developer.gserviceaccount.com
Ajoutez l'annotation
iam.gke.io/gcp-service-accountau compte de service GKE à l'aide de l'adresse e-mail du compte de service Compute :kubectl annotate serviceaccount \ --namespace default \ default \ iam.gke.io/gcp-service-account=$PROJECT_NUMBER-compute@developer.gserviceaccount.com
Activer les destinations GKE
Pour permettre à Eventarc de gérer les ressources du cluster GKE, activez les destinations GKE et liez le compte de service Eventarc aux rôles requis.
Activez les destinations GKE pour Eventarc :
gcloud eventarc gke-destinations init
Lorsque vous êtes invité à lier les rôles requis, saisissez
y.Les rôles suivants sont liés :
roles/compute.viewerroles/container.developerroles/iam.serviceAccountAdmin
Créer un compte de service et des rôles d'accès liés
Avant de créer le déclencheur Eventarc, configurez un compte de service géré par l'utilisateur et attribuez-lui des rôles spécifiques afin qu'Eventarc puisse transférer les événements Pub/Sub.
Créez un compte de service appelé
TRIGGER_GSA:TRIGGER_GSA=eventarc-bigquery-triggers gcloud iam service-accounts create $TRIGGER_GSA
Attribuez les rôles
pubsub.subscriber,monitoring.metricWritereteventarc.eventReceiverau compte de service :PROJECT_ID=$(gcloud config get-value project) gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com" \ --role "roles/pubsub.subscriber" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com" \ --role "roles/monitoring.metricWriter" gcloud projects add-iam-policy-binding $PROJECT_ID \ --member "serviceAccount:$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com" \ --role "roles/eventarc.eventReceiver"
Créer un bucket Cloud Storage
Créez un bucket Cloud Storage pour enregistrer les graphiques. Assurez-vous que le bucket et les graphiques sont accessibles au public, et qu'ils se trouvent dans la même région que votre service GKE :
export BUCKET="$(gcloud config get-value core/project)-charts" gcloud storage buckets create gs://${BUCKET} --location=$(gcloud config get-value run/region) --uniform-bucket-level-access gcloud storage buckets add-iam-policy-binding gs://${BUCKET} --member=allUsers --role=roles/storage.objectViewer
Cloner le dépôt
Clonez le dépôt GitHub.
git clone https://github.com/GoogleCloudPlatform/eventarc-samples cd eventarc-samples/processing-pipelines
Déployer le système d'alerte
À partir du répertoire bigquery/notifier/python, déployez un service Knative serving qui reçoit les événements du service de création de graphiques et utilise SendGrid pour envoyer des liens vers les graphiques générés par e-mail.
Créez et transférez l'image de conteneur :
pushd bigquery/notifier/python export SERVICE_NAME=notifier docker build -t $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 . docker push $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 popd
Déployez l'image de conteneur dans Knative serving, en transmettant une adresse à laquelle envoyer des e-mails et la clé API SendGrid :
export TO_EMAILS=EMAIL_ADDRESS export SENDGRID_API_KEY=YOUR_SENDGRID_API_KEY gcloud run deploy ${SERVICE_NAME} \ --image $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars TO_EMAILS=${TO_EMAILS},SENDGRID_API_KEY=${SENDGRID_API_KEY},BUCKET=${BUCKET}
Remplacez les éléments suivants :
EMAIL_ADDRESS: adresse e-mail à laquelle envoyer les liens vers les graphiques générés.YOUR_SENDGRID_API_KEY: clé API SendGrid que vous avez notée précédemment.
Lorsque l'URL du service s'affiche, cela signifie que le déploiement est terminé.
Créer un déclencheur pour le système d'alerte
Le déclencheur Eventarc du système d'alerte déployé sur Knative serving filtre les journaux d'audit Cloud Storage dont le nom de la méthode est storage.objects.create.
Créez le déclencheur :
gcloud eventarc triggers create trigger-${SERVICE_NAME}-gke \ --destination-gke-cluster=$CLUSTER_NAME \ --destination-gke-location=$CLUSTER_LOCATION \ --destination-gke-namespace=default \ --destination-gke-service=$SERVICE_NAME \ --destination-gke-path=/ \ --event-filters="type=google.cloud.audit.log.v1.written" \ --event-filters="serviceName=storage.googleapis.com" \ --event-filters="methodName=storage.objects.create" \ --service-account=$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com
Cette action crée un déclencheur appelé
trigger-notifier-gke.
Déployer le service de création de graphiques
À partir du répertoire bigquery/chart-creator/python, déployez un service Knative serving qui reçoit les événements de l'exécuteur de requêtes, récupère les données d'une table BigQuery pour un pays spécifique, puis génère un graphique à partir des données à l'aide de Matplotlib. Le graphique est importé dans un bucket Cloud Storage.
Créez et transférez l'image de conteneur :
pushd bigquery/chart-creator/python export SERVICE_NAME=chart-creator docker build -t $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 . docker push $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 popd
Déployez l'image de conteneur sur Knative serving, en transmettant le fichier
BUCKET:gcloud run deploy ${SERVICE_NAME} \ --image $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars BUCKET=${BUCKET}
Lorsque l'URL du service s'affiche, cela signifie que le déploiement est terminé.
Créer un déclencheur pour le service de création de graphiques
Le déclencheur Eventarc du service de création de graphiques déployé sur Knative serving filtre les messages publiés dans un sujet Pub/Sub.
Créez le déclencheur :
gcloud eventarc triggers create trigger-${SERVICE_NAME}-gke \ --destination-gke-cluster=$CLUSTER_NAME \ --destination-gke-location=$CLUSTER_LOCATION \ --destination-gke-namespace=default \ --destination-gke-service=$SERVICE_NAME \ --destination-gke-path=/ \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --service-account=$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com
Cette action crée un déclencheur appelé
trigger-chart-creator-gke.Définissez la variable d'environnement du sujet Pub/Sub.
export TOPIC_QUERY_COMPLETED=$(basename $(gcloud eventarc triggers describe trigger-${SERVICE_NAME}-gke --format='value(transport.pubsub.topic)'))
Déployer le service d'exécution de requêtes
À partir du répertoire processing-pipelines, déployez un service Knative serving qui reçoit les événements de Cloud Scheduler, récupère les données d'un ensemble de données public sur la COVID-19 et enregistre les résultats dans une nouvelle table BigQuery.
Créez et transférez l'image de conteneur :
export SERVICE_NAME=query-runner docker build -t $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 -f Dockerfile . docker push $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1
Déployez l'image de conteneur sur Knative serving, en transmettant
PROJECT_IDetTOPIC_QUERY_COMPLETED:gcloud run deploy ${SERVICE_NAME} \ --image $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/${SERVICE_NAME}:v1 \ --update-env-vars PROJECT_ID=$(gcloud config get-value project),TOPIC_ID=${TOPIC_QUERY_COMPLETED}
Lorsque l'URL du service s'affiche, cela signifie que le déploiement est terminé.
Créer un déclencheur pour le service d'exécution de requêtes
Le déclencheur Eventarc du service d'exécution de requêtes déployé sur Knative serving filtre les messages publiés dans un sujet Pub/Sub.
Créez le déclencheur :
gcloud eventarc triggers create trigger-${SERVICE_NAME}-gke \ --destination-gke-cluster=$CLUSTER_NAME \ --destination-gke-location=$CLUSTER_LOCATION \ --destination-gke-namespace=default \ --destination-gke-service=$SERVICE_NAME \ --destination-gke-path=/ \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \ --service-account=$TRIGGER_GSA@$PROJECT_ID.iam.gserviceaccount.com
Cette action crée un déclencheur appelé
trigger-query-runner-gke.Définissez une variable d'environnement pour le sujet Pub/Sub.
export TOPIC_QUERY_SCHEDULED=$(gcloud eventarc triggers describe trigger-${SERVICE_NAME}-gke --format='value(transport.pubsub.topic)')
Planifier les tâches
Le pipeline de traitement est déclenché par deux tâches Cloud Scheduler.
Créez une application App Engine requise par Cloud Scheduler et spécifiez un emplacement approprié (par exemple,
europe-west) :export APP_ENGINE_LOCATION=LOCATION gcloud app create --region=${APP_ENGINE_LOCATION}
Créez deux tâches Cloud Scheduler qui publient un sujet Pub/Sub une fois par jour :
gcloud scheduler jobs create pubsub cre-scheduler-uk \ --schedule="0 16 * * *" \ --topic=${TOPIC_QUERY_SCHEDULED} \ --message-body="United Kingdom"
gcloud scheduler jobs create pubsub cre-scheduler-cy \ --schedule="0 17 * * *" \ --topic=${TOPIC_QUERY_SCHEDULED} \ --message-body="Cyprus"
La planification est spécifiée au format unix-cron. Par exemple,
0 16 * * *signifie que les tâches s'exécutent tous les jours à 16:00 UTC.
Exécuter le pipeline
Vérifiez que tous les déclencheurs ont bien été créés :
gcloud eventarc triggers list
La sortie devrait ressembler à ce qui suit :
NAME TYPE DESTINATION ACTIVE LOCATION trigger-chart-creator-gke google.cloud.pubsub.topic.v1.messagePublished GKE:chart-creator Yes us-central1 trigger-notifier-gke google.cloud.audit.log.v1.written GKE:notifier Yes us-central1 trigger-query-runner-gke google.cloud.pubsub.topic.v1.messagePublished GKE:query-runner Yes us-central1Récupérez les ID de tâches Cloud Scheduler :
gcloud scheduler jobs list
La sortie devrait ressembler à ce qui suit :
ID LOCATION SCHEDULE (TZ) TARGET_TYPE STATE cre-scheduler-cy us-central1 0 17 * * * (Etc/UTC) Pub/Sub ENABLED cre-scheduler-uk us-central1 0 16 * * * (Etc/UTC) Pub/Sub ENABLEDBien que l'exécution des tâches soit planifiée tous les jours à 16h et 17h, vous pouvez également les exécuter manuellement :
gcloud scheduler jobs run cre-scheduler-cy gcloud scheduler jobs run cre-scheduler-uk
Au bout de quelques minutes, vérifiez que le bucket Cloud Storage contient deux graphiques :
gcloud storage ls gs://${BUCKET}
La sortie devrait ressembler à ce qui suit :
gs://PROJECT_ID-charts/chart-cyprus.png gs://PROJECT_ID-charts/chart-unitedkingdom.png
Félicitations ! Vous devez également recevoir deux e-mails contenant les liens vers les graphiques.
Effectuer un nettoyage
Si vous avez créé un projet pour ce tutoriel, supprimez-le. Si vous avez utilisé un projet existant et que vous souhaitez le conserver sans les modifications du présent tutoriel, supprimez les ressources créées pour ce tutoriel.
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
Supprimer les ressources du tutoriel
Supprimez tous les services Knative serving que vous avez déployés dans ce tutoriel :
gcloud run services delete SERVICE_NAME
Où
SERVICE_NAMEest le nom de service que vous avez choisi.Vous pouvez également supprimer les services Knative serving à partir de la console Google Cloud.
Supprimez tous les déclencheurs Eventarc que vous avez créés dans ce tutoriel :
gcloud eventarc triggers delete TRIGGER_NAME
Remplacez
TRIGGER_NAMEpar le nom de votre déclencheur.Supprimez toute configuration par défaut de Google Cloud CLI que vous avez ajoutée lors de la configuration du tutoriel.
gcloud config unset project gcloud config unset run/cluster gcloud config unset run/cluster_location gcloud config unset run/platform gcloud config unset eventarc/location gcloud config unset compute/zone
Supprimez les images d'Artifact Registry.
gcloud artifacts docker images delete $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/notifier:v1 gcloud artifacts docker images delete $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/chart-creator:v1 gcloud artifacts docker images delete $CLUSTER_LOCATION-docker.pkg.dev/$(gcloud config get-value project)/REPOSITORY/query-runner:v1
Supprimez le bucket, ainsi que tous les objets qu'il contient :
gcloud storage rm --recursive gs://${BUCKET}/Supprimez les jobs Cloud Scheduler :
gcloud scheduler jobs delete cre-scheduler-cy gcloud scheduler jobs delete cre-scheduler-uk