Acheminer des événements Cloud Storage vers Workflows

Standard

Un déclencheur Eventarc déclare votre intérêt pour un événement ou un ensemble d'événements spécifique. Vous pouvez configurer le routage d'événements en spécifiant des filtres pour le déclencheur, y compris la source de l'événement et le workflow cible.

Les événements sont envoyés au format CloudEvents via une requête HTTP. Le service Workflows convertit l'événement en objet JSON (conformément à la spécification CloudEvents) et transmet l'événement à l'exécution du workflow comme argument d'environnement d'exécution du workflow. Assurez-vous que la taille de l'événement ne dépasse pas 512 Ko. Les événements supérieurs à la taille maximale des arguments Workflows ne déclenchent pas d'exécution de workflow.

Ces instructions vous expliquent comment configurer le routage d'événements afin qu'une exécution de votre workflow soit déclenchée en réponse à un événementCloud Storage direct. Ceci s'applique à un fournisseur d'événements Cloud Storage. Pour en savoir plus, consultez la liste des événements directs compatibles.

Remarque : Si des événements directs et de journaux d'audit sont acceptés par un fournisseur Google, nous vous recommandons de créer un déclencheur filtrant les événements directs. Les événements directs offrent un certain nombre d'avantages par rapport aux événements de journaux d'audit. Pour en savoir plus, consultez la section Routes d'événement.

Préparer la création d'un déclencheur

Avant de créer un déclencheur Eventarc pour un workflow cible, effectuez les tâches suivantes.

Console

1. Dans la console Google Cloud, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu d'en sélectionner un existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

2. Activez les API Eventarc, Eventarc Publishing, Workflows et Workflow Executions.

   Activer les API

3. Le cas échéant, activez l'API associée aux événements directs. Par exemple, pour les événements Cloud Storage , activez l'APICloud Storage .

4. Si vous n'en avez pas encore, créez un compte de service géré par l'utilisateur, puis accordez-lui les rôles et les autorisations nécessaires pour qu'Eventarc puisse gérer les événements pour un workflow cible.

   1. Dans la console Google Cloud, accédez à la page Comptes de service.

      Accéder à la page "Comptes de service"

   2. Sélectionnez votre projet.

   3. Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom.

      Dans le champ Description du compte de service, saisissez une description. Exemple : Service account for event trigger.

   4. Cliquez sur Créer et continuer.

   5. Pour fournir un accès approprié, dans la liste Sélectionner un rôle, sélectionnez les rôles IAM (Identity and Access Management) requis à attribuer à votre compte de service. Pour en savoir plus, consultez la page Rôles et autorisations pour les cibles Workflows.

      Pour ajouter des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.

   6. Cliquez sur Continuer.

   7. Pour terminer la création du compte, cliquez sur OK.

5. Accordez le rôle Diffuseur Pub/Sub à l'agent de service Cloud Storage. Il s'agit généralement de [e-mail]. Vous pouvez récupérer l'adresse e-mail pour l'agent de service Cloud Storage.

   1. Dans la console Google Cloud, accédez à la page IAM.

      Accéder à IAM

   2. Sur la ligne de l'agent de service Cloud Storage, cliquez sur Modifier le compte principal. (Si l'agent de service n'est pas répertorié, passez à l'étape suivante.) Le volet Modifier l'accès s'affiche.

      1. Cliquez sur Ajouter un autre rôle, puis recherchez le rôle Diffuseur Pub/Sub.
      2. Sélectionnez le rôle.
      3. Cliquez sur Enregistrer.

   3. Si l'agent de service n'est pas répertorié, cliquez sur Accorder l'accès. Le volet Accorder l'accès s'affiche.

      1. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail de l'agent de service.
      2. Dans la liste Sélectionner un rôle, recherchez le rôle Diffuseur Pub/Sub.
      3. Sélectionnez le rôle.
      4. Cliquez sur Enregistrer.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Activez les API Eventarc, Eventarc Publishing, Workflows et Workflow Executions :

   gcloud services enable eventarc.googleapis.com \
       eventarcpublishing.googleapis.com \
       workflows.googleapis.com \
       workflowexecutions.googleapis.com

3. Le cas échéant, activez l'API associée aux événements directs. Par exemple, pour les événements Cloud Storage , activez storage.googleapis.com.

4. Si vous n'en avez pas encore, créez un compte de service géré par l'utilisateur, puis accordez-lui les rôles et les autorisations nécessaires pour qu'Eventarc puisse gérer les événements pour un workflow cible.

   1. Créez le compte de service :

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Remplacez SERVICE_ACCOUNT_NAME par le nom du compte de service. Il doit comporter entre 6 et 30 caractères alphanumériques pouvant inclure des minuscules et des tirets. Une fois le compte de service créé, vous ne pouvez pas en modifier le nom.

   2. Attribuez les rôles ou les autorisations IAM (Identity and Access Management) requis. Pour en savoir plus, consultez la page Rôles et autorisations pour les cibles Workflows.

5. Si vous créez un déclencheur pour un événement Cloud Storage direct, attribuez le rôle pubsub.publisher au compte de service Cloud Storage :

   SERVICE_ACCOUNT="$(gsutil kms serviceaccount -p PROJECT_ID)"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:${SERVICE_ACCOUNT}" \
       --role="roles/pubsub.publisher"
   

Créer un déclencheur

Vous pouvez créer un déclencheur Eventarc avec un workflow déployé en tant que récepteur d'événements à l'aide de Google Cloud CLI (gcloud ou Terraform) ou via la console Google Cloud.

Remarque : Le filtrage est effectué selon une correspondance exacte ; il n'accepte pas les caractères génériques ni les expressions régulières.

Console

1. Dans la console Google Cloud, accédez à la page Déclencheurs d'Eventarc.

   Accéder à la page "Déclencheurs"

2. Cliquez sur Créer un déclencheur.
3. Saisissez un nom de déclencheur

   Il s'agit de l'ID du déclencheur, qui doit commencer par une lettre. Il peut contenir jusqu'à 63 lettres minuscules, chiffres ou traits d'union.

4. Pour le champ Type de déclencheur, sélectionnez Sources Google.
5. Dans la liste Fournisseur d'événements, sélectionnez Cloud Storage.

   Notez que le nom du fournisseur d'événements utilisé dans la documentation Google Cloud associée peut ne pas avoir le préfixe Cloud ou Google Cloud. Par exemple, sur la console, Memorystore pour Redis est appelé Google Cloud Memorystore pour Redis.

6. Dans la liste Type d'événement, sélectionnez un type d'événement parmi les événements directs :
   • google.cloud.storage.object.v1.archived : l'événement est envoyé lorsqu'une version en ligne d'un objet est archivée ou supprimée. Cet événement est uniquement envoyé pour les buckets avec gestion des versions.
   • google.cloud.storage.object.v1.delete : l'événement est envoyé lorsqu'un objet est définitivement supprimé. En fonction du paramètre de gestion des versions d'objet des buckets, cela signifie :
     • Pour les buckets avec gestion des versions, que celui-ci n'est envoyé que lorsqu'une version est définitivement supprimée (mais pas lorsqu'un objet est archivé).
     • Pour les buckets sans gestion de versions, que celui-ci est envoyé lorsqu'un objet est supprimé ou écrasé.
   • google.cloud.storage.object.v1.finalized : l'événement est envoyé lorsqu'un objet est créé (ou qu'un objet existant est écrasé et une nouvelle génération de cet objet est créée) dans le bucket.
   • google.cloud.storage.object.v1.metadataUpdated : l'événement est envoyé lorsque les [métadonnées](/storage/docs/metadata) d'un objet existant changent.
7. Dans la liste Type de contenu des données d'événement, sélectionnez l'encodage de la charge utile de l'événement.

   Pour les événements directs de Cloud Storage, il doit s'agir de application/json.

8. Spécifiez ou recherchez l'identifiant mondial unique du bucket Cloud Storage.

   Le bucket Cloud Storage doit se trouver dans le même projet Google Cloud et dans la même région ou emplacement multirégional que le déclencheur Eventarc.

9. Sélectionnez une Région.

   Les déclencheurs Cloud Storage pour Eventarc sont disponibles dans les emplacements régionaux, birégionaux et multirégionaux. Notez que le bucket Cloud Storage doit se trouver dans le même projet Google Cloud et dans la même région ou emplacement multirégional que le déclencheur Eventarc.

   Les événements sont envoyés via des notifications Pub/Sub issues de Cloud Storage. Configurer trop de notifications enregistrées sur le même bucket peut entraîner le dépassement de la limite de notifications du bucket, comme indiqué par l'erreur Cloud Storage bucket ...: Pub/Sub notification limit reached. Le bucket peut comporter jusqu'à 10 configurations de notification déclenchant un événement spécifique. Consultez la page Quotas et limites pour Cloud Storage afin d'en savoir plus sur les quotas et les limites.

10. Sélectionnez le compte de service qui appellera votre service ou workflow.

    Vous pouvez également créer un nouveau compte de service.

    Cela spécifie l'adresse e-mail du compte de service Identity and Access Management (IAM) associée au déclencheur et auquel vous avez précédemment attribué les rôles spécifiques requis par Eventarc.

11. Dans la liste Destination de l'événement, sélectionnez Workflows.
12. Sélectionner un workflow.
    

    Il s'agit du nom du workflow auquel transmettre les événements. Les événements d'exécution d'un workflow sont transformés et transmis au workflow en tant qu'arguments d'environnement d'exécution.

    Pour en savoir plus, consultez la page Créer un déclencheur pour Workflows.

13. Cliquez sur Créer.

Une fois le déclencheur créé, vous ne pouvez plus modifier les filtres de source d'événement. À la place, vous devez créer un nouveau déclencheur et supprimer l'ancien. Pour en savoir plus, consultez la section Gérer les déclencheurs.

gcloud

gcloud eventarc triggers create TRIGGER \
    --location=LOCATION \
    --destination-workflow=DESTINATION_WORKFLOW  \
    --destination-workflow-location=DESTINATION_WORKFLOW_LOCATION \
    --event-filters="type=EVENT_FILTER_TYPE" \
    --event-filters="bucket=BUCKET" \
    --service-account="MY_SERVICE_ACCOUNT@PROJECT_ID.iam.gserviceaccount.com"

Remplacez les éléments suivants :

• TRIGGER : l'ID du déclencheur ou un identifiant complet.
• LOCATION : emplacement du déclencheur Eventarc, et disponible dans les emplacements régionaux, birégionaux et multirégionaux. Vous ne pouvez pas créer de déclencheur Eventarc global. Notez que le bucket Cloud Storage doit se trouver dans le même projet et la même région Google Cloud que le déclencheur Eventarc. Pour en savoir plus, consultez la page Emplacements Eventarc.
• DESTINATION_WORKFLOW : ID du workflow déployé qui reçoit les événements du déclencheur. Le workflow peut se trouver dans l'un des emplacements compatibles avec Workflows et ne doit pas nécessairement se trouver au même emplacement que le déclencheur. Cependant, le workflow doit se trouver dans le même projet que le déclencheur.
• DESTINATION_WORKFLOW_LOCATION (facultatif) : emplacement dans lequel le workflow de destination est déployé. Si la valeur n'est pas spécifiée, il est supposé que le workflow se trouve au même emplacement que le déclencheur.
• EVENT_FILTER_TYPE : l'identifiant de l'événement Cloud Storage et peut être l'un des éléments suivants :
  • google.cloud.storage.object.v1.finalized : cet événement est envoyé lorsqu'un nouvel objet est créé dans le bucket (ou qu'un objet existant est remplacé et qu'une nouvelle génération de cet objet est créée).
  • google.cloud.storage.object.v1.archived : Cet événement est envoyé lorsqu'une version en ligne d'un objet est archivée ou supprimée. Cet événement est uniquement envoyé pour les buckets avec gestion des versions.
  • google.cloud.storage.object.v1.deleted : Cet événement est envoyé lorsqu'un objet est définitivement supprimé. En fonction du paramètre de gestion des versions d'objet des buckets, cela signifie :
    • pour les buckets avec gestion des versions, que celui-ci n'est envoyé que lorsqu'une version est définitivement supprimée (mais pas lorsqu'un objet est archivé) ;
    • pour les buckets sans gestion des versions, que celui-ci est envoyé lorsqu'un objet est supprimé ou écrasé.
  • google.cloud.storage.object.v1.metadataUpdated : Cet événement est envoyé lorsque les métadonnées d'un objet existant changent.
• BUCKET est l'identifiant unique du bucket Cloud Storage.
• SERVICE_ACCOUNT_NAME : nom du compte de service IAM que vous avez créé et auquel vous avez attribué des rôles spécifiques requis par Workflows.
• PROJECT_ID : ID de votre projet Google Cloud

Remarques :

• Pour les événements directs de Cloud Storage, l'encodage de la charge utile d'événement est application/json.
• Ces options sont obligatoires :
  • --event-filters="type=EVENT_FILTER_TYPE"
  • --event-filters="bucket=BUCKET"
• Une fois le déclencheur créé, EVENT_FILTER_TYPE ne peut plus être modifié. Pour un type d'événement différent, vous devez créer un déclencheur.
• --service-account : adresse e-mail du compte de service IAM que votre déclencheur Eventarc utilisera pour appeler les exécutions de workflow. Nous vous recommandons vivement d'utiliser un compte de service ne bénéficiant que des privilèges les plus faibles nécessaires pour accéder aux ressources requises. Pour en savoir plus sur les comptes de service, consultez la page Créer et gérer des comptes de service.
• Les événements sont envoyés via des notifications Pub/Sub issues de Cloud Storage. Configurer trop de notifications enregistrées sur le même bucket peut entraîner le dépassement de la limite de notifications du bucket, comme indiqué par l'erreur Cloud Storage bucket ...: Pub/Sub notification limit reached. Le bucket peut comporter jusqu'à 10 configurations de notification déclenchant un événement spécifique. Consultez la page Quotas et limites pour Cloud Storage afin d'en savoir plus sur les quotas et les limites.
• Chaque déclencheur peut comporter plusieurs filtres d'événement, spécifiés dans une option --event-filters=[ATTRIBUTE=VALUE,...], en les séparant par une virgule, ou vous pouvez répéter l'option pour ajouter d'autres filtres. Seuls les événements correspondant à tous les filtres sont envoyés à la destination. Les caractères génériques et les expressions régulières ne sont pas acceptés.
• Le bucket Cloud Storage doit se trouver dans le même projet Google Cloud et dans la même région ou emplacement multirégional que le déclencheur Eventarc.
• Par défaut, les abonnements Pub/Sub créés pour Eventarc persistent, quelle que soit l'activité, et n'expirent pas. Pour modifier la durée d'inactivité, consultez la section Propriétés de l'abonnement.

Exemple :

gcloud eventarc triggers create helloworld-trigger \
    --location=us-central1 \
    --destination-workflow=my-workflow \
    --destination-workflow-location=europe-west4 \
    --event-filters="type=google.cloud.storage.object.v1.finalized" \
    --event-filters="bucket=my-project-bucket" \
    --service-account="${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com"

Cette commande crée un déclencheur appelé helloworld-trigger pour le bucket Cloud Storage my-project-bucket et l'événement identifié en tant que google.cloud.storage.object.v1.finalized.

Terraform

Vous pouvez créer un déclencheur pour un workflow à l'aide de Terraform. Pour en savoir plus, consultez la page Déclencher un workflow à l'aide d'Eventarc et Terraform.

Remarque : Bien que votre déclencheur soit créé immédiatement, sa propagation et le filtrage d'événements peuvent prendre jusqu'à deux minutes.

Répertorier un déclencheur

Vous pouvez confirmer la création d'un déclencheur en répertoriant les déclencheurs Eventarc à l'aide de Google Cloud CLI ou de la console Google Cloud.

Console

1. Dans la console Google Cloud, accédez à la page Déclencheurs d'Eventarc.

   Accéder à la page "Déclencheurs"

   Cette page répertorie vos déclencheurs dans tous les emplacements et inclut des détails tels que les noms, les régions, les fournisseurs d'événements, les destinations, etc.

2. Pour filtrer vos déclencheurs, procédez comme suit :

   1. Cliquez sur Filtrer ou sur le champ Filtrer les déclencheurs.
   2. Dans la liste Propriétés, sélectionnez une option permettant de filtrer les déclencheurs.

   Vous pouvez sélectionner une seule propriété ou utiliser l'opérateur logique OR pour ajouter d'autres propriétés.

3. Pour trier vos déclencheurs, à côté d'un en-tête de colonne compatible, cliquez sur Trier.

gcloud

Exécutez la commande suivante pour répertorier vos déclencheurs :

gcloud eventarc triggers list --location=-

Cette commande répertorie vos déclencheurs dans tous les emplacements et inclut des détails tels que les noms, les types, les destinations et les états.

Étapes suivantes

• Déclenchez un workflow à l'aide d'Eventarc et de Terraform.

• Déclencher les workflows avec des événements depuis Cloud Storage

• Déclencher des workflows avec des messages Pub/Sub

• En savoir plus sur Eventarc