Router des événements Dataproc Metastore vers Cloud Run

Un déclencheur Eventarc déclare votre intérêt pour un événement ou un ensemble d'événements spécifique. Vous pouvez configurer le routage d'événements en spécifiant des filtres pour le déclencheur, y compris la source de l'événement et le service Cloud Run cible.

Eventarc fournit des événements au destinataire d'événements au format CloudEvents via une requête HTTP.

Ces instructions vous montrent comment configurer le routage d'événements vers votre service Cloud Run déclenché par un événementDataproc Metastore direct. Pour en savoir plus, consultez la liste des événements directs compatibles.

Remarque : Si des événements directs et de journaux d'audit sont acceptés pour un fournisseur Google, nous vous recommandons de créer un déclencheur filtrant les événements directs. Les événements directs offrent un certain nombre d'avantages par rapport aux événements de journaux d'audit. Pour en savoir plus, consultez la section Routes d'événement.

Préparer la création d'un déclencheur

Avant de créer un déclencheur, procédez comme suit :

Console

1. Dans la console Google Cloud, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu d'en sélectionner un existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

2. Activez les API Cloud Logging, Eventarc et Eventarc Publishing.

   Activer les API

3. Le cas échéant, activez l'API associée aux événements directs. Par exemple, pour les événements Dataproc Metastore , activez l'APIDataproc Metastore .

4. Si vous n'en avez pas encore, créez un compte de service géré par l'utilisateur, puis accordez-lui les rôles et les autorisations nécessaires pour qu'Eventarc puisse gérer les événements de votre service cible.

   1. Dans la console Google Cloud, accédez à la page Créer un compte de service.

      Accéder à la page "Créer un compte de service"

   2. Sélectionnez votre projet.

   3. Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom.

      Dans le champ Description du compte de service, saisissez une description. Exemple : Service account for event trigger.

   4. Cliquez sur Créer et continuer.

   5. Pour fournir un accès approprié, dans la liste Sélectionner un rôle, sélectionnez les rôles IAM (Identity and Access Management) requis à attribuer à votre compte de service pour les appels authentifiés ou non authentifiés. Pour en savoir plus, consultez la page Rôles et autorisations pour les cibles Cloud Run.

      Pour ajouter des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez chaque rôle supplémentaire.

      Important : Pour accepter les appels authentifiés sur votre service Cloud Run, vous devez associer votre déclencheur à un compte de service disposant du rôle roles/run.invoker. Lors de la création ou de la mise à jour de votre déclencheur, sélectionnez ce compte de service.

   6. Cliquez sur Continuer.

   7. Pour terminer la création du compte, cliquez sur OK.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Activez les API Cloud Logging, Eventarc et Eventarc Publishing.

   gcloud services enable logging.googleapis.com \
     eventarc.googleapis.com \
     eventarcpublishing.googleapis.com

3. Le cas échéant, activez l'API associée aux événements directs. Par exemple, pour les événements Dataproc Metastore , activez metastore.googleapis.com.

4. Si vous n'en avez pas encore, créez un compte de service géré par l'utilisateur, puis accordez-lui les rôles et les autorisations nécessaires pour qu'Eventarc puisse gérer les événements de votre service cible.

   1. Créez le compte de service :

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Remplacez SERVICE_ACCOUNT_NAME par le nom du compte de service. Il doit comporter entre 6 et 30 caractères alphanumériques pouvant inclure des minuscules et des tirets. Une fois le compte de service créé, vous ne pouvez pas en modifier le nom.

   2. Accordez les rôles ou autorisations Identity and Access Management (IAM) requis pour les appels authentifiés ou non authentifiés. Pour en savoir plus, consultez la page Rôles et autorisations pour les cibles Cloud Run.

   Important : Pour accepter les appels authentifiés sur votre service Cloud Run, vous devez associer votre déclencheur à un compte de service disposant du rôle roles/run.invoker. Lorsque vous créez ou modifiez votre déclencheur, utilisez l'option --service-account pour associer ce compte de service au déclencheur.

Créer un déclencheur

Vous pouvez créer un déclencheur Eventarc à l'aide de Google Cloud CLI ou de la console Google Cloud.

Remarque : Le filtrage est effectué selon une correspondance exacte ; il n'accepte pas les caractères génériques ni les expressions régulières. Toutefois, vous pouvez utiliser l'option --event-filters-path-pattern dans la commande gcloud CLI suivante ou définir un format de chemin d'accès via la console. Pour en savoir plus, consultez la page Comprendre les formats de chemin d'accès.

Console

1. Dans la console Google Cloud, accédez à la page Déclencheurs d'Eventarc.

   Accéder à la page "Déclencheurs"

2. Cliquez sur Créer un déclencheur.
3. Saisissez un nom de déclencheur

   Il s'agit de l'ID du déclencheur, qui doit commencer par une lettre. Il peut contenir jusqu'à 63 lettres minuscules, chiffres ou traits d'union.

4. Pour le champ Type de déclencheur, sélectionnez Sources Google.
5. Dans la liste Fournisseur d'événements, sélectionnez Dataproc Metastore.

   Notez que le nom du fournisseur d'événements utilisé dans la documentation Google Cloud associée peut ne pas avoir le préfixe Cloud ou Google Cloud. Par exemple, sur la console, Memorystore pour Redis est appelé Google Cloud Memorystore pour Redis.

6. Dans la liste Type d'événement, sélectionnez un type d'événement parmi les événements directs.
7. Pour spécifier l'encodage de la charge utile de l'événement, sélectionnez application/json ou application/protobuf dans la liste Type de contenu des données d'événement.

   Notez que la taille d'une charge utile d'événement au format JSON est supérieure à celle au format Protobuf. Cela peut avoir un impact sur la fiabilité en fonction de la destination de l'événement et de ses limites de taille. Pour en savoir plus, consultez la section Problèmes connus.

8. Dans la liste Région, sélectionnez la même région que le service Google Cloud qui génère des événements.

   Pour en savoir plus, consultez la page Emplacements Eventarc.

9. Le cas échéant, cliquez sur Ajouter un filtre et spécifiez les éléments suivants :
   1. Dans le champ Attribut 1, en fonction de l'événement direct que vous avez choisi, sélectionnez l'ID de ressource pouvant servir de filtre d'événement.
   2. Sélectionnez un opérateur :
      • Égal à
      • Format de chemin d'accès

        Pour en savoir plus, consultez la page Comprendre les formats de chemin d'accès.

   3. Dans le champ Valeur d'attribut 1, saisissez la valeur exacte ou appliquez un format de chemin d'accès en fonction de l'opérateur que vous avez choisi.
   4. Si d'autres filtres d'attributs sont applicables, cliquez sur Ajouter un filtre et spécifiez les valeurs appropriées.
10. Sélectionnez le compte de service qui appellera votre service ou workflow.

    Vous pouvez également créer un nouveau compte de service.

    Cela spécifie l'adresse e-mail du compte de service Identity and Access Management (IAM) associée au déclencheur et auquel vous avez précédemment attribué les rôles spécifiques requis par Eventarc.

11. Dans la liste Destination de l'événement, sélectionnez Cloud Run.
12. Sélectionner un service.
    

    Il s'agit du nom du service qui reçoit les événements du déclencheur. Le service doit se trouver dans le même projet que le déclencheur et recevoir des événements sous forme de requêtes HTTP POST envoyées à son chemin d'URL racine (/), à chaque déclenchement de l'événement.

13. Vous pouvez éventuellement spécifier le Chemin de l'URL du service auquel envoyer la requête entrante.

    Il s'agit du chemin relatif sur le service de destination auquel les événements du déclencheur doivent être envoyés. Exemple : /, /route, route, route/subroute.

14. Cliquez sur Créer.

Une fois le déclencheur créé, vous ne pouvez plus modifier les filtres de source d'événement. À la place, vous devez créer un nouveau déclencheur et supprimer l'ancien. Pour en savoir plus, consultez la section Gérer les déclencheurs.

gcloud

Vous pouvez créer un déclencheur en exécutant une commande gcloud eventarc triggers create, associée aux options obligatoires et facultatives.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-run-service=DESTINATION_RUN_SERVICE \
      --destination-run-region=DESTINATION_RUN_REGION \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --event-data-content-type="EVENT_DATA_CONTENT_TYPE" \
      --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Remplacez les éléments suivants :

• TRIGGER : l'ID du déclencheur ou un identifiant complet.
• LOCATION : l'emplacement du déclencheur Eventarc. Vous pouvez également définir la propriété eventarc/location (par exemple, gcloud config set eventarc/location us-central1).

  Pour éviter tout problème de performances et de résidence des données, l'emplacement doit correspondre à celui du service Google Cloud qui génère les événements. Pour en savoir plus, consultez la page Emplacements Eventarc.

• DESTINATION_RUN_SERVICE  : nom du service Cloud Run qui reçoit les événements pour le déclencheur. Le service peut se trouver dans l'un des emplacements compatibles avec Cloud Run et ne doit pas nécessairement se trouver au même emplacement que le déclencheur. Cependant, le service doit se trouver dans le même projet que le déclencheur et recevoir des événements sous forme de requêtes HTTP POST envoyées à son chemin d'URL racine (/), à chaque déclenchement de l'événement.
• DESTINATION_RUN_REGION : (facultatif) région dans laquelle se trouve le service Cloud Run de destination. Si elle n'est pas spécifiée, il est supposé que le service se trouve dans la même région que le déclencheur.
• EVENT_FILTER_TYPE : identifiant de l'événement. Un événement est généré lorsqu'un appel d'API pour la méthode réussit. Pour les opérations de longue durée, l'événement n'est généré qu'à la fin de l'opération et uniquement si l'action s'est bien déroulée. Pour obtenir la liste des types d'événements acceptés, consultez la section Types d'événements acceptés par Eventarc.

• COLLECTION_ID (facultatif) : le composant ressource pouvant agir en tant que filtre d'événement et qui correspond à l'un des éléments suivants :
  • backup
  • federation
  • metadataimport
  • service
• RESOURCE_ID : identifiant de la ressource utilisée comme valeur de filtrage pour la collection associée. Pour en savoir plus, consultez la section ID de ressource.
• PATH_PATTERN : format de chemin d'accès à appliquer lors du filtrage de la ressource.
• EVENT_DATA_CONTENT_TYPE : (facultatif) encodage de la charge utile de l'événement. Peut être défini sur application/json ou application/protobuf. L'encodage par défaut est application/json.

  Notez que la taille d'une charge utile d'événement au format JSON est supérieure à celle au format Protobuf. Cela peut avoir un impact sur la fiabilité en fonction de la destination de l'événement et de ses limites de taille. Pour en savoir plus, consultez la section Problèmes connus.

• SERVICE_ACCOUNT_NAME : nom de votre compte de service géré par l'utilisateur.
• PROJECT_ID : ID de votre projet Google Cloud.

Remarques :

• L'option --event-filters="type=EVENT_FILTER_TYPE" est obligatoire. Si aucun autre filtre d'événement n'est défini, les événements de toutes les ressources sont mis en correspondance.
• EVENT_FILTER_TYPE ne peut pas être modifié après sa création. Pour modifier EVENT_FILTER_TYPE, créez un nouveau déclencheur et supprimez l'ancien.
• Chaque déclencheur peut comporter plusieurs filtres d'événement, séparés par une virgule et spécifiés dans une option --event-filters=[ATTRIBUTE=VALUE,…], ou vous pouvez répéter l'option pour ajouter d'autres filtres. Seuls les événements correspondant à tous les filtres sont envoyés à la destination. Les caractères génériques et les expressions régulières ne sont pas acceptés. Toutefois, lorsque vous utilisez l'option --event-filters-path-pattern, vous pouvez définir un format de chemin d'accès pour les ressources.
• L'option --service-account permet de spécifier l'adresse e-mail du compte de service IAM (Identity and Access Management) associée au déclencheur.
• Vous pouvez éventuellement spécifier un chemin d'accès relatif dans le service Cloud Run de destination auquel les événements du déclencheur doivent être envoyés, à l'aide de l'option --destination-run-path.

Exemple :

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-run-service=helloworld-events \
      --destination-run-region=us-central1 \
      --event-filters="type=google.cloud.metastore.federation.v1.updated" \
      --event-filters-path-pattern="federation=my-federation-*" \
      --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Cette commande crée un déclencheur appelé helloworld-trigger pour l'événement identifié comme google.cloud.metastore.federation.v1.updated et correspond aux événements pour les ID federation commençant par my-federation-.

Terraform

Vous pouvez créer un déclencheur pour une destination Cloud Run à l'aide de Terraform. Pour en savoir plus, consultez la page Créer un déclencheur à l'aide de Terraform.

Remarque : Bien que votre déclencheur soit créé immédiatement, sa propagation et le filtrage d'événements peuvent prendre jusqu'à deux minutes.

Répertorier un déclencheur

Vous pouvez confirmer la création d'un déclencheur en répertoriant les déclencheurs Eventarc à l'aide de Google Cloud CLI ou de la console Google Cloud.

Console

1. Dans la console Google Cloud, accédez à la page Déclencheurs d'Eventarc.

   Accéder à la page "Déclencheurs"

   Cette page répertorie vos déclencheurs dans tous les emplacements et inclut des détails tels que les noms, les régions, les fournisseurs d'événements, les destinations, etc.

2. Pour filtrer vos déclencheurs, procédez comme suit :

   1. Cliquez sur Filtrer ou sur le champ Filtrer les déclencheurs.
   2. Dans la liste Propriétés, sélectionnez une option permettant de filtrer les déclencheurs.

   Vous pouvez sélectionner une seule propriété ou utiliser l'opérateur logique OR pour ajouter d'autres propriétés.

3. Pour trier vos déclencheurs, à côté d'un en-tête de colonne compatible, cliquez sur Trier.

gcloud

Exécutez la commande suivante pour répertorier vos déclencheurs :

gcloud eventarc triggers list --location=-

Cette commande répertorie vos déclencheurs dans tous les emplacements et inclut des détails tels que les noms, les types, les destinations et les états.

Étapes suivantes

• En savoir plus sur Eventarc.
• Découvrez comment gérer des déclencheurs.