Recevoir des événements à l'aide de Cloud Audit Logs (gcloud CLI)

Recevoir des événements à l'aide de Cloud Audit Logs (gcloud CLI)

Preview

Ce produit est soumis aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les produits pré-DG sont disponibles "en l'état" et peuvent bénéficier d'une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Ce guide de démarrage rapide explique comment configurer un service Google Kubernetes Engine (GKE) en tant que destination pour recevoir des événements de Cloud Storage à l'aide d'Eventarc.

Remarque : La compatibilité de GKE en tant que destination Eventarc inclut les points de terminaison publics des services privés et publics s'exécutant dans un cluster GKE.

Dans ce guide, vous allez :

1. configurer un compte de service afin qu'Eventarc puisse extraire des événements et les transférer à la cible ;
2. créer un bucket Cloud Storage qui servira de source d'événements ;
3. créer un cluster GKE ;
4. initialiser les destinations GKE dans Eventarc ;
5. déployer un service GKE qui reçoit des événements ;
6. créer un déclencheur Eventarc qui envoie des événements depuis Cloud Storage vers le service GKE ;
7. Importer un fichier dans le bucket Cloud Storage pour générer un événement et afficher l'événement dans les journaux du pod GKE.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Install the Google Cloud CLI.

7. To initialize the gcloud CLI, run the following command:

   gcloud init

8. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

9. Make sure that billing is enabled for your Google Cloud project.

10. Mettez à jour les composants de Google Cloud CLI :

    gcloud components update

11. Activez les API Eventarc, Resource Manager et Google Kubernetes Engine :

    gcloud services enable eventarc.googleapis.com \
        cloudresourcemanager.googleapis.com \
        container.googleapis.com

12. Définissez les variables de configuration utilisées dans ce guide de démarrage rapide :

    PROJECT_ID=$(gcloud config get-value project)
    TRIGGER_SA=eventarc-sa
    CLUSTER_NAME=events-cluster
    SERVICE_NAME=hello-gke

13. Si vous êtes le créateur du projet, vous disposez du rôle de base Propriétaire (roles/owner). Par défaut, ce rôle Identity and Access Management (IAM) inclut les autorisations nécessaires pour accéder à la plupart des ressources Google Cloud. Vous pouvez ignorer cette étape.

    Si vous n'êtes pas le créateur du projet, les autorisations requises doivent être accordées au compte principal approprié sur le projet. Par exemple, un compte principal peut être un compte Google (pour les utilisateurs finaux) ou un compte de service (pour les applications et les charges de travail de calcul). Pour en savoir plus, consultez la page Rôles et autorisations pour la destination de votre événement.

    Autorisations requises

    Pour obtenir les autorisations nécessaires pour suivre ce guide de démarrage rapide, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

    • Administrateur Eventarc (roles/eventarc.admin)
    • Administrateur de Kubernetes Engine (roles/container.admin)
    • Accesseur de vues de journaux (roles/logging.viewAccessor)
    • Administrateur de projet IAM (roles/resourcemanager.projectIamAdmin)
    • Administrateur de compte de service (roles/iam.serviceAccountAdmin)
    • Utilisateur du compte de service (roles/iam.serviceAccountUser)
    • Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin)
    • Administrateur de l'espace de stockage (roles/storage.admin)

    Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

14. Notez le compte de service Compute Engine par défaut, car vous allez l'associer à un déclencheur Eventarc pour représenter l'identité du déclencheur à des fins de test. Ce compte de service est créé automatiquement après l'activation ou l'utilisation d'un service Google Cloud qui utilise Compute Engine, avec le format d'adresse e-mail suivant :

    [e-mail]

    Remplacez PROJECT_NUMBER par votre numéro de projet Google Cloud. Vous pouvez trouver le numéro de votre projet sur la page Bienvenue de la console Google Cloud ou en exécutant la commande suivante :

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    Pour les environnements de production, nous vous recommandons vivement de créer un compte de service et de lui attribuer un ou plusieurs rôles IAM contenant les autorisations minimales requises conformément au principe du moindre privilège.

    Remarque :

    La contrainte liée aux règles d'administration iam.automaticIamGrantsForDefaultServiceAccounts empêche l'attribution automatique du rôle "Éditeur" aux comptes de service par défaut. Si vous avez créé votre organisation après le 3 mai 2024, cette contrainte est appliquée par défaut.

    Nous vous recommandons vivement d'appliquer cette contrainte pour désactiver l'attribution automatique de rôles. Si vous désactivez l'attribution automatique de rôles, vous devez choisir les rôles à attribuer aux comptes de service par défaut, puis attribuer ces rôles vous-même.

    Si le compte de service par défaut dispose déjà du rôle Éditeur, nous vous recommandons de le remplacer par des rôles moins permissifs. Pour modifier les rôles du compte de service en toute sécurité, utilisez Policy Simulator pour voir l'impact de la modification, puis attribuez et révoquez les rôles appropriés.

15. Attribuez le rôle d'abonné Pub/Sub (roles/pubsub.subscriber) sur le projet au compte de service Compute Engine par défaut afin que le déclencheur Eventarc puisse extraire des événements. à partir de Pub/Sub.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/pubsub.subscriber

16. Attribuez le rôle Récepteur d'événements Eventarc (roles/eventarc.eventReceiver) sur le projet au compte de service Compute Engine par défaut afin que le déclencheur Eventarc puisse recevoir des événements en provenance des fournisseurs d'événements

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/eventarc.eventReceiver

17. Si vous avez activé l'agent de service Cloud Pub/Sub le 8 avril 2021 ou à une date antérieure, attribuez le rôle Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator) au compte de service pour accepter les requêtes push Pub/Sub authentifiées. Sinon, ce rôle est attribué par défaut :

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:[e-mail] \
        --role=roles/iam.serviceAccountTokenCreator

18. Pour Google Cloud Storage, activez les types de journaux pour les services suivants : Lecture administrateur, Lecture de données et Écriture de données :
    1. Consultez la stratégie IAM de votre projet et stockez-la dans un fichier :

       gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml

    2. Modifiez votre stratégie dans `/tmp/policy.yaml`. Vous ne devez ajouter ou modifier que la configuration des journaux d'audit pour l'accès aux données. Attention : Vous devez conserver les sections `bindings` et `etag:` sans les modifier. Dans le cas contraire, votre projet pourrait devenir inutilisable.

       auditConfigs:
         - auditLogConfigs:
           - logType: ADMIN_READ
           - logType: DATA_WRITE
           - logType: DATA_READ
           service: storage.googleapis.com
         bindings:
         - members:
           - user:EMAIL_ADDRESS
           role: roles/owner
         etag: BwW_bHKTV5U=
         version: 1

       Remplacez EMAIL_ADDRESS par votre adresse e-mail.
    3. Rédigez votre nouvelle stratégie IAM :

       gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml

       Si la commande précédente signale un conflit avec une autre modification, répétez ces étapes en commençant par lire la stratégie IAM du projet.

Créer un bucket Cloud Storage

Ce guide de démarrage rapide utilise Cloud Storage comme source d'événements. Créez un bucket Cloud Storage :

gcloud storage buckets create gs://events-quickstart-$(gcloud config get-value project) /
    --location=us-central1

Une fois la source d'événements créée, vous pouvez déployer le service récepteur d'événements sur GKE.

Créer un cluster GKE

Un cluster GKE contient au moins une machine de plan de contrôle de cluster et plusieurs machines de calcul appelées nœuds. Les nœuds sont des instances de machines virtuelles (VM) Compute Engine qui exécutent les processus Kubernetes nécessaires pour faire partie du cluster. Vous déployez les applications sur des clusters, et ces applications s'exécutent sur les nœuds.

Créez un cluster Autopilot nommé events-cluster :

gcloud container clusters create-auto $CLUSTER_NAME --region us-central1

La création du cluster peut prendre plusieurs minutes. Une fois le cluster créé, le résultat doit ressembler à ce qui suit :

Creating cluster events-cluster...done.
Created [https://container.googleapis.com/v1/projects/MY_PROJECT/zones/us-central1/clusters/events-cluster].
[...]
STATUS: RUNNING

Cela crée un cluster GKE nommé events-cluster dans un projet avec un ID de projet Google Cloud MY_PROJECT.

Activer les destinations GKE

Pour chaque déclencheur qui cible un service GKE, Eventarc crée un composant de redirecteur d'événement qui extrait les événements de Pub/Sub et les transfère vers la cible. Pour créer le composant et gérer les ressources dans le cluster GKE, accordez des autorisations à l'agent de service Eventarc :

1. Activez les destinations GKE pour Eventarc :

   gcloud eventarc gke-destinations init

2. Lorsque vous êtes invité à lier les rôles requis, saisissez y.

   Les rôles suivants sont liés au compte de service :

   • compute.viewer
   • container.developer
   • iam.serviceAccountAdmin

Créer une destination de service GKE

Déployez un service GKE qui recevra et consignera les événements à l'aide d'une image prédéfinie, us-docker.pkg.dev/cloudrun/container/hello :

1. Kubernetes se sert d'un fichier YAML appelé kubeconfig pour stocker les informations d'authentification de cluster pour kubectl. Mettez à jour le fichier kubeconfig avec les identifiants et les informations sur les points de terminaison pour pointer kubectl vers le cluster GKE :

   gcloud container clusters get-credentials $CLUSTER_NAME \
       --region us-central1
   

2. Créez un déploiement Kubernetes :

   kubectl create deployment $SERVICE_NAME \
       --image=us-docker.pkg.dev/cloudrun/container/hello
   

3. Exposez-le en tant que service Kubernetes :

   kubectl expose deployment $SERVICE_NAME \
       --type ClusterIP --port 80 --target-port 8080
   

Créer un déclencheur Eventarc

Lorsque vous importez un fichier dans Cloud Storage, le déclencheur Eventarc envoie des événements depuis Cloud Storage vers le service GKE hello-gke pour Anthos.

1. Créez un déclencheur Cloud Audit Logs :

   gcloud eventarc triggers create my-gke-trigger \
       --location="us-central1" \
       --destination-gke-cluster="events-cluster" \
       --destination-gke-location="us-central1" \
       --destination-gke-namespace="default" \
       --destination-gke-service="hello-gke" \
       --destination-gke-path="/" \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=storage.googleapis.com" \
       --event-filters="methodName=storage.objects.create" \
       --service-account="[e-mail]"
   

   Cette action crée un déclencheur appelé my-gke-trigger.

2. Vérifiez que le déclencheur a bien été créé :

   gcloud eventarc triggers list

   Remarque : L'activation du déclencheur peut prendre jusqu'à deux minutes.

   La sortie devrait ressembler à ce qui suit :

   NAME: my-gke-trigger
   TYPE: google.cloud.audit.log.v1.written
   DESTINATION: GKE: hello-gke
   ACTIVE: By 20:39:43
   LOCATION: us-central1
   

Générer et afficher un événement

Importez un fichier texte dans Cloud Storage pour générer un événement et déclencher le service GKE. Vous pouvez ensuite afficher le message de l'événement dans les journaux du pod.

1. Transférez un fichier texte vers Cloud Storage :

   echo "Hello World" > random.txt
   gcloud storage cp random.txt gs://events-quickstart-$(gcloud config get-value project)/random.txt

   L'importation génère un événement et le pod GKE consigne le message de l'événement.

2. Pour afficher le message de l'événement, procédez comme suit :

   1. Recherchez l'ID du pod :

      kubectl get pods

      La sortie devrait ressembler à ce qui suit :

      NAME                                         READY   STATUS             RESTARTS   AGE
      hello-gke-645964f578-2mjjt                   1/1     Running            0          35s

      Copiez le NAME du pod à utiliser à l'étape suivante.

   2. Vérifiez les journaux du pod :

      kubectl logs NAME

      Remplacez NAME par le nom du pod que vous avez copié.

   3. Recherchez une entrée de journal semblable à ceci :

      2022/02/24 22:23:49 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT
      {"severity":"INFO","eventType":"google.cloud.audit.log.v1.written","message":"Received event of type google.cloud.audit.log.v1.written. [...]}
      

Effectuer un nettoyage

Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées.

Vous pouvez :

1. Supprimer le bucket Cloud Storage.

2. Supprimer le déclencheur Eventarc.

3. Supprimez le cluster GKE.

Vous pouvez également supprimer votre projet Google Cloud pour éviter des frais. La suppression de votre projet Google Cloud arrête la facturation de toutes les ressources utilisées dans ce projet.

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Si vous envisagez d'explorer plusieurs tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Étapes suivantes

Recevoir des événements à l'aide de Pub/Sub (Google Cloud CLI)