Configurer et gérer les buckets de journaux

Ce document explique comment créer et gérer des buckets Cloud Logging à l'aide de la console, de la CLI Google Cloud et de l'API Logging.

Ce document fournit des instructions sur la création et la gestion de buckets au niveau du projet Cloud, mais vous pouvez également créer des buckets au niveau du dossier et de l'organisation.

Pour obtenir une présentation des concepts liés aux buckets, consultez la page Présentation du routage et du stockage : buckets de journaux.

Avant de commencer

Pour faire vos premiers pas avec les buckets, procédez comme suit :

  • Assurez-vous d'avoir activé la facturation pour votre projet Google Cloud.

  • Vérifiez que vous disposez des autorisations nécessaires pour créer et gérer les buckets de projet Cloud. Pour obtenir la liste des autorisations et des rôles dont vous avez besoin pour accéder aux données stockées dans des buckets, consultez le guide du contrôle des accès.

  • Familiarisez-vous avec les exigences de mise en forme de LogBucket, y compris les régions disponibles dans lesquelles vous pouvez stocker vos journaux.

  • Envisagez de définir un emplacement de ressources par défaut pour appliquer une région de stockage par défaut aux buckets _Required et _Default de votre organisation.

Create a bucket

Vous pouvez créer au maximum 100 buckets par projet Cloud.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Cloud, procédez comme suit :

Console

Pour créer un bucket de journaux dans votre projet Cloud, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder au journal des journaux

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un Nom et une Description pour votre bucket.

  4. (Facultatif) Pour définir la région dans laquelle vous souhaitez stocker vos journaux, cliquez sur le menu déroulant Sélectionner la région du bucket de journaux et sélectionnez une région. Si vous ne sélectionnez pas de région, la région global est utilisée, ce qui signifie que les journaux peuvent se trouver physiquement dans n'importe quelle région.

  5. (Facultatif) Pour définir une durée de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

    Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est 30 days.

    Vous pouvez également mettre à jour votre bucket pour appliquer une durée de conservation personnalisée après sa création.

  6. Cliquez sur Créer un bucket. Votre nouveau bucket s'affiche dans la liste Bucket de journaux.

gcloud

Pour créer un bucket de journaux dans votre projet Cloud, exécutez la commande gcloud logging buckets create :

gcloud logging buckets create BUCKET_ID --location=LOCATION OPTIONAL_FLAGS

La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région asia-east2, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location asia-east2 --description "My first bucket"

API

Pour créer un bucket, utilisez la méthode projects.locations.buckets.create dans l'API Logging. Préparez les arguments de la méthode comme suit :

  1. Définissez le paramètre parent comme ressource dans laquelle créer le bucket : projects/PROJECT_ID/locations/LOCATION.

    La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

    Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région asia-east2, votre paramètre parent se présentera comme suit: projects/my-project/locations/asia-east2.

  2. Définissez le paramètre bucketId, par exemple my-bucket.

  3. Appelez projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, configurez les vues de journaux pour contrôler qui peut accéder aux journaux dans votre nouveau bucket et quels journaux y ont accès. Vous pouvez également mettre à jour le bucket pour configurer la conservation personnalisée, les champs restreints ou les paramètres CMEK.

Suivre l'ingestion de journaux

La page Stockage des journaux de la console effectue le suivi du volume de données de journaux ingérées par les buckets de journaux.

Pour suivre l'ingestion des données de journaux de votre projet Cloud, accédez à la page Stockage des journaux de la console :

Accéder au journal des journaux

La page Stockage des journaux affiche un récapitulatif des statistiques de votre projet Cloud :

Le rapport de statistiques récapitulatif consigne les quantités d'ingestion de données pour le projet actuellement sélectionné.

Les statistiques suivantes sont consignées :

  • Volume total actuel : quantité de données de journaux ingérées par votre projet Cloud depuis le premier jour du mois civil en cours.

  • Volume du mois précédent : quantité de données de journaux ingérées par votre projet Cloud au cours du dernier mois civil.

  • Volume estimé à la fin du mois : quantité estimée de données de journaux que votre projet Cloud ingérera à la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.

Les statistiques de volume d'ingestion de journaux n'incluent pas le bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de la console vous fournit des outils que vous pouvez utiliser pour réduire les frais d'ingestion ou de stockage de journaux qui dépassent votre attribution mensuelle. Vous pouvez procéder comme suit :

  • Désactivez l'ingestion de journaux au niveau du bucket.
  • Excluez certaines entrées de journal de l'ingestion dans Logging.

Pour en savoir plus, consultez la page Gérer les récepteurs.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de la CLI Google Cloud ou de Google Cloud Console.

Mettre à jour un bucket

Pour mettre à jour les attributs de votre bucket, procédez comme suit :

Console

Pour mettre à jour les attributs de votre bucket, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder au journal des journaux

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez mettre à jour.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les attributs de votre bucket, exécutez la commande gcloud logging buckets update :

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

API

Pour mettre à jour les attributs de votre bucket, utilisez l'API Logging de projects.locations.buckets.patch.

Verrouiller un bucket

Lorsque vous verrouillez les mises à jour pour un bucket, cela inclut le verrouillage de la règle de conservation du bucket. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de ce dernier n'a pas été atteinte pour tous les journaux qu'il contient.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

Console

La console ne permet pas le verrouillage d'un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'indicateur --locked :

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

API

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Répertorier les buckets

Pour répertorier les buckets de journaux associés à un projet Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit :

Console

Accédez à la page Stockage des journaux :

Accéder au journal des journaux

Une table Buckets de journaux s'affiche. Elle répertorie les buckets associés au projet Cloud en cours.

La table répertorie les attributs suivants pour chaque bucket de journaux :

  • Nom : nom attribué au bucket lors de sa création.
  • Description : description attribuée au bucket lors de sa création.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec un avertissement .

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

  • LOCATION : région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID : nom attribué au bucket lors de sa création.
  • RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED : indique si le bucket est verrouillé ou non.
  • CREATE_TIME : horodatage indiquant la date de création du bucket.
  • UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région "global", exécutez la commande gcloud logging buckets describe :

gcloud logging buckets describe _Default --location=global

API

Pour répertorier les buckets de journaux associés à un projet Cloud, utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

Console

Accédez à la page Stockage des journaux :

Accéder au journal des journaux

Dans le bucket de journaux, cliquez sur Plus > Afficher les détails du bucket.

La boîte de dialogue répertorie les attributs suivants pour le bucket de journaux :

  • Nom : nom attribué au bucket lors de sa création.
  • Description : description attribuée au bucket lors de sa création.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.

gcloud

Exécutez la commande gcloud logging buckets describe :

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux:

  • createTime : horodatage indiquant la date de création du bucket.
  • description : description donnée au bucket lors de sa création.
  • lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
  • name : nom attribué au bucket lors de sa création.
  • retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime : horodatage indiquant la date de la dernière modification du bucket.

API

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Supprimer un bucket

Pour supprimer un bucket de journaux, procédez comme suit :

Console

Pour supprimer un bucket de journaux, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder au journal des journaux

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez supprimer.

  3. Cliquez sur Supprimer le bucket.

  4. Dans le panneau de confirmation, cliquez sur Supprimer.

  5. Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete :

gcloud logging buckets delete BUCKET_ID --location=LOCATION

API

Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

Un bucket supprimé reste dans l'état "en attente de suppression" pendant sept jours et Logging continue d'acheminer des journaux vers le bucket pendant cette période. Pour arrêter l'acheminement des journaux vers un bucket supprimé, vous devez supprimer les récepteurs de journaux qui ont ce bucket en tant que destination, ou modifier le filtre des récepteurs acheminant des journaux vers ce bucket.

Restaurer un bucket supprimé

Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

Console

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder au journal des journaux

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez restaurer.

  3. Cliquez sur Restaurer un bucket supprimé.

  4. Dans le panneau de confirmation, cliquez sur Restaurer.

  5. Sur la page Stockage des journaux, l'indicateur de suppression en attente est retiré de votre bucket.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging logging undelete :

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

API

Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

Écrire dans un bucket

Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt des journaux sur une ressource Google Cloud : un projet, un dossier ou une organisation Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.

Lire des données à partir d'un bucket

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Pour en savoir plus sur les vues de journaux, consultez la page Gérer les vues de journaux.

Pour lire les journaux d'un bucket de journaux, procédez comme suit :

Console

Vous pouvez affiner le champ d'application des journaux affichés dans l'explorateur de journaux via l'option Affiner le champ d'application. Vous ne pouvez rechercher que les journaux du projet Cloud en cours ou rechercher des journaux dans une ou plusieurs vues de stockage. Pour affiner le champ d'application de l'explorateur de journaux, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Sélectionnez Affiner le niveau d'accès.

  3. Dans la boîte de dialogue Affiner le champ d'application, sélectionnez une option Recherche par.

  4. Sélectionnez Rechercher par espace de stockage et choisissez un ou plusieurs buckets à afficher.

    La boîte de dialogue affiche les vues de stockage qui remplissent les conditions suivantes :

    • Vous avez accès à la vue de stockage.
    • Les buckets de journaux appartiennent au projet Cloud sélectionné, ou le projet Cloud sélectionné a précédemment acheminé des journaux vers les buckets de stockage.

gcloud

Pour lire les journaux d'un bucket de journaux, utilisez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner les données:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

API

Pour lire les journaux d'un bucket de journaux, utilisez la méthode entry.list. Définissez resourceNames pour spécifier le bucket et la vue de journal appropriés, puis définissez filter pour sélectionner les données.

Pour en savoir plus sur la syntaxe de filtrage, consultez la section Langage de requête Logging.

Configurer la conservation personnalisée

Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket. Vous pouvez configurer la durée de conservation de n'importe quel bucket de journaux défini par l'utilisateur, ainsi que celle du bucket de journaux _Default.

Si vous réduisez la conservation du bucket, vous disposez d'un délai de grâce de sept jours pour supprimer les journaux arrivés à expiration. Vous ne pouvez pas interroger ni afficher ces journaux arrivés à expiration, mais vous pouvez restaurer l'accès complet en prolongeant la conservation au cours de ces 7 jours. Les journaux stockés pendant le délai de grâce sont comptabilisés dans vos coûts de stockage.

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

Console

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder au journal des journaux

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez mettre à jour.

  3. Cliquez sur Modifier le bucket.

  4. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

  5. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation apparaît dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande gcloud logging buckets update, après avoir défini une valeur pour RETENTION_DAYS :

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux dans le bucket _Default dans l'emplacement "global" pendant un an, votre commande se présentera comme suit :

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit :

  • Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez le guide du contrôle des accès.

  • Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

Quels comptes de service acheminent les journaux vers mon bucket ?

Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

  1. Accédez à la page IAM du projet Cloud contenant le bucket :

    Accéder à IAM

  2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Une table contenant tous les rôles et comptes principaux IAM associés à votre projet Cloud s'affiche.

  3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

    Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne gserviceaccount.com.

  4. Facultatif : si vous souhaitez empêcher un compte de service d'acheminer les journaux vers votre projet Cloud, cochez la case située à côté du compte, puis cliquez sur Supprimer.

Pourquoi les journaux d'un projet Cloud apparaissent-ils alors que je les ai exclus de mon récepteur _Default ?

Vous pouvez consulter les journaux d'un bucket de journaux dans un projet Cloud centralisé qui regroupe les journaux de votre organisation.

Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et afficher ceux que vous avez exclus du récepteur _Default, votre vue peut se limiter au niveau du projet Cloud.

Pour résoudre ce problème, sélectionnez Portée par espace de stockage dans le panneau Affiner la portée, puis sélectionnez le bucket _Default dans votre projet Cloud. Vous ne devriez plus voir les journaux exclus.

Pourquoi ne puis-je pas créer de métriques basées sur les journaux pour un bucket ?

Les métriques basées sur les journaux ne s'appliquent qu'à un seul projet Google Cloud. Vous ne pouvez pas les créer pour des buckets de journaux ni pour d'autres ressources Google Cloud telles que des dossiers ou des organisations.

Étapes suivantes

Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :