Configurer des buckets de journaux

Ce document explique comment créer et gérer des buckets Cloud Logging à l'aide de la console Google Cloud, de Google Cloud CLI et de l'API Logging. Il fournit également des instructions sur la création et la gestion de buckets de journaux au niveau du projet Google Cloud. Vous ne pouvez pas créer de buckets de journaux au niveau du dossier ni de l'organisation. Toutefois, Cloud Logging crée automatiquement des buckets _Default et _Required au niveau du dossier et de l'organisation.

Vous pouvez mettre à niveau les buckets de journaux pour utiliser l'Analyse de journaux. L'Analyse de journaux vous permet d'exécuter des requêtes SQL sur vos données de journaux afin de résoudre les problèmes liés aux applications, à la sécurité et à la mise en réseau. Vous pouvez également utiliser BigQuery pour afficher les données stockées dans un bucket de journaux lorsque celui-ci est mis à niveau pour utiliser l'Analyse de journaux et lorsqu'un ensemble de données BigQuery associé existe. En créant un ensemble de données associé, vous pouvez associer vos données de journaux à d'autres données stockées dans BigQuery, et accéder aux données d'autres outils tels que Looker Studio et Looker.

Pour obtenir une présentation des concepts liés aux buckets, consultez la page Présentation du routage et du stockage : buckets de journaux.

Avant de commencer

Pour faire vos premiers pas avec les buckets, procédez comme suit :

  • Assurez-vous d'avoir activé la facturation pour votre projet Google Cloud.

  • Assurez-vous que votre rôle Identity and Access Management (IAM) vous accorde les autorisations nécessaires pour créer, mettre à niveau et associer des buckets.

    Le rôle Rédacteur de configuration des journaux (roles/logging.configWriter) est le rôle minimal prédéfini qui accorde les autorisations nécessaires pour gérer les buckets. Pour obtenir la liste complète des autorisations et des rôles, consultez la page Contrôle des accès avec IAM.

  • Prenez connaissance des exigences de mise en forme de LogBucket, y compris des régions compatibles dans lesquelles vous pouvez stocker vos journaux.

  • Envisagez de définir un emplacement des ressources par défaut pour appliquer une région de stockage par défaut aux buckets _Required et _Default de votre organisation.

  • Pour afficher les données stockées dans un bucket de journaux à l'aide de BigQuery, procédez comme suit:

  • Pour en savoir plus sur la création d'un bucket de journaux utilisant une clé de chiffrement gérée par le client (CMEK), consultez la page Configurer CMEK pour le stockage des journaux.

Créer un bucket

Vous pouvez créer jusqu'à 100 buckets par projet Google Cloud.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud, procédez comme suit:

console Google Cloud

Pour créer un bucket de journaux dans votre projet Google Cloud, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un Nom et une Description pour votre bucket.

  4. (Facultatif) Mettez à niveau votre bucket pour utiliser l'Analyse de journaux.

    1. Sélectionnez Effectuez la mise à niveau pour utiliser l'Analyse de journaux.

      Lorsque vous mettez à niveau un bucket pour utiliser l'Analyse de journaux, vous pouvez interroger vos journaux sur la page Analyse de journaux à l'aide de requêtes SQL. Vous pouvez également continuer à consulter vos journaux à l'aide de l'explorateur de journaux.

      Toutes les régions ne sont pas compatibles avec l'Analyse de journaux. Pour en savoir plus, consultez la section Régions où le service est disponible.

    2. Facultatif: Pour afficher vos journaux dans BigQuery, sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez un nom unique pour l'ensemble de données.

      Lorsque vous sélectionnez cette option, BigQuery peut lire les données stockées dans votre bucket de journaux. Vous pouvez désormais effectuer des requêtes dans l'interface BigQuery, où vous pouvez joindre vos données de journaux et accéder aux données à partir d'autres outils tels que Looker Studio et Looker.

  5. Facultatif: Pour sélectionner la région de stockage de vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux et sélectionnez une région. Si vous ne sélectionnez pas de région, la région global est utilisée, ce qui signifie que les journaux peuvent être physiquement situés dans n'importe quelle région.

  6. Facultatif: Pour définir une durée de conservation personnalisée pour les journaux dans le bucket, cliquez sur Suivant.

    Dans le champ Durée de conservation, saisissez le nombre de jours (entre 1 et 3 650 jours) pendant lesquels Cloud Logging doit conserver vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est 30 days.

    Vous pouvez également mettre à jour votre bucket pour appliquer une conservation personnalisée après l'avoir créé.

  7. Cliquez sur Créer un bucket.

    Une fois le bucket de journaux créé, Logging le met à niveau et crée l'association à l'ensemble de données, si ces options ont été sélectionnées.

    Ces étapes peuvent prendre un moment.

gcloud

Pour créer uniquement un bucket de journaux, exécutez la commande gcloud logging buckets create. Si vous souhaitez mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, incluez les options --enable-analytics et --async, et assurez-vous de définir la variable LOCATION sur une région compatible avec l'Analyse de journaux:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

L'option --async force la commande à être asynchrone. Le retour d'une méthode asynchrone est un objet Operation qui contient des informations sur la progression de la méthode. Une fois l'exécution de la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

Si vous ne souhaitez pas mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, omettez les options --enable-analytics et --async. Vous pouvez définir la variable LOCATION sur n'importe quelle région compatible.

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région asia-east2, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location asia-east2 --description "My first bucket"

Par exemple, pour créer un bucket avec le my-upgraded-bucket BUCKET_ID à l'emplacement us, puis mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, votre commande se présente comme suit:

gcloud logging buckets create my-upgraded-bucket --location us \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

API

Pour créer un bucket, utilisez la méthode projects.locations.buckets.create ou projects.locations.buckets.createAsync. Préparez les arguments de la méthode comme suit :

  1. Définissez le paramètre parent comme étant la ressource dans laquelle créer le bucket : projects/PROJECT_ID/locations/LOCATION

    La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux. Toutes les régions ne sont pas compatibles avec l'Analyse de journaux. Pour en savoir plus, consultez la section Régions où le service est disponible.

    Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région asia-east2, votre paramètre parent ressemblera à ceci: projects/my-project/locations/asia-east2

  2. Définissez le paramètre bucketId (par exemple, my-bucket).

  3. Effectuez l'une des opérations suivantes :

    • Pour créer un bucket de journaux, puis le mettre à niveau afin d'utiliser l'Analyse de journaux:

      1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.

      2. Appelez la méthode asynchrone projects.locations.buckets.createAsync pour créer le bucket.

        La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

        L'exécution de la méthode createAsync prend plusieurs minutes. Cette méthode ne génère pas de message d'erreur et n'échoue pas lorsque la valeur booléenne analyticsEnabled est définie sur true et que la région n'est pas compatible avec les buckets mis à niveau. Par exemple, si vous définissez l'emplacement sur asia-east2, le bucket de journaux est créé, mais il n'est pas mis à niveau pour utiliser l'Analyse de journaux.

    • Sinon, appelez la méthode synchrone projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, créez un récepteur pour acheminer les entrées de journal vers votre bucket et configurer des vues de journaux pour contrôler qui peut accéder aux journaux de votre nouveau bucket et les journaux qui peuvent y accéder. Vous pouvez également mettre à jour le bucket pour configurer une conservation personnalisée et des champs restreints.

Suivre le volume de journaux stockés dans des buckets de journaux

La page Stockage des journaux de la console Google Cloud permet de suivre le volume de données de journaux stockées dans des buckets de journaux:

Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

Accéder à la page Stockage des journaux

La page Stockage des journaux affiche un résumé des statistiques de votre projet Google Cloud:

Les statistiques récapitulatives indiquent la quantité de données de journaux stockées dans des buckets de journaux pour le projet sélectionné.

Les statistiques suivantes sont consignées :

  • Ingestion du mois en cours: quantité de données de journaux que votre projet Google Cloud a stockées dans des buckets de journaux depuis le premier jour du mois calendaire en cours.

  • Ingestion du mois précédent: quantité de données de journaux que votre projet Google Cloud a stockées dans des buckets de journaux au cours du dernier mois calendaire.

  • Ingestion prévue à la fin du mois: quantité estimée de données de journaux que votre projet Google Cloud stockera dans des buckets de journaux d'ici la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.

  • Stockage facturable du mois en cours: quantité de données de journaux conservées pendant plus de 30 jours qui est facturée.

Les statistiques précédentes n'incluent pas les journaux du bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de la console Google Cloud fournit des outils qui vous permettent de réduire les frais de stockage de journaux dans des buckets de journaux ou de stockage dépassant votre attribution mensuelle. Vous pouvez procéder comme suit :

  • Désactivez le stockage des journaux au niveau du bucket.
  • empêcher le stockage de certaines entrées de journaux dans des buckets de journaux ;

Pour en savoir plus, consultez la page Gérer les récepteurs.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de la Google Cloud CLI ou de la console Google Cloud.

Mettre à jour un bucket

Pour mettre à jour les propriétés de votre bucket, telles que la description ou la durée de conservation, procédez comme suit:

console Google Cloud

Pour mettre à jour les propriétés de votre bucket, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Pour le bucket que vous souhaitez mettre à jour, cliquez sur Plus.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les propriétés de votre bucket, exécutez la commande gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

API

Pour mettre à jour les propriétés de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging.

Mettre à niveau un bucket pour utiliser l'Analyse de journaux

Pour mettre à niveau un bucket existant afin d'utiliser l'Analyse de journaux, les restrictions suivantes s'appliquent:

  • Le bucket de journaux a été créé au niveau du projet Google Cloud.
  • Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket _Required.
  • Le bucket ne comporte aucune mise à jour en attente.
  • Toutes les régions ne sont pas compatibles avec l'Analyse de journaux. Pour en savoir plus, consultez la section Régions où le service est disponible.

console Google Cloud

Pour mettre à niveau un bucket existant afin d'utiliser l'Analyse de journaux, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Recherchez le bucket que vous souhaitez mettre à niveau.

  3. Lorsque la colonne Analyse de journaux disponible affiche Mettre à niveau, vous pouvez mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux. Cliquez sur Passer au niveau supérieur.

    Une boîte de dialogue s'ouvre. Cliquez sur Confirm (Confirmer).

gcloud

Pour mettre à niveau votre bucket de journaux afin d'utiliser l'Analyse de journaux, exécutez la commande gcloud logging buckets update. Vous devez définir l'option --enable-analytics. Nous vous recommandons également d'inclure l'option --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

L'option --async force la commande à être asynchrone. Le retour d'une méthode asynchrone est un objet Operation qui contient des informations sur la progression de la méthode. Une fois l'exécution de la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

API

Pour mettre à niveau un bucket de journaux afin d'utiliser l'Analyse de journaux, utilisez la méthode projects.locations.buckets.updateAsync de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.
  2. Utilisez updateMask=analyticsEnabled comme paramètre de requête de la commande.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

L'opération updateAsync peut prendre plusieurs minutes.

Lorsque vous souhaitez analyser vos données de journaux à l'aide des fonctionnalités de BigQuery, mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, puis créez un ensemble de données associé. Avec cette configuration, vous pouvez utiliser BigQuery pour lire les journaux stockés dans le bucket de journaux.

console Google Cloud

Pour créer un lien vers un ensemble de données BigQuery pour un bucket de journaux existant, procédez comme suit:

  1. Consultez la section Avant de commencer de ce document.

  2. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  3. Recherchez le bucket de journaux et vérifiez que la colonne Analyse de journaux disponible indique Ouvert.

    Si cette colonne affiche Mettre à niveau, cela signifie que le bucket de journaux n'a pas été mis à niveau pour utiliser l'Analyse de journaux. Configurez l'Analyse de journaux:

    1. Cliquez sur Mettre à jour.
    2. Cliquez sur Confirmer dans la boîte de dialogue.

    Une fois la mise à niveau terminée, passez à l'étape suivante.

  4. Dans le bucket de journaux, cliquez sur Plus, puis sur Modifier le bucket.

    La boîte de dialogue Modifier le bucket de journaux s'ouvre.

  5. Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez le nom du nouvel ensemble de données.

    Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous saisissez le nom d'un ensemble de données existant, l'erreur suivante s'affiche : Dataset name must be unique in the selected region.

  6. Cliquez sur Done (OK), puis sur Update bucket (Mettre à jour le bucket).

    Une fois que Logging affiche le nom de l'ensemble de données associé sur la page Stockage des journaux, BigQuery peut mettre plusieurs minutes à reconnaître l'ensemble de données.

gcloud

Pour créer un ensemble de données associé pour un bucket de journaux mis à niveau pour utiliser l'Analyse de journaux, exécutez la commande gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Le champ LINK_ID doit être unique pour votre projet Google Cloud.

La commande links create est asynchrone. Le retour d'une méthode asynchrone est un objet Operation qui contient des informations sur la progression de la méthode. Une fois l'exécution de la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

L'exécution de la commande links create prend plusieurs minutes.

Par exemple, la commande suivante crée un ensemble de données associé pour le bucket nommé my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, vous obtenez l'erreur suivante:

BigQuery dataset with name "my-bucket" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'est pas mis à niveau pour utiliser l'Analyse de journaux, l'erreur suivante est signalée:

A link can only be created for an analytics-enabled bucket.

API

Si vous souhaitez associer un ensemble de données BigQuery à un bucket de journaux existant mis à niveau à l'aide de l'Analyse de journaux, appelez la méthode asynchrone projects.locations.buckets.links.create de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

  1. Créez le corps de la requête pour la commande create. Le corps de la requête est mis en forme en tant qu'objet Link.
  2. Utilisez linkId=LINK_ID comme paramètre de requête de la commande. Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données. Par conséquent, LINK_ID partage la même valeur que DATASET_ID en sortie uniquement.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois l'exécution de la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.

L'exécution de la méthode links.create prend plusieurs minutes.

Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous tentez de créer un ensemble de données portant le même nom qu'un ensemble de données existant, vous obtenez l'erreur suivante:

BigQuery dataset with name "my-bucket" already exists.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'est pas mis à niveau pour utiliser l'Analyse de journaux, l'erreur suivante est signalée:

A link can only be created for an analytics-enabled bucket.

Verrouiller un bucket

Lorsque vous verrouillez un bucket contre les mises à jour, vous verrouillez également sa règle de conservation. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que chaque entrée de journal qu'il contient n'a pas atteint la fin de sa durée de conservation.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

console Google Cloud

La console Google Cloud ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'option --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

API

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Répertorier les buckets

Pour répertorier les buckets de journaux associés à un projet Google Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit:

console Google Cloud

Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

Accéder à la page Stockage des journaux

La table Buckets de journaux répertorie les buckets associés au projet Google Cloud en cours.

La table répertorie les attributs suivants pour chaque bucket de journaux :

  • Name (Nom) : nom du bucket de journaux.
  • Description: description du bucket.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec le symbole avertissement .

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

  • LOCATION : région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID: nom du bucket de journaux.
  • RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED : indique si le bucket est verrouillé ou non.
  • CREATE_TIME : horodatage indiquant la date de création du bucket.
  • UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région global, exécutez la commande gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

API

Pour répertorier les buckets de journaux associés à un projet Google Cloud, utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

console Google Cloud

Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

Accéder à la page Stockage des journaux

Dans le bucket de journaux, cliquez sur Plus, puis sélectionnez Afficher les détails du bucket.

La boîte de dialogue répertorie les attributs suivants pour le bucket de journaux:

  • Name (Nom) : nom du bucket de journaux.
  • Description: description du bucket de journaux.
  • Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Région : emplacement géographique où les données du bucket sont stockées.
  • Analyse de journaux: indique si votre bucket est mis à niveau pour utiliser l'Analyse de journaux.
  • Analyse BigQuery: indique si un ensemble de données BigQuery est associé à votre bucket.
  • Ensemble de données BigQuery: fournit un lien vers votre ensemble de données BigQuery, qui s'ouvre dans la page BigQuery Studio. La date d'activation de l'association à BigQuery s'affiche également.

gcloud

Exécutez la commande gcloud logging buckets describe.

Par exemple, la commande suivante affiche les détails du bucket _Default:

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux:

  • createTime : horodatage indiquant la date de création du bucket.
  • description: description du bucket de journaux.
  • lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
  • name: nom du bucket de journaux.
  • retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime : horodatage indiquant la date de la dernière modification du bucket.

API

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Supprimer un bucket

Pour supprimer un bucket de journaux, procédez comme suit :

console Google Cloud

Pour supprimer un bucket de journaux, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur Plus.

  3. Si la colonne Ensemble de données associé dans BigQuery affiche un lien, supprimez l'ensemble de données BigQuery associé:

    1. Cliquez sur Modifier le bucket.

    2. Décochez la case Créer un ensemble de données BigQuery associé à ce bucket, cliquez sur OK, puis sur Mettre à jour le bucket.

      Une fois revenu sur la page Stockage des journaux, cliquez sur Plus pour le bucket que vous souhaitez supprimer, puis passez aux étapes suivantes.

  4. Cliquez sur Supprimer le bucket.

  5. Dans le panneau de confirmation, cliquez sur Supprimer.

  6. Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Vous ne pouvez pas supprimer un bucket de journaux s'il est associé à un ensemble de données BigQuery:

API

Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

La suppression d'un bucket de journaux est une erreur lorsque celui-ci est associé à un ensemble de données BigQuery. Vous devez supprimer l'ensemble de données associé avant de supprimer le bucket de journaux:

Un bucket supprimé reste dans l'état "en attente de suppression" pendant sept jours et Logging continue d'acheminer des journaux vers le bucket pendant cette période. Pour arrêter l'acheminement des journaux vers un bucket supprimé, vous devez supprimer les récepteurs de journaux qui ont ce bucket en tant que destination, ou modifier le filtre des récepteurs acheminant des journaux vers ce bucket.

Vous ne pouvez pas créer de bucket de journaux portant le même nom qu'un bucket supprimé en attente.

Restaurer un bucket supprimé

Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

console Google Cloud

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Pour le bucket que vous souhaitez restaurer, cliquez sur Plus, puis sélectionnez Restaurer le bucket supprimé.

  3. Dans le panneau de confirmation, cliquez sur Restaurer.

  4. Sur la page Stockage des journaux, l'indicateur en attente de suppression est supprimé de votre bucket de journaux.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

API

Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

Alerte concernant les octets de journaux mensuels stockés dans des buckets de journaux

Pour créer une règle d'alerte, sur la page Stockage des journaux de la console Google Cloud, cliquez sur Créer une alerte d'utilisation. Ce bouton ouvre la page Créer une règle d'alerte dans Monitoring et renseigne le champ "Type de métrique" avec logging.googleapis.com/billing/bytes_ingested.

Pour créer une règle d'alerte qui se déclenche lorsque le nombre d'octets de journaux écrits dans vos buckets de journaux dépasse la limite définie par l'utilisateur pour Cloud Logging, utilisez les paramètres suivants.

ChampNouvelle condition

Valeur
Ressource et métrique Dans le menu Ressources, sélectionnez Global.
Dans le menu Catégories de métriques, sélectionnez Métrique basée sur les journaux.
Dans le menu Métriques, sélectionnez Monthly log bytes ingested (Octets de journaux mensuels ingérés).
Filter None.
Dans toutes les séries temporelles
Agrégation de séries temporelles
sum
Fenêtre glissante 60 m
Fenêtrage glissant max
Champ Configurer le déclencheur d'alerte

Valeur
Type de condition Threshold
Déclencheur d'alerte Any time series violates
Position du seuil Above threshold
Valeur du seuil Vous définissez la valeur acceptable.
Fenêtre du nouveau test La valeur minimale acceptable est de 30 minutes.

Pour en savoir plus sur les règles d'alerte, consultez la page Présentation des alertes.

Écrire dans un bucket

Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt les journaux dans une ressource Google Cloud: un projet, un dossier ou une organisation Google Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.

Lire des données à partir d'un bucket

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Les vues de journaux vous permettent d'accorder à un utilisateur l'accès uniquement à un sous-ensemble des journaux stockés dans un bucket de journaux. Pour en savoir plus sur la configuration des vues de journaux et sur l'attribution d'un accès à des vues spécifiques, consultez la section Configurer des vues de journaux sur un bucket de journaux.

Pour lire les journaux d'un bucket de journaux, procédez comme suit :

console Google Cloud

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Explorateur de journaux :

    Accéder à l'explorateur de journaux

  2. Pour personnaliser les journaux à afficher dans l'explorateur de journaux, cliquez sur Affiner le champ d'application, puis sélectionnez une option:

    • Pour afficher tous les journaux générés dans le projet en cours ou acheminés directement vers celui-ci, sélectionnez Champ d'application par projet actuel.

    • Pour afficher certains journaux stockés dans des buckets de journaux du projet en cours, sélectionnez Recherche par espace de stockage, puis une ou plusieurs vues de journaux.

    • Pour afficher certains journaux stockés dans des buckets de journaux situés dans différents projets, sélectionnez "Limiter par espace de stockage", cliquez sur Importer un projet dans le sélecteur de projet et de vue de journaux, puis sélectionnez une ou plusieurs vues de journaux.

  3. Cliquez sur Appliquer. Le volet Résultats de la requête est actualisé avec les journaux correspondant à l'option que vous avez sélectionnée.

Pour en savoir plus sur la personnalisation des journaux affichés dans l'explorateur de journaux, consultez la section Présentation de l'explorateur de journaux: Affiner le champ d'application.

gcloud

Pour lire les journaux d'un bucket de journaux, exécutez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner les données:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

API

Pour lire les journaux d'un bucket de journaux, utilisez la méthode entries.list. Définissez resourceNames pour spécifier le bucket et la vue de journaux appropriés, et définissez filter pour sélectionner les données.

Pour obtenir des informations détaillées sur la syntaxe de filtrage, consultez la page Langage de requête Logging.

Configurer la conservation personnalisée

Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket. Vous pouvez configurer la durée de conservation pour n'importe quel bucket de journaux défini par l'utilisateur, ainsi que pour le bucket de journaux _Default.

Si vous réduisez la durée de conservation du bucket, les journaux expirés ne sont pas supprimés pendant un délai de grâce de sept jours. Vous ne pouvez pas interroger ni afficher ces journaux expirés, mais au cours de ces sept jours, vous pouvez restaurer l'accès complet en prolongeant la conservation du bucket. Les journaux stockés pendant le délai de grâce sont comptabilisés dans vos coûts de conservation.

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

console Google Cloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Stockage des journaux :

    Accéder à la page Stockage des journaux

  2. Pour le bucket que vous souhaitez mettre à jour, cliquez sur Plus, puis sélectionnez Modifier le bucket.

  3. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

  4. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation apparaît dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande gcloud logging buckets update après avoir défini une valeur pour RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux dans le bucket _Default à l'emplacement global pendant un an, votre commande se présente comme suit:

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Méthodes d'API asynchrones

La réponse d'une méthode asynchrone telle que projects.locations.buckets.createAsync est un objet Operation.

Les applications qui appellent une méthode API asynchrone doivent interroger le point de terminaison operation.get jusqu'à ce que la valeur du champ Operation.done soit true:

  • Lorsque l'état done est défini sur false, l'opération est en cours.

    Pour actualiser les informations d'état, envoyez une requête GET au point de terminaison operation.get.

  • Lorsque done est défini sur true, l'opération est terminée et le champ error ou response est défini:

    • error: si défini, l'opération asynchrone a échoué. La valeur de ce champ est un objet Status qui contient un code d'erreur gRPC et un message d'erreur.
    • response: si défini, l'opération asynchrone est terminée et la valeur reflète le résultat.

Pour interroger une commande asynchrone à l'aide de la Google Cloud CLI, exécutez la commande suivante:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Pour en savoir plus, consultez la page gcloud logging operations describe.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit :

  • Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez la page Contrôle des accès avec IAM.

  • Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

  • Vérifiez que le bucket de journaux n'est associé à aucun ensemble de données BigQuery. Vous ne pouvez pas supprimer un bucket de journaux auquel un ensemble de données est associé.

    L'erreur suivante s'affiche en réponse à une commande delete sur un bucket de journaux auquel un ensemble de données est associé:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket
    

    Pour répertorier les liens associés à un bucket de journaux, exécutez la commande gcloud logging links list ou la méthode API projects.locations.buckets.links.list.

Quels comptes de service acheminent les journaux vers mon bucket ?

Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez IAM :

    Accéder à IAM

  2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Une table s'affiche avec tous les rôles et comptes principaux IAM associés à votre projet Google Cloud.

  3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

    Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne gserviceaccount.com.

  4. Facultatif: Si vous souhaitez empêcher un compte de service d'acheminer les journaux vers votre projet Google Cloud, cochez la case correspondant au compte de service, puis cliquez sur Supprimer.

Pourquoi les journaux d'un projet Google Cloud s'affichent-ils alors que je les ai exclus de mon récepteur _Default ?

Vous consultez peut-être des journaux dans un bucket de journaux d'un projet Google Cloud centralisé, qui agrège les journaux de l'ensemble de votre organisation.

Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et consulter ceux que vous avez exclus du récepteur _Default, votre vue peut être limitée au niveau du projet Google Cloud.

Pour résoudre ce problème, sélectionnez Recherche par espace de stockage dans le panneau Affiner le champ d'application, puis sélectionnez le bucket _Default dans votre projet Google Cloud. Vous ne devriez plus voir les journaux exclus.

Étapes suivantes

Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :