Configurer et gérer les buckets de journaux

Cette page explique comment créer et gérer des buckets Cloud Logging à l'aide de Cloud Console et de l'outil de ligne de commande gcloud. Vous pouvez également créer et gérer des buckets à l'aide de l'API Logging.

Pour obtenir une présentation conceptuelle des buckets, consultez la page Présentation du routage et du stockage: buckets de journaux.

Avant de commencer

Pour commencer à utiliser les buckets, procédez comme suit:

  • Assurez-vous d'avoir activé la facturation pour votre projet Google Cloud.

  • Vérifiez que vous disposez des autorisations nécessaires pour créer et gérer les buckets de votre projet Cloud. Pour obtenir la liste des autorisations et des rôles dont vous avez besoin pour accéder aux données stockées dans des buckets, consultez le guide du contrôle des accès.

  • Comprenez les exigences de mise en forme de LogBucket, y compris les régions compatibles dans lesquelles vous pouvez stocker vos journaux.

Créer un bucket

Vous pouvez créer 100 buckets au maximum par projet Cloud.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Cloud, procédez comme suit:

Console

Pour créer un bucket de journaux dans votre projet Cloud, procédez comme suit:

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder à la page "Stockage des journaux"

  2. Cliquez sur Créer un bucket de journaux.

  3. Saisissez un Nom et une Description pour votre bucket.

  4. (Facultatif) Pour définir la région dans laquelle vous souhaitez stocker vos journaux, cliquez sur le menu déroulant Sélectionner le bucket de journaux. et sélectionnez une région. Si vous ne sélectionnez pas de région, la région global est utilisée. Cela signifie que les journaux peuvent se trouver physiquement dans l'une des régions.

  5. (Facultatif) Pour définir une durée de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

    Dans le champ Conservation, saisissez le nombre de jours, compris entre un et 3 650 jours, pendant lesquels Cloud Logging conservera vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est 30 days.

    Vous pouvez également mettre à jour votre bucket avec une conservation personnalisée après l'avoir créé.

  6. Cliquez sur Create bucket (Créer un bucket). Votre nouveau bucket s'affiche dans la liste Bucket de journaux.

gcloud

Pour créer un bucket de journaux dans votre projet Cloud, exécutez la commande gcloud logging buckets create:

gcloud logging buckets create BUCKET_ID --location=LOCATION OPTIONAL_FLAGS

La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.

Par exemple, si vous souhaitez créer un bucket avec le paramètre BUCKET_ID my-bucket dans la région asia-east2, votre commande se présente comme suit:

gcloud logging buckets create my-bucket --location asia-east2 --description "My first bucket"

Après avoir créé un bucket, vous pouvez configurer des vues de journaux pour contrôler qui peut accéder aux journaux de votre nouveau bucket et quels journaux sont accessibles.

Suivre l'ingestion de journaux

La page Stockage des journaux de Cloud Console permet de suivre le volume de données de journaux ingérées par les buckets de journaux.

Pour suivre l'ingestion des données de journaux pour votre projet Cloud, accédez à la page Stockage des journaux dans la console:

Accéder à la page "Stockage des journaux"

La page Stockage des journaux affiche un récapitulatif des statistiques de votre projet Cloud:

Le rapport de statistiques récapitulatives consigne les montants d'ingestion de données pour le projet actuellement sélectionné.

Les statistiques suivantes sont consignées :

  • Volume total actuel: quantité de données de journaux ingérées par votre projet Cloud depuis le premier jour du mois calendaire en cours.

  • Volume du mois précédent: quantité de données de journaux ingérées par votre projet Cloud au cours du dernier mois calendaire.

  • Volume prévu par EOM: estimation de la quantité de données de journaux ingérées par votre projet Cloud d'ici la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.

Les statistiques de volume d'ingestion de journaux n'incluent pas le bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de Cloud Console fournit des outils que vous pouvez utiliser pour réduire les frais d'ingestion ou de stockage de journaux dépassant votre attribution mensuelle. Vous pouvez procéder comme suit :

  • Désactivez l'ingestion de journaux au niveau du bucket.
  • Excluez certaines entrées de journal de l'ingestion dans Logging.

Pour en savoir plus, consultez la page Gérer les récepteurs.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de l'outil de ligne de commande gcloud ou de Google Cloud Console.

Mettre à jour un bucket

Pour mettre à jour les attributs de votre bucket, procédez comme suit:

Console

Pour mettre à jour les attributs de votre bucket, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder à la page "Stockage des journaux"

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez mettre à jour.

  3. Cliquez sur Modifier le bucket.

  4. Modifiez votre bucket comme désiré.

  5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les attributs de votre bucket, exécutez la commande gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

Verrouiller un bucket

Lorsque vous verrouillez un bucket contre des mises à jour, cela inclut le verrouillage de la règle de conservation du bucket. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de chaque journal n'a pas été satisfaite.

Pour empêcher quiconque de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit:

Console

Cloud Console ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller le bucket, exécutez la commande gcloud logging buckets update avec l'option --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

Répertorier les buckets

Pour répertorier les buckets de journaux associés à un projet Cloud et afficher des détails tels que les paramètres de conservation, procédez comme suit:

Console

Accédez à la page Stockage des journaux:

Accéder à la page "Stockage des journaux"

Le tableau Buckets de journaux s'affiche. Il répertorie les buckets associés au projet Cloud en cours.

Le tableau répertorie les attributs suivants pour chaque bucket de journaux:

  • Name (Nom) : nom donné au bucket lors de sa création.
  • Description: description attribuée au bucket lors de sa création.
  • Durée de conservation: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Region (Région) : emplacement géographique où les données du bucket sont stockées.
  • État: indique si le bucket est verrouillé ou déverrouillé.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec un avertissement .

gcloud

Exécutez la commande gcloud logging buckets list:

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux:

  • LOCATION: région dans laquelle les données du bucket sont stockées.
  • BUCKET_ID: nom attribué au bucket lors de sa création.
  • RETENTION_DAYS: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • LIFECYCLE_STATE: indique si le bucket est en attente de suppression par Cloud Logging.
  • LOCKED: indique si le bucket est verrouillé ou déverrouillé.
  • CREATE_TIME: horodatage qui indique la date de création du bucket.
  • UPDATE_TIME: horodatage qui indique la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région "global", exécutez la commande gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

Afficher les détails d'un bucket

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit:

Console

Accédez à la page Stockage des journaux:

Accéder à la page "Stockage des journaux"

Sur le bucket de journaux, cliquez sur Plus > Afficher les détails du bucket.

La boîte de dialogue répertorie les attributs suivants pour le bucket de journaux:

  • Name (Nom) : nom donné au bucket lors de sa création.
  • Description: description attribuée au bucket lors de sa création.
  • Durée de conservation: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • Region (Région) : emplacement géographique où les données du bucket sont stockées.

gcloud

Exécutez la commande gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux:

  • createTime: horodatage qui indique la date de création du bucket.
  • description: description donnée au bucket lors de sa création.
  • lifecycleState: indique si le bucket est en attente de suppression par Cloud Logging.
  • name: nom attribué au bucket lors de sa création.
  • retentionDays: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
  • updateTime: horodatage qui indique la date de la dernière modification du bucket.

Supprimer un bucket

Pour supprimer un bucket de journaux, procédez comme suit:

Console

Pour supprimer un bucket de journaux, procédez comme suit:

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder à la page "Stockage des journaux"

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez supprimer.

  3. Cliquez sur Supprimer le bucket.

  4. Dans le panneau de confirmation, cliquez sur Supprimer.

  5. Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Un bucket supprimé reste dans cet état pendant sept jours, et Logging continue à acheminer les journaux vers le bucket pendant cette période. Pour arrêter de router les journaux vers un bucket supprimé, vous pouvez supprimer les récepteurs qui ont ce bucket en tant que destination. Vous pouvez également modifier le filtre des récepteurs pour qu'ils acheminent les journaux vers le bucket supprimé.

Restaurer un bucket supprimé

Vous pouvez restaurer un bucket de journaux dont l'état de suppression est en attente ou annuler sa suppression. Pour restaurer un bucket de journaux, procédez comme suit:

Console

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit:

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder à la page "Stockage des journaux"

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez restaurer.

  3. Cliquez sur Restaurer un bucket supprimé.

  4. Dans le panneau de confirmation, cliquez sur Restaurer.

  5. Sur la page Stockage des journaux, l'indicateur de suppression en attente est retiré de votre bucket.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging logging undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

Écrire dans un bucket

Vous n'écrivez pas directement les journaux dans un bucket de journaux. Il vous suffit d'écrire des journaux dans la ressource Google Cloud: un projet, un dossier ou une organisation Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers des destinations, y compris des buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsqu'ils correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.

Lire à partir d'un bucket

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez accéder à un affichage de journal sur le bucket. Pour en savoir plus sur les vues de journaux, consultez la page Gérer les vues de journaux.

Pour lire les journaux d'un bucket de journaux, procédez comme suit:

Console

Vous pouvez affiner le champ d'application des journaux affichés dans l'explorateur de journaux à l'aide de l'option Affiner le champ d'application. Vous ne pouvez rechercher que les journaux du projet Cloud actuel ou les journaux d'une ou plusieurs vues de stockage. Pour affiner le champ d'application de l'explorateur de journaux, procédez comme suit:

  1. Dans le menu "Journalisation", sélectionnez Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Sélectionnez Affiner le niveau d'accès.

  3. Dans la boîte de dialogue Affiner le champ d'application, sélectionnez une option Portée par.

  4. Sélectionnez Recherche par espace de stockage et choisissez un ou plusieurs buckets à afficher.

    La boîte de dialogue répertorie les vues de stockage qui remplissent les conditions suivantes:

    • Vous avez accès à la vue "Stockage".
    • Les buckets de journaux appartiennent au projet Cloud sélectionné, ou celui-ci a précédemment acheminé les journaux vers les buckets de stockage.

gcloud

Pour lire les journaux d'un bucket de journaux, exécutez la commande gcloud logging read:

gcloud logging read --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

Configurer la conservation personnalisée

Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket. Vous pouvez configurer la durée de conservation de n'importe quel bucket de journaux défini par l'utilisateur et du bucket de journaux _Default.

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:

Console

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:

  1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

    Accéder à la page "Stockage des journaux"

  2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez mettre à jour.

  3. Cliquez sur Modifier le bucket.

  4. Dans le champ Conservation, saisissez le nombre de jours, compris entre un et 3 650 jours, pendant lesquels Cloud Logging conservera vos journaux.

  5. Cliquez sur Mettre à jour le bucket. La nouvelle durée de conservation apparaît dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande gcloud logging buckets update après avoir défini la valeur de RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, si vous souhaitez conserver les journaux du bucket _Default à l'emplacement "global" pendant un an, votre commande se présente comme suit:

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous étendez la durée de conservation d'un bucket, les règles de conservation s'appliquent à l'avenir, et non rétroactivement. Les journaux ne peuvent pas être récupérés une fois la période de conservation applicable terminée.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation de buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit:

  • Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez le guide du contrôle des accès.

  • Déterminez si le bucket est verrouillé en répertoriant les attributs de celui-ci. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux du bucket ne l'ont pas atteint pendant sa durée de conservation.

Pourquoi des journaux s'affichent-ils pour un projet Cloud alors que je les ai exclus de mon récepteur _Default ?

Vous pouvez afficher les journaux dans un bucket de journaux situé dans un projet Cloud centralisé, qui regroupe les journaux de votre organisation.

Si vous accédez aux journaux d'un projet Cloud centralisé et que vous voyez les journaux que vous avez exclus du récepteur _Default, il est possible que vous les consultiez dans l'une des conditions suivantes:

  • Afficher les journaux à l'aide de l'ancienne visionneuse de journaux, qui ne permet pas d'afficher les journaux centralisés.

    Pour résoudre ce problème, passez à l'utilisation de l'explorateur de journaux.

  • Affichez les journaux à l'aide de l'explorateur de journaux avecPortée par projet sélectionné dans laAffiner le champ d'application qui affiche les journaux générés par le projet Cloud, quel que soit l'endroit où vous les stockez.

    Pour résoudre ce problème, sélectionnez plutôt Champ d'application par stockage dans le panneau Affiner le champ d'application de l'explorateur de journaux, puis sélectionnez le bucket _Default dans votre Projet Cloud. Vous ne devriez plus voir les journaux exclus.

Pourquoi ne puis-je pas créer de métriques basées sur les journaux pour un bucket ?

Les métriques basées sur les journaux ne s'appliquent qu'à un seul projet Google Cloud. Vous ne pouvez pas les créer pour des buckets de journaux ni pour d'autres ressources Google Cloud, telles que des dossiers ou des organisations.

Étape suivante

Pour plus d'informations sur les méthodes de l'API de bucket de journaux, reportez-vous à la documentation de référence de LogBucket.

Pour en savoir plus sur la résolution des cas d'utilisation courants avec des buckets de journaux, consultez les rubriques suivantes: