Configurer les buckets de journaux

Ce document explique comment créer et gérer des buckets Cloud Logging à l'aide de la console Google Cloud, de Google Cloud CLI et de l'API Logging. Il fournit également des instructions pour créer et gérer des buckets de journaux au niveau du projet Google Cloud. Vous ne pouvez pas créer de buckets de journaux au niveau du dossier ou de l'organisation. Toutefois, Cloud Logging crée automatiquement pour vous des buckets _Default et _Required au niveau du dossier et de l'organisation.

Vous pouvez mettre à niveau des buckets de journaux pour utiliser Log Analytics. Log Analytics vous permet d'exécuter des requêtes SQL sur vos données de journaux, et vous aide à résoudre les problèmes d'application, de sécurité et de mise en réseau. Vous pouvez également utiliser BigQuery pour afficher les données stockées dans un bucket de journaux lorsque celui-ci est mis à niveau pour utiliser Log Analytics et lorsqu'un ensemble de données BigQuery associé existe. La création d'un ensemble de données associé vous permet d'associer vos données de journaux à d'autres données stockées dans BigQuery, et d'accéder à des données à partir d'autres outils tels que Looker Studio et Looker.

Pour obtenir une présentation des concepts liés aux buckets, consultez la page Présentation du routage et du stockage : buckets de journaux.

Avant de commencer

Pour faire vos premiers pas avec les buckets, procédez comme suit :

• Assurez-vous d'avoir activé la facturation pour votre projet Google Cloud.

• Assurez-vous que votre rôle Identity and Access Management (IAM) vous accorde les autorisations nécessaires pour créer, mettre à niveau et associer des buckets.

  Le rôle roles/logging.configWriter (Rédacteur de configuration des journaux) est le rôle prédéfini minimal qui accorde les autorisations requises pour gérer les buckets. Pour obtenir la liste complète des autorisations et des rôles, consultez la page Contrôle des accès avec IAM.

• Découvrez les exigences de mise en forme de LogBucket, y compris les régions compatibles dans lesquelles vous pouvez stocker vos journaux.

• Envisagez de définir un emplacement de ressources par défaut pour appliquer une région de stockage par défaut aux buckets _Required et _Default de votre organisation.

• Pour afficher les données stockées dans un bucket de journaux à l'aide de BigQuery, procédez comme suit:

  • Vérifiez que l'API BigQuery est activée. Pour vérifier que l'API est activée, répertoriez les services disponibles.

  • Votre rôle Identity and Access Management inclut les autorisations qui vous permettent de créer un ensemble de données associé. Pour en savoir plus, consultez la section Autorisations pour les ensembles de données BigQuery associés.

• Pour en savoir plus sur la création d'un bucket de journaux utilisant une clé de chiffrement gérée par le client (CMEK), consultez la page Configurer le chiffrement CMEK pour le stockage des journaux.

Create a bucket

Vous pouvez créer un maximum de 100 buckets par projet Google Cloud.

Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud, procédez comme suit:

Console Google Cloud

Pour créer un bucket de journaux dans votre projet Google Cloud, procédez comme suit:

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Cliquez sur Créer un bucket de journaux.

3. Saisissez un Nom et une Description pour votre bucket.

4. (Facultatif) Mettez à niveau votre bucket pour utiliser Log Analytics.

   Avertissement :La mise à niveau d'un bucket pour utiliser Log Analytics est définitive. Vous ne pouvez pas revenir à une version antérieure du bucket de journaux pour supprimer l'utilisation de Log Analytics.

   1. Sélectionnez Mettre à niveau pour utiliser Log Analytics.

      Lorsque vous mettez à niveau un bucket pour utiliser Log Analytics, vous pouvez interroger vos journaux sur la page Log Analytics (Analyse de journaux) à l'aide de requêtes SQL. Vous pouvez également continuer à afficher vos journaux à l'aide de l'explorateur de journaux.

      Toutes les régions ne sont pas compatibles avec Log Analytics. Pour en savoir plus, consultez la section Régions acceptées.

   2. Facultatif: Pour afficher vos journaux dans BigQuery, sélectionnez Créer un ensemble de données BigQuery associé à ce bucket et saisissez un nom d'ensemble de données unique.

      Lorsque vous sélectionnez cette option, BigQuery peut lire les données stockées dans votre bucket de journaux. Vous pouvez maintenant interroger l'interface BigQuery, où vous pouvez joindre vos données de journaux, et accéder aux données d'autres outils tels que Looker Studio et Looker.

5. Facultatif: pour sélectionner la région de stockage pour vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux, puis sélectionnez une région. Si vous ne sélectionnez pas de région, la région global est utilisée, ce qui signifie que les journaux peuvent se trouver physiquement dans n'importe quelle région.

   Remarque : Une fois le bucket de journaux créé, vous ne pouvez plus modifier la région de votre bucket. Si vous avez besoin d'un bucket dans une région différente, vous devez créer un bucket dans cette région, rediriger les récepteurs appropriés vers le nouveau bucket, puis supprimer l'ancien bucket.

6. (Facultatif) Pour définir une durée de conservation personnalisée pour les journaux du bucket, cliquez sur Suivant.

   Dans le champ Durée de conservation, saisissez le nombre de jours (entre un et 3 650 jours) pendant lesquels Cloud Logging conservera vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est 30 days.

   Vous pouvez également mettre à jour votre bucket pour lui appliquer une conservation personnalisée après l'avoir créé.

7. Cliquez sur Créer un bucket.

   Une fois le bucket de journaux créé, Logging le met à niveau et crée le lien de l'ensemble de données, si ces options ont été sélectionnées.

   La procédure peut prendre un certain temps.

gcloud

Remarque :Vous ne pouvez pas créer d'ensemble de données BigQuery associé lorsque vous créez le bucket de journaux, sauf si vous utilisez la console Google Cloud. Toutefois, si vous créez et mettez à niveau un bucket de journaux, vous pouvez utiliser la méthode de commande gcloud logging links create pour créer un ensemble de données associé.

Pour créer uniquement un bucket de journaux, exécutez la commande gcloud logging buckets create. Si vous souhaitez mettre à niveau le bucket de journaux pour utiliser Log Analytics, incluez les options --enable-analytics et --async, et assurez-vous de définir la variable LOCATION sur une région compatible avec Log Analytics:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

L'option --async force la commande à être asynchrone. Le retour d'une méthode asynchrone est un objet Operation. Il contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

Si vous ne souhaitez pas mettre à niveau le bucket de journaux pour utiliser Log Analytics, omettez les options --enable-analytics et --async. Vous pouvez définir la variable LOCATION sur n'importe quelle région compatible.

Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID my-bucket dans la région asia-east2, votre commande se présente comme suit :

gcloud logging buckets create my-bucket --location asia-east2 --description "My first bucket"

Par exemple, pour créer un bucket avec le my-upgraded-bucket BUCKET_ID à l'emplacement us, puis mettre à niveau le bucket de journaux pour utiliser Log Analytics, votre commande ressemblera à ceci:

gcloud logging buckets create my-upgraded-bucket --location us \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

Remarque : Une fois le bucket de journaux créé, vous ne pouvez plus modifier la région de votre bucket. Si vous avez besoin d'un bucket dans une région différente, vous devez créer un bucket dans cette région, rediriger les récepteurs appropriés vers le nouveau bucket, puis supprimer l'ancien bucket.

API

Remarque :Vous ne pouvez pas créer d'ensemble de données BigQuery associé dans le cadre de l'opération de création, sauf si vous utilisez la console Google Cloud. Toutefois, si vous créez et mettez à niveau un bucket de journaux, vous pouvez utiliser la méthode projects.locations.buckets.links.create pour créer un ensemble de données associé.

Pour créer un bucket, utilisez projects.locations.buckets.create ou projects.locations.buckets.createAsync. Préparez les arguments de la méthode comme suit :

1. Définissez le paramètre parent comme ressource dans laquelle créer le bucket : projects/PROJECT_ID/locations/LOCATION

   La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux. Toutes les régions ne sont pas compatibles avec Log Analytics. Pour en savoir plus, consultez la section Régions acceptées.

   Par exemple, si vous souhaitez créer un bucket pour le projet my-project dans la région asia-east2, votre paramètre parent se présentera comme suit: projects/my-project/locations/asia-east2

2. Définissez le paramètre bucketId (my-bucket, par exemple).

3. Effectuez l'une des opérations suivantes :

   • Pour créer un bucket de journaux, puis le mettre à niveau pour utiliser Log Analytics:

     1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.

        Avertissement :La mise à niveau d'un bucket de journaux pour utiliser Log Analytics est irréversible.

     2. Appelez la méthode asynchrone projects.locations.buckets.createAsync pour créer le bucket.

        La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

        L'exécution de la méthode createAsync prend plusieurs minutes. Cette méthode ne génère pas de message d'erreur ni d'échec lorsque la valeur booléenne analyticsEnabled est définie sur true et que la région n'est pas compatible avec les buckets mis à niveau. Par exemple, si vous définissez l'emplacement sur asia-east2, le bucket de journaux est créé, mais il n'est pas mis à niveau pour utiliser Log Analytics.

   • Sinon, appelez la méthode synchrone projects.locations.buckets.create pour créer le bucket.

Après avoir créé un bucket, créez un récepteur pour acheminer les entrées de journal vers votre bucket et configurez les vues de journaux pour contrôler qui peut accéder aux journaux de votre nouveau bucket et lesquels sont accessibles. Vous pouvez également mettre à jour le bucket pour configurer la conservation personnalisée et les champs restreints.

Suivre l'ingestion de journaux

La page Stockage des journaux de la console Google Cloud suit le volume de données de journaux ingérées par les buckets de journaux.

Pour suivre l'ingestion des données des journaux pour votre projet Google Cloud, accédez à la page Stockage des journaux dans la console:

Accéder à la page "Stockage des journaux"

La page Stockage des journaux affiche un résumé des statistiques de votre projet Google Cloud:

Les statistiques suivantes sont consignées :

• Ingestion du mois en cours: quantité de données de journaux ingérées par votre projet Google Cloud depuis le premier jour du mois calendaire en cours

• Ingestion du mois précédent: quantité de données de journaux ingérées par votre projet Google Cloud au cours du mois calendaire précédent.

• Projection de l'ingestion par date de fin: estimation de la quantité de données de journaux que votre projet Google Cloud aura ingérées à la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.

• Stockage facturable pour le mois en cours: quantité de données de journaux conservées pendant plus de 30 jours.

Les statistiques de volume d'ingestion de journaux n'incluent pas le bucket _Required. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.

La page Routeur de journaux de la console Google Cloud vous propose des outils qui vous permettent de minimiser les frais liés à l'ingestion ou à l'espace de stockage des journaux qui dépassent votre attribution mensuelle. Vous pouvez procéder comme suit :

• Désactivez l'ingestion de journaux au niveau du bucket.
• Excluez certaines entrées de journal de l'ingestion dans Logging.

Pour en savoir plus, consultez la page Gérer les récepteurs.

Gérer les buckets

Cette section explique comment gérer vos buckets de journaux à l'aide de Google Cloud CLI ou de la console Google Cloud.

Mettre à jour un bucket

Pour mettre à jour les propriétés de votre bucket, telles que la description ou la durée de conservation, procédez comme suit:

Console Google Cloud

Pour mettre à jour les propriétés de votre bucket, procédez comme suit:

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Cliquez sur Plus pour le bucket que vous souhaitez mettre à jour.

3. Cliquez sur Modifier le bucket.

4. Modifiez votre bucket comme désiré.

5. Cliquez sur Mettre à jour le bucket.

gcloud

Pour mettre à jour les propriétés de votre bucket, exécutez la commande gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemple :

gcloud logging buckets update my-bucket --location=global --description "Updated description"

API

Pour mettre à jour les propriétés de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging.

Mettre à niveau un bucket pour utiliser Log Analytics

Avertissement :La mise à niveau d'un bucket de journaux pour utiliser Log Analytics est irréversible. Seules les entrées de journal écrites après la mise à niveau sont disponibles pour analyse.

Pour mettre à niveau un bucket existant afin d'utiliser Log Analytics, les restrictions suivantes s'appliquent:

• Le bucket de journaux a été créé au niveau du projet Google Cloud.
• Le contrôle des accès au niveau du champ n'est pas configuré.
• Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket _Required.
• Il n'existe aucune mise à jour en attente du bucket.

• Toutes les régions ne sont pas compatibles avec Log Analytics. Pour en savoir plus, consultez la section Régions acceptées.

Console Google Cloud

Pour mettre à niveau un bucket existant afin d'utiliser Log Analytics, procédez comme suit:

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Recherchez le bucket que vous souhaitez mettre à niveau.

3. Lorsque la colonne Log Analytics disponible affiche Mettre à niveau, vous pouvez mettre à niveau le bucket de journaux pour utiliser Log Analytics. Cliquez sur Mettre à niveau.

   Une boîte de dialogue s'affiche. Cliquez sur Confirmer.

gcloud

Pour mettre à niveau votre bucket de journaux afin d'utiliser Log Analytics, exécutez la commande gcloud logging buckets update. Vous devez définir l'indicateur --enable-analytics, et nous vous recommandons d'inclure également l'indicateur --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

L'option --async force la commande à être asynchrone. Le retour d'une méthode asynchrone est un objet Operation contenant des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

Remarque :Ne mettez à jour aucune autre propriété d'un bucket de journaux lorsque vous le mettez à niveau pour utiliser Log Analytics. Par exemple, un appel à la commande update qui modifie la durée de conservation et met à niveau le bucket de journaux échoue.

API

Pour mettre à niveau un bucket de journaux afin d'utiliser Log Analytics, utilisez la méthode projects.locations.buckets.updateAsync de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

1. Définissez la valeur booléenne LogBucket.analyticsEnabled sur true.
2. Pour le paramètre de requête de la commande, utilisez updateMask=analyticsEnabled.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

updateAsync peut prendre plusieurs minutes.

Créer un ensemble de données BigQuery associé

Lorsque vous souhaitez exploiter les fonctionnalités de BigQuery pour analyser vos données de journalisation, mettez à niveau un bucket de journaux pour utiliser Log Analytics, puis créez un ensemble de données associé. Avec cette configuration, vous pouvez utiliser BigQuery pour lire les journaux stockés dans le bucket de journaux.

Remarque :Un bucket de journaux ne peut être associé qu'à un seul ensemble de données BigQuery.

Console Google Cloud

Pour créer un lien vers un ensemble de données BigQuery pour un bucket de journaux existant, procédez comme suit:

1. Consultez la section Avant de commencer de ce document.

2. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

3. Recherchez le bucket de journaux et vérifiez que la colonne Log Analytics available (Analyse de journaux disponible) affiche Open (Ouvrir).

   Si cette colonne affiche Mise à niveau, cela signifie que le bucket de journaux n'a pas été mis à niveau pour utiliser Log Analytics. Configurez Log Analytics:

   1. Cliquez sur Mettre à jour.
   2. Cliquez sur Confirmer dans la boîte de dialogue.

   Une fois la migration terminée, passez à l'étape suivante.

4. Dans le bucket de journaux, cliquez sur Plus, puis sur Modifier le bucket.

   La boîte de dialogue Modifier le bucket de journaux s'ouvre.

5. Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket, puis saisissez le nom du nouvel ensemble de données. Le nom de l'ensemble de données doit être unique pour votre projet Google Cloud.

6. Cliquez sur OK, puis sur Mettre à jour le bucket.

   Une fois que Logging affiche le nom de l'ensemble de données associé sur la page Stockage des journaux, plusieurs minutes peuvent s'écouler avant que BigQuery ne reconnaisse l'ensemble de données.

gcloud

Pour créer un ensemble de données associé pour un bucket de journaux mis à niveau afin d'utiliser Log Analytics, exécutez la commande gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

Le champ LINK_ID doit être unique pour votre projet Google Cloud.

La commande links create est asynchrone. Le retour d'une méthode asynchrone est un objet Operation contenant des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la commande links create prend plusieurs minutes.

Par exemple, la commande suivante crée un ensemble de données associé pour le bucket my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser Log Analytics, l'erreur suivante est signalée:

A link can only be created for an analytics-enabled bucket.

API

Pour créer un ensemble de données BigQuery associé à un bucket de journaux existant mis à niveau à l'aide de Log Analytics, appelez la méthode asynchrone projects.locations.buckets.links.create de l'API Cloud Logging.

Préparez les arguments de la méthode comme suit :

1. Créez un objet Link.
2. Pour le paramètre de requête de la commande, utilisez linkId=LINK_ID.

La réponse aux méthodes asynchrones est un objet Operation. Cet objet contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation contient l'état. Pour en savoir plus, consultez Méthodes d'API asynchrones.

L'exécution de la méthode links.create prend plusieurs minutes.

Si vous tentez de créer un ensemble de données associé pour un bucket de journaux qui n'a pas été mis à niveau pour utiliser Log Analytics, l'erreur suivante est signalée:

A link can only be created for an analytics-enabled bucket.

Verrouiller un bucket

Avertissement : Le verrouillage d'un bucket de journaux est irréversible.

Lorsque vous verrouillez un bucket contre les mises à jour, ses règles de conservation sont également verrouillées. Une fois qu'une règle de conservation est verrouillée, vous ne pouvez pas supprimer le bucket tant que la durée de conservation de ce dernier n'a pas été atteinte pour tous les journaux qu'il contient.

Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :

Console Google Cloud

La console Google Cloud ne permet pas de verrouiller un bucket de journaux.

gcloud

Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update avec l'option --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemple :

gcloud logging buckets update my-bucket --location=global --locked

API

Pour verrouiller les attributs de votre bucket, utilisez projects.locations.buckets.patch dans l'API Logging. Définissez le paramètre locked sur true.

Répertorier les buckets

Pour répertorier les buckets de journaux associés à un projet Google Cloud et afficher les détails, tels que les paramètres de conservation, procédez comme suit:

Console Google Cloud

Accédez à la page Stockage des journaux :

Accéder à la page "Stockage des journaux"

Une table nommée Buckets de journaux répertorie les buckets associés au projet Google Cloud actuel.

La table répertorie les attributs suivants pour chaque bucket de journaux :

• Nom: le nom du bucket de journaux.
• Description: la description du bucket.
• Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
• Région : emplacement géographique où les données du bucket sont stockées.
• État : indique si le bucket est verrouillé ou non.

Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec un avertissement .

gcloud

Exécutez la commande gcloud logging buckets list :

gcloud logging buckets list

Les attributs suivants s'affichent pour les buckets de journaux :

• LOCATION : région dans laquelle les données du bucket sont stockées.
• BUCKET_ID: nom du bucket de journaux.
• RETENTION_DAYS : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
• LIFECYCLE_STATE : indique si le bucket est en attente de suppression par Cloud Logging.
• LOCKED : indique si le bucket est verrouillé ou non.
• CREATE_TIME : horodatage indiquant la date de création du bucket.
• UPDATE_TIME : horodatage indiquant la date de la dernière modification du bucket.

Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher les détails du bucket de journaux _Default dans la région global, exécutez la commande gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

API

Pour répertorier les buckets de journaux associés à un projet Google Cloud, utilisez projects.locations.buckets.list dans l'API Logging.

Afficher les détails d'un bucket

Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :

Console Google Cloud

Accédez à la page Stockage des journaux :

Accéder à la page "Stockage des journaux"

Dans le bucket de journaux, cliquez sur Plus > Afficher les détails du bucket.

La boîte de dialogue répertorie les attributs suivants pour le bucket de journaux :

• Nom: le nom du bucket de journaux.
• Description: la description du bucket de journaux.
• Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
• Région : emplacement géographique où les données du bucket sont stockées.
• Log analytics (Analyse de journaux) : indique si votre bucket est mis à niveau pour utiliser Log Analytics.
• Analyse BigQuery: indique si un ensemble de données BigQuery est associé à votre bucket.
• Ensemble de données BigQuery: fournit un lien vers votre ensemble de données BigQuery, qui s'ouvre sur la page de l'espace de travail SQL BigQuery. La date à laquelle l'association BigQuery a été activée s'affiche également.

gcloud

Exécutez la commande gcloud logging buckets describe.

Par exemple, la commande suivante renvoie les détails du bucket _Default:

gcloud logging buckets describe _Default --location=global

Les attributs suivants s'affichent pour le bucket de journaux:

• createTime : horodatage indiquant la date de création du bucket.
• description: description du bucket de journaux.
• lifecycleState : indique si le bucket est en attente de suppression par Cloud Logging.
• name: nom du bucket de journaux.
• retentionDays : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
• updateTime : horodatage indiquant la date de la dernière modification du bucket.

API

Pour afficher les détails d'un seul bucket de journaux, utilisez projects.locations.buckets.get dans l'API Logging.

Supprimer un bucket

Pour supprimer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour supprimer un bucket de journaux, procédez comme suit :

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur Plus.

3. Si la colonne Ensemble de données associé dans BigQuery affiche un lien, supprimez l'ensemble de données BigQuery associé:

   1. Cliquez sur Modifier le bucket.

   2. Décochez la case Créer un ensemble de données BigQuery associé à ce bucket, cliquez sur OK, puis sur Mettre à jour le bucket.

      Une fois que vous êtes redirigé vers la page Stockage des journaux, cliquez sur Plus pour le bucket que vous souhaitez supprimer, puis passez aux étapes suivantes.

4. Cliquez sur Supprimer le bucket.

5. Dans le panneau de confirmation, cliquez sur Supprimer.

6. Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.

gcloud

Pour supprimer un bucket de journaux, exécutez la commande gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Vous ne pouvez pas supprimer un bucket de journaux lorsqu'il est associé à un ensemble de données BigQuery:

• Pour répertorier les liens associés à un bucket de journaux, exécutez la commande gcloud logging links list.
• Pour supprimer un ensemble de données associé, exécutez la commande gcloud logging links delete.

API

Pour supprimer un bucket, utilisez projects.locations.buckets.delete dans l'API Logging.

Si un bucket de journaux est associé à un ensemble de données BigQuery, il est interdit de le supprimer. Vous devez supprimer l'ensemble de données associé avant de supprimer le bucket de journaux:

• Pour répertorier les liens associés à un bucket de journaux, exécutez la méthode projects.locations.buckets.links.list.
• Pour supprimer un ensemble de données associé, exécutez la méthode projects.locations.buckets.links.delete.

Un bucket supprimé reste dans l'état "en attente de suppression" pendant sept jours et Logging continue d'acheminer des journaux vers le bucket pendant cette période. Pour arrêter l'acheminement des journaux vers un bucket supprimé, vous devez supprimer les récepteurs de journaux qui ont ce bucket en tant que destination, ou modifier le filtre des récepteurs acheminant des journaux vers ce bucket.

Remarque :Les buckets en attente de suppression sont comptabilisés dans le quota des buckets par projet Google Cloud jusqu'à leur suppression complète.

Restaurer un bucket supprimé

Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit:

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez restaurer.

3. Cliquez sur Restaurer un bucket supprimé.

4. Dans le panneau de confirmation, cliquez sur Restaurer.

5. Sur la page Stockage des journaux, l'indicateur de suppression en attente est retiré de votre bucket.

gcloud

Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

API

Pour restaurer un bucket en attente de suppression, utilisez projects.locations.buckets.undelete dans l'API Logging.

Alerte sur les octets de journaux mensuels ingérés

Pour créer une règle d'alerte, accédez à la page Stockage des journaux de la console Google Cloud, puis cliquez sur Créer une alerte d'utilisation. Ce bouton ouvre la page Créer une règle d'alerte dans Monitoring et remplit le champ de type de métrique avec logging.googleapis.com/billing/bytes_ingested.

Pour créer une règle d'alerte qui se déclenche lorsque les octets de journaux mensuels ingérés dépassent la limite définie par l'utilisateur dans Cloud Logging, utilisez les paramètres suivants.

Procédure permettant de créer une règle d'alerte

Pour créer une règle d'alerte, procédez comme suit :

1. Dans la console Google Cloud, accédez à Monitoring ou cliquez sur le bouton suivant:
   Accéder à Monitoring
2. Dans le volet de navigation "Monitoring", sélectionnez  Alertes, puis Créer une règle.
3. Si vous n'avez pas créé vos canaux de notification et que vous souhaitez être averti, cliquez sur Modifier les canaux de notification et ajoutez vos canaux de notification. Revenez à la page Alertes après avoir ajouté vos canaux.
4. Sur la page Alertes, cliquez sur Créer une règle.
5. Pour sélectionner la ressource, la métrique et les filtres, développez le menu Sélectionner une métrique, puis utilisez les valeurs du tableau Nouvelle condition :
   1. (Facultatif) Pour limiter le menu aux entrées pertinentes, saisissez le nom de la ressource ou de la métrique dans la barre de filtre.
   2. Sélectionner un type de ressource Par exemple, sélectionnez Instance de VM.
   3. Sélectionnez une catégorie de métriques. Par exemple, sélectionnez instance.
   4. Sélectionnez une métrique. Par exemple, sélectionnez Utilisation du processeur.
   5. Sélectionnez Appliquer.
6. Cliquez sur Suivant, puis configurez le déclencheur de règle d'alerte. Pour renseigner ces champs, utilisez les valeurs du tableau Configurer le déclencheur d'alerte.
7. Cliquez sur Next (Suivant).

8. Facultatif : Pour ajouter des notifications à votre règle d'alerte, cliquez sur Canaux de notification. Dans la boîte de dialogue, sélectionnez un ou plusieurs canaux de notification dans le menu, puis cliquez sur OK.

   Pour recevoir une notification en cas d'ouverture et de fermeture d'un incident, cochez la case Notifier en cas de fermeture des incidents. Par défaut, les notifications ne sont envoyées que lorsque des incidents sont ouverts.

9. (Facultatif) Mettez à jour la durée de fermeture automatique de l'incident. Ce champ détermine à quel moment Monitoring ferme les incidents en l'absence de données de métriques.
10. Facultatif : Cliquez sur Documentation, puis ajoutez les informations à inclure dans le message de notification.
11. Cliquez sur Nom de l'alerte et saisissez un nom pour la règle d'alerte.
12. Cliquez sur Créer une règle.

ChampNouvelle condition	Valeur
Ressource et métrique	Dans le menu Ressources, sélectionnez Mondial. Dans le menu Catégories de métriques, sélectionnez Métrique basée sur les journaux. Dans le menu Métriques, sélectionnez Octets de journaux mensuels ingérés.
Filter	None.
Dans toutes les séries temporelles Agrégation de séries temporelles	sum
Fenêtre glissante	60 m
Fenêtrage glissant	max

Champ Configurer le déclencheur d'alerte	Valeur
Type de condition	Threshold
Déclencheur d'alerte	Any time series violates
Position du seuil	Above threshold
Valeur du seuil	Vous définissez la valeur acceptable.
Fenêtre du nouveau test	La valeur minimale acceptable est de 30 minutes.

Pour en savoir plus sur les règles d'alerte, consultez Présentation des alertes.

Écrire dans un bucket

Vous n'écrivez pas directement de journaux dans un bucket de journaux. Vous écrivez plutôt des journaux dans une ressource Google Cloud: un projet, un dossier ou une organisation Google Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.

Lire des données à partir d'un bucket

Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Pour en savoir plus sur les vues de journaux, consultez Configurer l'accès au niveau du bucket.

Pour lire les journaux d'un bucket de journaux, procédez comme suit :

Console Google Cloud

Vous pouvez affiner le champ d'application des journaux affichés dans l'explorateur de journaux via l'option Affiner le champ d'application. Vous pouvez rechercher uniquement les journaux du projet Google Cloud actuel ou rechercher les journaux dans une ou plusieurs vues de stockage. Pour affiner le champ d'application de l'explorateur de journaux, procédez comme suit :

1. Dans le menu "Journalisation", sélectionnez Explorateur de journaux.

   Accéder à l'explorateur de journaux

2. Sélectionnez Affiner le niveau d'accès.

3. Dans la boîte de dialogue Affiner le champ d'application, sélectionnez une option Recherche par.

4. Sélectionnez Rechercher par espace de stockage et choisissez un ou plusieurs buckets à afficher.

   La boîte de dialogue affiche les vues de stockage qui remplissent les conditions suivantes :

   • Vous avez accès à la vue de stockage.
   • Les buckets de journaux appartiennent au projet Google Cloud sélectionné, ou le projet Google Cloud sélectionné a déjà acheminé des journaux vers les buckets de stockage.

gcloud

Pour lire les journaux d'un bucket de journaux, exécutez la commande gcloud logging read et ajoutez un LOG_FILTER pour sélectionner des données:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

API

Pour lire des journaux à partir d'un bucket de journaux, utilisez la méthode inputslist. Définissez resourceNames pour spécifier le bucket et la vue de journal appropriés, puis filter pour sélectionner les données.

Pour en savoir plus sur la syntaxe de filtrage, consultez Langage de requête Logging.

Configurer la conservation personnalisée

Remarque : À compter du 1er avril 2023, les coûts de stockage s'appliquent aux données de journaux conservées pendant plus de 30 jours. Pour en savoir plus sur les tarifs, consultez la page Récapitulatif des tarifs Cloud Logging. Pour vérifier l'espace de stockage facturable de vos buckets de journaux, accédez à la page Stockage des journaux de la console Google Cloud.

Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket. Vous pouvez configurer la durée de conservation pour tout bucket de journaux défini par l'utilisateur et _Default.

Si vous réduisez la durée de conservation du bucket, les délais d'expiration ne sont pas supprimés après un délai de grâce de sept jours. Vous ne pouvez pas interroger ni afficher ces journaux expirés, mais au cours de ces sept jours, vous pouvez restaurer l'accès complet en étendant la conservation du bucket. Les journaux stockés pendant le délai de grâce sont comptabilisés dans vos coûts de stockage.

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :

Console Google Cloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:

1. Dans le menu "Journalisation", sélectionnez Stockage des journaux.

   Accéder à la page "Stockage des journaux"

2. Cliquez sur l'élément Plus correspondant au bucket que vous souhaitez mettre à jour.

3. Cliquez sur Modifier le bucket.

4. Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.

5. Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation apparaît dans la liste Bucket de journaux.

gcloud

Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande gcloud logging buckets update après avoir défini une valeur pour RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Par exemple, pour conserver les journaux dans le bucket _Default à l'emplacement global pendant un an, votre commande ressemblerait à ceci:

gcloud logging buckets update _Default --location=global --retention-days=365

Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.

Méthodes d'API asynchrones

La réponse d'une méthode asynchrone telle que projects.locations.buckets.createAsync est un objet Operation.

Les applications qui appellent une méthode API asynchrone doivent interroger le point de terminaison operation.get jusqu'à ce que la valeur du champ Operation.done soit true:

• Lorsque l'état done est défini sur false, l'opération est en cours.

  Pour actualiser les informations sur l'état, envoyez une requête GET au point de terminaison operation.get.

• Lorsque done est défini sur true, l'opération est terminée et le champ error ou response est défini:

  • error: si défini, l'opération asynchrone a échoué. La valeur de ce champ est un objet Status contenant un code d'erreur gRPC et un message d'erreur.
  • response: si défini, l'opération asynchrone est terminée et la valeur reflète le résultat.

Pour interroger une commande asynchrone à l'aide de Google Cloud CLI, exécutez la commande suivante:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Pour en savoir plus, consultez la page gcloud logging operations describe.

Résoudre les problèmes courants

Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.

Pourquoi ne puis-je pas supprimer ce bucket ?

Si vous essayez de supprimer un bucket, procédez comme suit :

• Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour obtenir la liste des autorisations dont vous avez besoin, consultez la section Contrôle des accès avec IAM.

• Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.

• Vérifiez que le bucket de journaux n'est associé à aucun ensemble de données BigQuery. Vous ne pouvez pas supprimer un bucket de journaux si un ensemble de données est associé.

  L'erreur suivante s'affiche en réponse à une commande delete sur un bucket de journaux associé à un ensemble de données:

  FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket
  

  Pour répertorier les liens associés à un bucket de journaux, exécutez la commande gcloud logging links list ou la méthode API projects.locations.buckets.links.list.

Quels comptes de service acheminent les journaux vers mon bucket ?

Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :

1. Accédez à la page "Identity and Access Management" du projet Google Cloud contenant le bucket:

   Accéder à IAM

2. À partir de l'onglet Autorisations, affichez la liste par Rôles. Une table affiche tous les rôles et comptes principaux IAM associés à votre projet Google Cloud.

3. Dans la tableFiltre zone de texte, saisissez Rédacteur de bucket de journaux.

   Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne gserviceaccount.com.

4. Facultatif: Si vous souhaitez empêcher un compte de service d'acheminer des journaux vers votre projet Google Cloud, cochez la case correspondante et cliquez sur Supprimer.

Pourquoi vois-je des journaux pour un projet Google Cloud alors que je les ai exclus de mon récepteur _Default ?

Vous pouvez afficher les journaux dans un bucket de journaux dans un projet Google Cloud centralisé, qui regroupe les journaux de votre organisation.

Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et consulter ceux que vous avez exclus du récepteur _Default, votre vue peut être limitée au niveau du projet Google Cloud.

Pour résoudre ce problème, sélectionnez Portée par stockage dans le panneau Affiner le champ d'application, puis sélectionnez le bucket _Default dans votre projet Google Cloud. Vous ne devriez plus voir les journaux exclus.

Pourquoi ne puis-je pas créer de métriques basées sur les journaux pour un bucket ?

Les métriques basées sur les journaux ne s'appliquent qu'à un seul projet Google Cloud. Vous ne pouvez pas les créer pour des buckets de journaux ni pour d'autres ressources Google Cloud telles que des dossiers ou des organisations.

Étapes suivantes

Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket.

Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :

• Agréger et stocker les journaux de votre organisation

• Journalisation mutualisée sur GKE.

• Régionalisez vos journaux.