Ce document explique comment créer et gérer des buckets Cloud Logging à l'aide de
la console Google Cloud, Google Cloud CLI et
API Logging :
Il fournit également des instructions pour créer et gérer des buckets de journaux au niveau
au niveau du projet Google Cloud. Vous ne pouvez pas créer de buckets de journaux au niveau du dossier ou de l'organisation. Toutefois, Cloud Logging crée automatiquement des buckets _Default
et _Required
au niveau du dossier et de l'organisation.
Vous pouvez mettre à niveau les buckets de journaux pour utiliser l'Analyse de journaux. L'Analyse de journaux vous permet d'exécuter des requêtes SQL sur vos données de journaux résoudre les problèmes liés aux applications, à la sécurité et aux réseaux.
Pour analyser vos données de journaux à l'aide de BigQuery, deux possibilités s'offrent à vous:
Mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, puis créez un ensemble de données BigQuery associé. Dans ce scénario, Logging stocke les données de journaux, BigQuery peut lire les données des journaux.
Exportez vos entrées de journal vers BigQuery. Dans ce scénario, vous doit créer un récepteur, BigQuery stocke et gère les données, et vous avez la possibilité d'utiliser des tables partitionnées.
Lorsque vos données de journaux sont disponibles pour BigQuery, vous pouvez joindre vos des données de journaux avec d'autres données stockées dans BigQuery. Vous pouvez aussi y accéder ces données à partir d'autres outils comme Looker Studio et Looker.
Pour obtenir une présentation des concepts liés aux buckets, consultez la page Présentation du routage et du stockage : buckets de journaux.
Avant de commencer
Pour faire vos premiers pas avec les buckets, procédez comme suit :
Assurez-vous d'avoir activé la facturation pour votre projet Google Cloud.
Assurez-vous que votre rôle Identity and Access Management (IAM) vous accorde le rôle autorisations nécessaires pour créer, mettre à niveau et associer des buckets.
Le rôle Rédacteur de configuration des journaux (
roles/logging.configWriter
) est un rôle prédéfini minimal qui accorde les autorisations requises pour gérer Cloud Storage. Pour obtenir la liste complète des autorisations et des rôles, consultez la page Contrôle des accès avec IAM.Familiarisez-vous avec les exigences de mise en forme de
LogBucket
, y compris les régions disponibles dans lesquelles vous pouvez stocker vos journaux.Pensez à définir un default resource location (emplacement par défaut des ressources) appliquer une région de stockage par défaut pour les buckets
_Required
et_Default
dans votre organisation.
Pour utiliser BigQuery afin d'afficher les données stockées dans un bucket de journaux, effectuer les opérations suivantes:
Vérifiez que l'API BigQuery est activée. Vous pouvez vérifier que l'API est activée en listant les services disponibles.
Votre rôle Identity and Access Management inclut les autorisations permettant de créer Un ensemble de données associé Pour en savoir plus, consultez Autorisations pour les ensembles de données BigQuery associés.
- Pour savoir comment créer un bucket de journaux qui utilise un de chiffrement gérée par le client (CMEK), consultez Configurez une clé CMEK pour le stockage des journaux.
Créer un bucket
Vous pouvez créer jusqu'à 100 buckets par projet Google Cloud.
Pour créer un bucket de journaux défini par l'utilisateur pour votre projet Google Cloud, procédez comme suit : suivantes:
console Google Cloud
Pour créer un bucket de journaux dans votre projet Google Cloud, procédez comme suit :
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Cliquez sur Créer un bucket de journaux.
Saisissez un nom et une description pour votre bucket.
Facultatif: Mettez à niveau votre bucket pour utiliser l'Analyse de journaux.
Sélectionnez Effectuez la mise à niveau pour utiliser l'Analyse de journaux.
Lorsque vous mettez à niveau un bucket pour utiliser l'Analyse de journaux, vous pouvez interroger vos journaux sur la page Analyse de journaux à l'aide de requêtes SQL. Toi vous pouvez aussi continuer à consulter vos journaux à l'aide de l'explorateur de journaux.
Facultatif: Pour afficher vos journaux dans BigQuery, sélectionnez Créez un ensemble de données BigQuery associé à ce bucket et saisissez un nom unique pour cet ensemble de données.
Lorsque vous sélectionnez cette option, BigQuery peut lire stockées dans votre bucket de journaux. Vous pouvez désormais effectuer une requête l'interface BigQuery qui vous permet de joindre vos données de journaux, et accéder aux données d'autres outils comme Looker Studio et Looker.
Facultatif : Pour sélectionner la région de stockage de vos journaux, cliquez sur le menu Sélectionner la région du bucket de journaux et sélectionnez une région. Si vous ne sélectionnez pas de région, la région
global
est utilisée. ce qui signifie que les journaux peuvent être physiquement situés dans différentes régions.Facultatif: Pour définir une durée de conservation personnalisée pour le journaux dans le bucket, cliquez sur Suivant.
Dans le champ Durée de conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux. Si vous ne personnalisez pas la durée de conservation, la valeur par défaut est
30 days
.Vous pouvez également mettre à jour votre bucket pour appliquer une conservation personnalisée après avoir créé .
Cliquez sur Create bucket (Créer un bucket).
Une fois le bucket de journaux créé, Logging met à niveau bucket et crée le lien vers l'ensemble de données, si ces options sont sélectionnées.
Cette procédure peut prendre un moment.
gcloud
Pour ne créer qu'un bucket de journaux,
exécutez la commande gcloud logging buckets create
. Si vous voulez
mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux, puis incluez
les --enable-analytics
et
options --async
et assurez-vous de définir la variable LOCATION sur un
région compatible avec l'Analyse de journaux:
gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS
L'indicateur --async
force la commande à être asynchrone. Le retour de
une méthode asynchrone est un objet Operation
, elle
contient des informations sur la progression de la méthode. Lorsque
est terminée, l'objet Operation
contient l'état. Pour plus
plus d'informations, consultez la section Méthodes d'API asynchrones.
Si vous ne souhaitez pas mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux :
omettez les --enable-analytics
et
--async
. Vous pouvez définir la variable LOCATION sur n'importe quelle région compatible.
Par exemple, si vous souhaitez créer un bucket avec l'élément BUCKET_ID
my-bucket
dans la région global
, votre commande se présente comme suit :
gcloud logging buckets create my-bucket --location global --description "My first bucket"
Par exemple, pour créer un bucket avec le bucket BUCKET_ID
my-upgraded-bucket
à l'emplacement global
,
puis mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux,
votre commande se présente comme suit:
gcloud logging buckets create my-upgraded-bucket --location global \ --description "My first upgraded bucket" \ --enable-analytics --retention-days=45
API
Pour créer un bucket, utilisez la
projects.locations.buckets.create
ou
projects.locations.buckets.createAsync
. Préparez les arguments de la méthode comme suit :
Définissez le paramètre
parent
comme la ressource dans laquelle créer le bucket :projects/PROJECT_ID/locations/LOCATION
La variable LOCATION fait référence à la région dans laquelle vous souhaitez stocker vos journaux.
Par exemple, si vous souhaitez créer un bucket pour le projet
my-project
dans dans la régionglobal
, votre paramètreparent
se présente comme suit : ceci:projects/my-project/locations/global
Définissez le paramètre
bucketId
. Exemple :my-bucket
.Effectuez l'une des opérations suivantes :
Pour créer un bucket de journaux, puis le mettre à niveau pour utiliser l'Analyse de journaux :
Définissez la valeur booléenne
LogBucket.analyticsEnabled
surtrue
.Appeler la méthode asynchrone
projects.locations.buckets.createAsync
pour créer le bucket.La réponse aux méthodes asynchrones est une objet
Operation
. Cet objet contient des informations sur la progression de la méthode. Lorsque la méthode l'opération est terminée, l'objetOperation
contient l'état. Pour plus plus d'informations, consultez la section Méthodes d'API asynchrones.L'exécution de la méthode
createAsync
prend plusieurs minutes. Cette méthode ne génère pas de message d'erreur et échouer lorsque la valeur booléenneanalyticsEnabled
est définie surtrue
.
Sinon, appelez la méthode synchrone
projects.locations.buckets.create
pour créer le bucket.
Suivre le volume de journaux stockés dans des buckets de journaux
La page Stockage des journaux de la console Google Cloud suit le volume des stockées dans des buckets de journaux:
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
La page Stockage des journaux affiche un récapitulatif des statistiques Projet Google Cloud:
Les statistiques suivantes sont consignées :
Ingestion du mois en cours: quantité de données de journaux que vos Le projet Google Cloud est stocké dans des buckets de journaux depuis le premier jour du mois calendaire en cours.
Ingestion du mois précédent: quantité de données de journaux que vos Projet Google Cloud stocké dans des buckets de journaux au cours du dernier mois calendaire.
Estimation de l'ingestion à la fin du mois: la quantité estimée de données de journaux que vos le projet Google Cloud sera stocké dans des buckets de journaux d'ici la fin du mois calendaire en cours, en fonction de l'utilisation actuelle.
Stockage facturable du mois en cours: la quantité de données de journaux qui a été conservées pendant plus de 30 jours.
Les statistiques précédentes n'incluent pas les journaux
Bucket _Required
. Les journaux de ce bucket ne peuvent pas être exclus ni désactivés.
La page Routeur de journaux de la console Google Cloud vous fournit des outils pour réduire les frais de stockage de journaux dans des buckets de journaux pour l'espace de stockage qui dépasse votre quota mensuel. Vous pouvez procéder comme suit :
- Désactivez le stockage des journaux au niveau du bucket.
- Empêcher le stockage de certaines entrées de journal dans des buckets de journaux
Pour en savoir plus, consultez la page Gérer les récepteurs.
Gérer les buckets
Cette section explique comment gérer vos buckets de journaux à l'aide de la Google Cloud CLI. ou la console Google Cloud.
Mettre à jour un bucket
Pour mettre à jour les propriétés de votre bucket, telles que description ou la durée de conservation, procédez comme suit:console Google Cloud
Pour mettre à jour les propriétés de votre bucket, procédez comme suit:
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Cliquez sur more_vert Plus pour le bucket que vous souhaitez mettre à jour.
Cliquez sur Modifier le bucket.
Modifiez votre bucket comme désiré.
Cliquez sur Mettre à jour le bucket.
gcloud
Pour mettre à jour les propriétés de votre bucket, exécutez la commande
Commande gcloud logging buckets update
:
gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES
Exemple :
gcloud logging buckets update my-bucket --location=global --description "Updated description"
API
Pour mettre à jour les propriétés de votre bucket, utilisez
projects.locations.buckets.patch
dans l'API Logging.
Mettre à niveau un bucket pour utiliser l'Analyse de journaux
Pour mettre à niveau un bucket existant pour utiliser l'Analyse de journaux, les restrictions suivantes s'appliquent :
- Le bucket de journaux a été créé au niveau du projet Google Cloud.
- Le bucket de journaux est déverrouillé, sauf s'il s'agit du bucket
_Required
. Aucune mise à jour du bucket n'est en attente.
console Google Cloud
Pour mettre à niveau un bucket existant afin d'utiliser l'Analyse de journaux, procédez comme suit:
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Recherchez le bucket que vous souhaitez mettre à niveau.
Lorsque la colonne Analyse de journaux disponible affiche Mise à niveau, vous pouvez mettre à niveau le bucket de journaux pour utiliser l'Analyse de journaux. Cliquez sur Mettre à niveau.
Une boîte de dialogue s'ouvre. Cliquez sur Confirmer.
gcloud
Pour mettre à niveau votre bucket de journaux afin d'utiliser l'Analyse de journaux, exécutez la
gcloud logging buckets update
. Vous devez
définissez --enable-analytics
et nous vous recommandons d'inclure également le paramètre
Option --async
:
gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async
L'option --async
force la
soit asynchrone. Le retour d'une requête asynchrone
est un objet Operation
, et elle
contient des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation
contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.
API
Pour mettre à niveau un bucket de journaux afin d'utiliser l'Analyse de journaux, utilisez la classe
projects.locations.buckets.updateAsync
de l'API Cloud Logging.
Préparez les arguments de la méthode comme suit :
- Définissez la valeur booléenne
LogBucket.analyticsEnabled
surtrue
. - Pour le paramètre de requête de la commande, utilisez
updateMask=analyticsEnabled
La réponse aux méthodes asynchrones est une
objet Operation
. Cet objet contient
des informations sur la progression de la méthode. Une fois la méthode terminée, l'objet Operation
contient l'état. Pour plus d'informations,
consultez la page Méthodes API asynchrones.
L'exécution de updateAsync
peut prendre plusieurs minutes.
Créer un ensemble de données BigQuery associé
Lorsque vous souhaitez utiliser les fonctionnalités de BigQuery pour analyser votre les données de journaux, mettre à niveau un bucket de journaux pour utiliser l'Analyse de journaux, puis créer une ensemble de données associé. Avec cette configuration, Logging stocke les données de journaux, BigQuery peut lire les données des journaux.
console Google Cloud
Pour associer un ensemble de données BigQuery bucket de journaux, procédez comme suit:
Consultez la section Avant de commencer de ce document.
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Localisez le bucket de journaux et vérifiez que l'option Analyse de journaux est disponible. affiche Open (Ouvrir).
Si cette colonne affiche Mettre à niveau, cela signifie que le bucket de journaux n'a pas été pour utiliser l'Analyse de journaux. Configurez l'Analyse de journaux:
- Cliquez sur Mettre à jour.
- Cliquez sur Confirmer dans la boîte de dialogue.
Une fois la migration terminée, passez à l'étape suivante.
Dans le bucket de journaux, cliquez sur Plusmore_vert. puis cliquez sur Modifier le bucket.
La boîte de dialogue Modifier le bucket de journaux s'ouvre.
Sélectionnez Créer un ensemble de données BigQuery associé à ce bucket et saisissez le nom du nouvel ensemble de données.
Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous saisissez le nom d'un ensemble de données existant, vous obtenez l'erreur suivante:
Dataset name must be unique in the selected region.
Cliquez sur OK, puis sur Mettre à jour le bucket.
Une fois que Logging affiche le nom de l'ensemble de données associé sur la Stockage des journaux, plusieurs minutes peuvent être nécessaires BigQuery reconnaît l'ensemble de données.
gcloud
Créer un ensemble de données associé pour un bucket de journaux mis à niveau
pour utiliser l'Analyse de journaux, exécutez la
Commande gcloud logging links create
:
gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION
Le champ LINK_ID doit être unique pour votre projet Google Cloud.
La commande links create
est asynchrone. Le retour d'une
la méthode asynchrone est un objet Operation
.
contient des informations sur la progression de la méthode. Lorsque
est terminée, l'objet Operation
contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.
L'exécution de la commande links create
prend plusieurs minutes.
Par exemple, la commande suivante crée un ensemble de données associé au bucket nommé my-bucket
:
gcloud logging links create mylink --bucket=my-bucket --location=global
Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous essayez pour créer un ensemble de données portant le même nom qu'un ensemble de données existant, recevez l'erreur suivante:
BigQuery dataset with name "my-bucket" already exists.
Si vous tentez de créer un ensemble de données associé pour un bucket de journaux pour utiliser l'Analyse de journaux, l'erreur suivante est signalée:
A link can only be created for an analytics-enabled bucket.
API
Créer un ensemble de données BigQuery associé pour un bucket de journaux existant
mis à niveau, utilisez l'Analyse de journaux, appelez la méthode
projects.locations.buckets.links.create
de l'API Cloud Logging.
Préparez les arguments de la méthode comme suit :
- Créez le corps de la requête pour la commande
create
. Corps de la requête est mis en forme en tant qu'objetLink
. - Pour le paramètre de requête de la commande, utilisez
linkId=LINK_ID
. Le LINK_ID que vous fournissez est utilisé comme nom de l'ensemble de données, donc LINK_ID partage la même valeur que la DATASET_ID en sortie uniquement.
La réponse aux méthodes asynchrones est une
objet Operation
. Cet objet contient
des informations sur la progression de la méthode. Lorsque
est terminée, l'objet Operation
contient l'état. Pour en savoir plus, consultez la section Méthodes d'API asynchrones.
L'exécution de la méthode links.create
prend plusieurs minutes.
Le nom de l'ensemble de données doit être unique pour chaque projet Google Cloud. Si vous essayez pour créer un ensemble de données portant le même nom qu'un ensemble de données existant, recevez l'erreur suivante:
BigQuery dataset with name "my-bucket" already exists.
Si vous tentez de créer un ensemble de données associé pour un bucket de journaux pour utiliser l'Analyse de journaux, l'erreur suivante est signalée:
A link can only be created for an analytics-enabled bucket.
Verrouiller un bucket
Lorsque vous verrouillez un bucket pour l'empêcher d'appliquer des mises à jour, vous verrouillez également des règles de conservation. Lorsqu'une règle de conservation est verrouillée, vous ne pouvez plus jusqu'à ce que chaque entrée de journal qu'il contient ait atteint la durée de conservation période.
Pour empêcher toute personne de mettre à jour ou de supprimer un bucket de journaux, verrouillez-le. Pour verrouiller le bucket, procédez comme suit :
console Google Cloud
La console Google Cloud ne permet pas de verrouiller un bucket de journaux.
gcloud
Pour verrouiller votre bucket, exécutez la commande gcloud logging buckets update
avec l'indicateur --locked
:
gcloud logging buckets update BUCKET_ID --location=LOCATION --locked
Exemple :
gcloud logging buckets update my-bucket --location=global --locked
API
Pour verrouiller les attributs de votre bucket, utilisez
projects.locations.buckets.patch
dans l'API Logging. Définissez le paramètre locked
sur true
.
Répertorier les buckets
Pour répertorier les buckets de journaux associés à un projet Google Cloud et afficher détails tels que les paramètres de conservation, procédez comme suit:
console Google Cloud
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Un tableau nommé Buckets de journaux liste les buckets associés au bucket actuel projet Google Cloud.
La table répertorie les attributs suivants pour chaque bucket de journaux :
- Nom: nom du bucket de journaux.
- Description: la description du bucket.
- Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
- Région : emplacement géographique où les données du bucket sont stockées.
- État : indique si le bucket est verrouillé ou non.
Si un bucket est en attente de suppression par Cloud Logging, son entrée de table est annotée avec un symbole warning d'avertissement.
gcloud
Exécutez la commande gcloud logging buckets list
:
gcloud logging buckets list
Les attributs suivants s'affichent pour les buckets de journaux :
LOCATION
: région dans laquelle les données du bucket sont stockées.BUCKET_ID
: nom du bucket de journaux.RETENTION_DAYS
: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.LIFECYCLE_STATE
: indique si le bucket est en attente de suppression par Cloud Logging.LOCKED
: indique si le bucket est verrouillé ou non.CREATE_TIME
: horodatage indiquant la date de création du bucket.UPDATE_TIME
: horodatage indiquant la date de la dernière modification du bucket.
Vous pouvez également afficher les attributs d'un seul bucket. Par exemple, pour afficher
les détails du bucket de journaux _Default
dans la région global
, exécutez la
Commande gcloud logging buckets describe
:
gcloud logging buckets describe _Default --location=global
API
Pour répertorier les buckets de journaux associés à un projet Google Cloud, utilisez
projects.locations.buckets.list
dans l'API Logging.
Afficher les détails d'un bucket
Pour afficher les détails d'un seul bucket de journaux, procédez comme suit :
console Google Cloud
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Dans le bucket de journaux, cliquez sur more_vert Plus, puis sélectionnez Afficher les détails du bucket.
La boîte de dialogue liste les attributs suivants pour le bucket de journaux:
- Nom: nom du bucket de journaux.
- Description: la description du bucket de journaux.
- Durée de conservation : nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.
- Région : emplacement géographique où les données du bucket sont stockées.
- Analyse de journaux : indique si votre bucket a été mis à niveau pour utiliser l'Analyse de journaux.
- Analyse BigQuery: indique si un L'ensemble de données BigQuery est associé à votre bucket.
- Ensemble de données BigQuery: fournit un lien vers votre Ensemble de données BigQuery, qui s'ouvre dans BigQuery Studio. La date à laquelle l'association à BigQuery a été activée s'affiche également.
gcloud
Exécutez la commande gcloud logging buckets describe
.
Par exemple, la commande suivante indique les détails de l'_Default
bucket:
gcloud logging buckets describe _Default --location=global
Les attributs suivants s'affichent pour le bucket de journaux:
createTime
: horodatage indiquant la date de création du bucket.description
: description du bucket de journaux.lifecycleState
: indique si le bucket est en attente de suppression par Cloud Logging.name
: nom du bucket de journaux.retentionDays
: nombre de jours pendant lesquels les données du bucket seront stockées par Cloud Logging.updateTime
: horodatage indiquant la date de la dernière modification du bucket.
API
Pour afficher les détails d'un seul bucket de journaux, utilisez
projects.locations.buckets.get
dans l'API Logging.
Supprimer un bucket
Pour supprimer un bucket de journaux, procédez comme suit :
console Google Cloud
Pour supprimer un bucket de journaux, procédez comme suit :
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Recherchez le bucket que vous souhaitez supprimer, puis cliquez sur more_vertEn savoir plus
Si la colonne Ensemble de données associé dans BigQuery affiche une puis supprimez l'ensemble de données BigQuery associé:
Cliquez sur Modifier le bucket.
Décochez la case Créer un ensemble de données BigQuery associé à ce bucket, cliquez sur OK, puis sur Mettre à jour le bucket
Une fois de retour sur la page Stockage des journaux, cliquez sur more_vertPlus pour le bucket que vous souhaitez supprimer, puis passez aux étapes suivantes.
Cliquez sur Supprimer le bucket.
Dans le panneau de confirmation, cliquez sur Supprimer.
Sur la page Stockage des journaux, un indicateur spécifie que votre bucket est en attente de suppression. Le bucket, y compris tous les journaux qu'il contient, est supprimé au bout de sept jours.
gcloud
Pour supprimer un bucket de journaux, exécutez la commande
Commande gcloud logging buckets delete
:
gcloud logging buckets delete BUCKET_ID --location=LOCATION
Vous ne pouvez pas supprimer un bucket de journaux si un bucket Ensemble de données BigQuery:
- Pour répertorier les liens associés à un bucket de journaux, exécutez la commande
gcloud logging links list
. - Pour supprimer un ensemble de données associé, exécutez la
gcloud logging links delete
.
API
Pour supprimer un bucket, utilisez projects.locations.buckets.delete
dans l'API Logging.
Il s'agit d'une erreur de supprimer un bucket de journaux si ce bucket contient un ensemble de données BigQuery associé. Vous devez supprimer l'ensemble de données associé avant en supprimant le bucket de journaux:
- Pour répertorier les liens associés à un bucket de journaux, exécutez la méthode
projects.locations.buckets.links.list
. - Pour supprimer un ensemble de données associé, exécutez la méthode
projects.locations.buckets.links.delete
.
Un bucket supprimé reste dans l'état "en attente de suppression" pendant sept jours et Logging continue d'acheminer des journaux vers le bucket pendant cette période. Pour arrêter l'acheminement des journaux vers un bucket supprimé, vous devez supprimer les récepteurs de journaux qui ont ce bucket en tant que destination, ou modifier le filtre des récepteurs acheminant des journaux vers ce bucket.
Vous ne pouvez pas créer de bucket de journaux portant le même nom qu'un bucket supprimé qui est en attente.
Restaurer un bucket supprimé
Vous pouvez restaurer, c'est-à-dire annuler la suppression d'un bucket de journaux dont l'état est "en attente de suppression". Pour restaurer un bucket de journaux, procédez comme suit :
console Google Cloud
Pour restaurer un bucket de journaux en attente de suppression, procédez comme suit:
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Pour le bucket que vous souhaitez restaurer, cliquez sur more_vert Plus, puis sélectionnez Restaurez un bucket supprimé.
Dans le panneau de confirmation, cliquez sur Restaurer.
Sur la page Stockage des journaux, l'indicateur de suppression en attente est supprimé. de votre bucket de journaux.
gcloud
Pour restaurer un bucket de journaux en attente de suppression, exécutez la commande
Commande gcloud logging buckets undelete
:
gcloud logging buckets undelete BUCKET_ID --location=LOCATION
API
Pour restaurer un bucket en attente de suppression, utilisez
projects.locations.buckets.undelete
dans l'API Logging.
Alerte sur les octets de journaux mensuels stockés dans des buckets de journaux
Pour créer une règle d'alerte, accédez à la page Stockage des journaux de la section
Dans la console Google Cloud, cliquez sur add_alert Créer une alerte d'utilisation. Ce
ouvre la page Créer une règle d'alerte dans Monitoring.
et renseigne le champ "metric type"
logging.googleapis.com/billing/bytes_ingested
Pour créer une règle d'alerte qui se déclenche lorsque le nombre les octets de journaux écrits dans vos buckets de journaux dépassent la limite définie par l'utilisateur Cloud Logging, utilisez les paramètres suivants.
ChampNouvelle condition |
Valeur |
---|---|
Ressource et métrique | Dans le menu Ressources, sélectionnez Global. Dans le menu Catégories de métriques, sélectionnez Métrique basée sur les journaux. Dans le menu Métriques, sélectionnez Monthly log bytes ingested. |
Filter | Aucun |
Dans toutes les séries temporelles Agrégation de séries temporelles |
sum |
Fenêtre glissante | 60 m |
Fenêtrage glissant | max |
Champ Configurer le déclencheur d'alerte |
Valeur |
---|---|
Type de condition | Threshold |
Déclencheur d'alerte | Any time series violates |
Position du seuil | Above threshold |
Valeur du seuil | Vous définissez la valeur acceptable. |
Fenêtre du nouveau test | La valeur minimale acceptable est de 30 minutes. |
Pour en savoir plus sur les règles d'alerte, consultez Vue d'ensemble des alertes
Écrire dans un bucket
Vous n'écrivez pas directement de journaux dans un bucket de journaux. À la place, vous écrivez des journaux Ressource Google Cloud: un projet, un dossier ou une organisation Google Cloud. Les récepteurs de la ressource parente acheminent ensuite les journaux vers les destinations, dont les buckets de journaux. Un récepteur achemine les journaux vers une destination de bucket de journaux lorsque les journaux correspondent au filtre du récepteur et que celui-ci est autorisé à acheminer les journaux vers le bucket de journaux.
Lire des données à partir d'un bucket
Chaque bucket de journaux possède un ensemble de vues de journaux. Pour lire les journaux d'un bucket de journaux, vous devez avoir accès à une vue de journaux sur le bucket. Les vues de journaux vous permettent d'accorder à un utilisateur un accès à un sous-ensemble uniquement des journaux stockés dans un bucket de journaux. Pour plus d'informations comment configurer des vues de journaux et accorder l'accès à des vues spécifiques, consultez la page Configurer les vues de journaux sur un bucket de journaux.
Pour lire les journaux d'un bucket de journaux, procédez comme suit :
console Google Cloud
-
Dans la console Google Cloud, accédez à la page Explorateur de journaux.
Accéder à l'explorateur de journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Pour personnaliser les journaux à afficher dans l'explorateur de journaux, Cliquez sur Affiner le champ d'application, puis sélectionnez une option. Par exemple : vous pouvez afficher les journaux stockés dans un projet ou par vue de journal.
Cliquez sur Appliquer. Le volet Résultats de la requête est actualisé avec les journaux correspondant à l'option sélectionnée.
Pour en savoir plus, consultez Présentation de l'explorateur de journaux: affiner le champ d'application
gcloud
Pour lire les journaux d'un bucket de journaux, utilisez la commande gcloud logging read
et ajoutez un LOG_FILTER
pour sélectionner des données :
gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID
API
Pour lire les journaux d'un bucket de journaux, utilisez la classe
entries.list. Définir
resourceNames
pour spécifier le bucket et la vue de journaux appropriés, puis définissez
filter
pour sélectionner des données.
Pour en savoir plus sur la syntaxe du filtrage, consultez la section Langage de requête Logging
Configurer la conservation personnalisée
Lorsque vous créez un bucket de journaux, vous avez la possibilité de personnaliser la période pendant laquelle Cloud Logging stocke les journaux du bucket.
Vous pouvez configurer la durée de conservation de n'importe quel bucket de journaux défini par l'utilisateur, ainsi que celle du bucket de journaux _Default
.
Si vous réduisez la durée de conservation du bucket, vous bénéficiez d'un délai de grâce de sept jours dont les journaux arrivés à expiration ne sont pas supprimés. Vous ne pouvez pas interroger ni afficher ces journaux expirés. Toutefois, pendant ces sept jours, vous pouvez restaurer un accès complet en prolongeant la durée de conservation du bucket. Les journaux stockés pendant le délai de grâce sont comptabilisés dans votre les coûts de conservation.
Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit :
console Google Cloud
Pour mettre à jour la durée de conservation d'un bucket de journaux, procédez comme suit:
-
Dans la console Google Cloud, accédez à la page Stockage des journaux.
Accéder à la page Stockage des journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Pour le bucket que vous souhaitez mettre à jour, cliquez sur more_vert Plus, puis sélectionnez Modifier le bucket
Dans le champ Conservation, saisissez le nombre de jours (compris entre 1 et 3 650 jours) pendant lesquels vous souhaitez que Cloud Logging conserve vos journaux.
Cliquez sur Mettre à jour le bucket. Votre nouvelle durée de conservation apparaît dans la liste Bucket de journaux.
gcloud
Pour mettre à jour la durée de conservation d'un bucket de journaux, exécutez la commande
gcloud logging buckets update
, après avoir défini une valeur pour
RETENTION_DAYS:
gcloud logging buckets update BUCKET_ID --location=LOCATION --retention-days=RETENTION_DAYS
Par exemple, pour conserver les journaux du bucket _Default
dans le bucket
global
pendant un an, votre commande se présente comme suit:
gcloud logging buckets update _Default --location=global --retention-days=365
Si vous prolongez la durée de conservation d'un bucket, les règles de conservation ne s'appliquent pas de façon rétroactive. Les journaux ne peuvent pas être récupérés après la fin de leur période de conservation spécifique.
Méthodes d'API asynchrones
La réponse d'une méthode asynchrone telle que
projects.locations.buckets.createAsync
est un objet Operation
.
Les applications qui appellent une méthode API asynchrone doivent interroger le point de terminaison operation.get
jusqu'à ce que la valeur du champ Operation.done
soit true
:
Lorsque l'état
done
est défini surfalse
, l'opération est en cours.Pour actualiser les informations d'état, envoyez une requête
GET
au point de terminaisonoperation.get
.Lorsque
done
est défini surtrue
, l'opération est terminée et le champerror
ouresponse
est défini:error
: si défini, l'opération asynchrone a échoué. La valeur de ce champ est un objetStatus
qui contient un code d'erreur gRPC et un message d'erreur.response
: si défini, l'opération asynchrone est terminée et la valeur reflète le résultat.
Pour interroger une commande asynchrone à l'aide de Google Cloud CLI, exécutez la commande suivante : :
gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID
Pour en savoir plus, consultez la page gcloud logging operations describe
.
Résoudre les problèmes courants
Si vous rencontrez des problèmes lors de l'utilisation des buckets de journaux, reportez-vous aux étapes de dépannage suivantes et aux réponses aux questions courantes.
Pourquoi ne puis-je pas supprimer ce bucket ?
Si vous essayez de supprimer un bucket, procédez comme suit :
Assurez-vous de disposer des autorisations appropriées pour supprimer le bucket. Pour le des autorisations dont vous avez besoin, reportez-vous Contrôle des accès avec IAM
Déterminez si le bucket est verrouillé en répertoriant les attributs du bucket. Si le bucket est verrouillé, vérifiez sa durée de conservation. Vous ne pouvez pas supprimer un bucket verrouillé tant que tous les journaux qu'il contient n'ont pas atteint la date limite de conservation du bucket.
Vérifiez que le bucket de journaux n'est pas associé à un ensemble de données BigQuery. Vous ne pouvez pas supprimer un bucket de journaux associé à un ensemble de données.
L'erreur suivante s'affiche en réponse à une commande
delete
sur une qui est associé à un ensemble de données:FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket
Pour répertorier les liens associés à un bucket de journaux, exécutez la
gcloud logging links list
ou exécutez laprojects.locations.buckets.links.list
.
Quels comptes de service acheminent les journaux vers mon bucket ?
Pour déterminer si des comptes de service disposent d'autorisations IAM pour acheminer les journaux vers votre bucket, procédez comme suit :
-
Dans la console Google Cloud, accédez à la page IAM :
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est IAM et administration.
À partir de l'onglet Autorisations, affichez la liste par Rôles. Vous voyez un tableau avec tous les rôles et comptes principaux IAM associés à votre projet Google Cloud.
Dans la tableFiltre zone de texte filter_list, saisissez Rédacteur de bucket de journaux.
Tous les comptes principaux dotés du rôle Rédacteur de bucket de journaux s'affichent. Si un compte principal est un compte de service, son ID contient la chaîne
gserviceaccount.com
.Facultatif: Si vous souhaitez supprimer un compte de service de l'acheminement dans votre projet Google Cloud, sélectionnez case à cocher check_box_outline_blank du compte de service, puis cliquez sur Supprimer.
Pourquoi des journaux d'un projet Google Cloud s'affichent-ils alors que je les ai exclus de mon récepteur _Default
?
Vous pouvez consulter les journaux d'un bucket de journaux projet Google Cloud centralisé, qui regroupe les journaux de toute votre organisation.
Si vous utilisez l'explorateur de journaux pour accéder à ces journaux et afficher ceux que vous
exclu du récepteur _Default
, votre vue peut être définie sur
au niveau du projet Google Cloud.
Pour résoudre ce problème, sélectionnez Vue de journal dans le
Menu Affiner le champ d'application
puis sélectionnez la vue de journal associée au bucket _Default
projet Google Cloud. Vous ne devriez plus voir les journaux exclus.
Étape suivante
Pour en savoir plus sur les méthodes de l'API Logs Bucket, consultez la documentation de référence sur LogBucket
.
Pour en savoir plus sur la gestion des cas d'utilisation courants des buckets de journaux, consultez les articles suivants :