Présentation du routage et du stockage

Cette page explique comment Cloud Logging traite les entrées de journal et décrit les principaux composants du routage et du stockage de Logging.

Dans les grandes lignes, voici comment Cloud Logging achemine et stocke les entrées de journal:

Schéma illustrant le routage des entrées des journal par Cloud Logging.

Routeur de journaux

Cloud Logging reçoit les entrées de journal via l'API Cloud Logging, via le routeur de journaux. Les récepteurs du routeur de journaux vérifient chaque entrée de journal par rapport aux filtres d'inclusion et aux filtres d'exclusion existants qui déterminent si l'entrée de journal doit être envoyée à Destinations de stockage, y compris dans des buckets Cloud Logging, ou exclues entièrement de l'ingestion par Cloud Logging. Vous pouvez utiliser des récepteurs pour acheminer les journaux vers plusieurs destinations.

Pour acheminer de manière fiable les journaux, le routeur de journaux stocke également temporairement les journaux, qui sont mis en mémoire tampon contre les perturbations temporaires sur les récepteurs. Notez que le stockage temporaire du routeur de journaux est différent du stockage à plus long terme fourni par les buckets Logging.

Récepteurs

Les récepteurs contrôlent la manière dont Cloud Logging achemine les journaux. Les récepteurs vous permettent d'acheminer tout ou partie de vos journaux vers des destinations compatibles, ou d'empêcher le stockage des entrées de journal dans Cloud Logging. Vous pouvez être amené à contrôler la manière dont vos journaux sont routés pour les raisons suivantes:

  • Pour stocker des journaux qui sont peu susceptibles d'être lus, mais qui doivent être conservés à des fins de conformité.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces.

Cloud Logging fournit deux récepteurs de journaux prédéfinis pour chaque projet Google Cloud : _Required et _Default. Tous les journaux générés dans un projet Google Cloud sont automatiquement traités via ces deux récepteurs de journaux, puis stockés dans les buckets de journaux _Required et _Default correspondants. (Installation de Python groupée).

Les récepteurs de journaux agissent indépendamment les uns des autres. Quelle que soit la manière dont les récepteurs de journaux prédéfinis traitent vos entrées de journal, vous pouvez créer vos propres récepteurs de journaux pour acheminer une partie ou l'ensemble de vos journaux vers différentes destinations compatibles, ou pour les exclure. Elles ne sont pas stockées par Cloud Logging.

Toutes les entrées de journal écrites dans l'API Cloud Logging passent par le routeur de journaux. Lorsqu'une entrée de journal arrive dans un projet, un dossier, un compte de facturation ou une ressource d'organisation Cloud, Logging compare l'entrée de journal aux filtres des récepteurs associés à la ressource.

En fonction de la configuration du récepteur de journaux, chaque entrée de journal reçue par Cloud Logging appartient à une ou plusieurs des catégories suivantes:

  • Stockée dans Cloud Logging et non acheminée ailleurs
  • Stockée dans Cloud Logging et acheminé vers une destination compatible
  • Non stocké dans Cloud Logging, mais acheminé vers une destination compatible
  • Ni stockées dans Cloud Logging, ni acheminées ailleurs
    • Ces journaux sont totalement exclus

Récupère les journaux de routage appartenant aux ressources parentes. Vous créez généralement des récepteurs au niveau du projet Google Cloud. Vous pouvez également créer des récepteurs agrégés pour combiner et router les journaux des projets, dossiers et comptes de facturation Cloud contenus dans une organisation ou un dossier Google Cloud.

Vous ne pouvez pas acheminer les entrées de journal reçues par Logging avant la création de votre récepteur, car le routage ne concerne que les nouvelles entrées de journal. Si vous devez acheminer des entrées de journal de manière rétroactive, consultez la section Copier des journaux.

Filtres d'inclusion

Lorsque vous créez un récepteur, vous définissez un filtre d'inclusion pour sélectionner les journaux à inclure dans la destination du récepteur. Pour créer des filtres d'inclusion, utilisez le langage de requête Logging.

Si vous ne définissez pas de filtre pour un récepteur, chaque entrée de journal du projet Cloud est acheminée vers la destination, sauf si elle est explicitement exclue via les filtres d'exclusion du récepteur.

Filtres d'exclusion

Lorsque vous créez un récepteur, vous pouvez définir plusieurs filtres d'exclusion, ce qui vous permet d'exclure les entrées de journal correspondantes de leur routage vers la destination du récepteur ou de leur ingestion dans Cloud Logging. Pour créer des filtres d'exclusion, utilisez le langage de requête Logging.

Les journaux sont exclus une fois qu'ils ont été reçus par l'API Logging. Par conséquent, l'exclusion des journaux ne réduit pas le nombre d'appels d'API entries.write.

Les entrées de journal exclues ne sont pas visibles dans l'explorateur de journaux et ne sont pas disponibles pour Error Reporting et Cloud Debugger.

Les métriques basées sur les journaux définies par l'utilisateur sont calculées à partir des entrées de journaux incluses et exclues. Pour en savoir plus, consultez la page Surveiller vos journaux.

Destinations compatibles

Vous pouvez utiliser le routeur de journaux pour acheminer certains journaux vers les destinations compatibles de n'importe quel projet Cloud. Logging accepte les destinations de récepteur suivantes:

  • Cloud Storage : fichiers JSON stockés dans des buckets Cloud Storage offre un stockage économique à long terme.
  • BigQuery: tables créées dans les ensembles de données BigQuery propose des fonctionnalités d'analyse de big data.
  • Pub/Sub : messages au format JSON distribués aux sujets Pub/Sub accepte les intégrations tierces, telles que Splunk, avec Logging.
  • Cloud Logging: entrées de journal conservées dans des buckets de journaux offre un stockage dans Cloud Logging avec des durées de conservation personnalisables.

Pour en savoir plus sur l'acheminement des journaux vers des destinations compatibles, consultez la page Configurer des récepteurs.

Buckets de journaux

Cloud Logging utilise les buckets de journaux comme conteneurs dans vos projets Google Cloud pour stocker et organiser les données de vos journaux. Les journaux que vous stockez dans Cloud Logging sont indexés, optimisés et diffusés. Vous pouvez ainsi analyser vos journaux en temps réel. Il s'agit d'entités de stockage différentes des buckets Cloud Storage portant un nom similaire.

Pour chaque projet Cloud, Logging crée automatiquement deux buckets de journal : _Required et _Default. Logging crée automatiquement des récepteurs de journaux nommés _Required et _Default qui, dans la configuration par défaut, acheminent automatiquement les journaux vers les buckets correspondants. Notez que vous pouvez désactiver ou limiter les journaux acheminés vers le bucket de journaux _Default.

Vous pouvez également créer des buckets définis par l'utilisateur pour n'importe quel projet Google Cloud.

Créez des récepteurs pour acheminer tous vos journaux ou une partie seulement de ces derniers vers n'importe quel bucket de journaux. Cette flexibilité vous permet de choisir le projet Cloud dans lequel vos journaux sont stockés et ceux qui sont stockés avec eux.

Pour en savoir plus, consultez la page Configurer les buckets de journaux.

Bucket de journaux _Required

Cloud Logging achemine automatiquement les types de journaux suivants vers le bucket _Required:

Cloud Logging conserve les journaux de ce bucket pendant 400 jours. vous ne pouvez pas modifier cette durée de conservation.

Vous ne pouvez pas modifier ni supprimer le bucket _Required. Vous ne pouvez pas désactiver le récepteur _Required, qui achemine les journaux vers le bucket _Required.

Ni les tarifs d'ingestion, ni les tarifs de stockage ne s'appliquent aux données des journaux stockées dans le bucket de journaux _Required.

Bucket de journaux _Default

Toute entrée de journal non ingérée par le bucket _Required est acheminée par le récepteur _Default vers le bucket _Default, sauf si vous désactivez ou modifiez le récepteur _Default. (Installation de Python groupée). Pour savoir comment modifier les récepteurs, consultez la page Gérer les récepteurs.

Vous ne pouvez pas supprimer le bucket _Default.

Les journaux conservés dans le bucket _Default sont conservés pendant 30 jours, sauf si vous configurez la conservation personnalisée pour le bucket.

La tarification Cloud Logging s'applique aux données de journaux figurant dans le bucket _Default.

Buckets de journaux définis par l'utilisateur

Vous pouvez également créer des buckets de journaux définis par l'utilisateur dans n'importe quel projet Cloud. En appliquant des récepteurs à vos buckets de journaux définis par l'utilisateur, vous pouvez acheminer un sous-ensemble de vos journaux vers n'importe quel bucket de journaux, ce qui vous permet de choisir le projet Cloud dans lequel vos journaux sont stockés et les autres journaux stockés avec eux.

Par exemple, pour tout journal généré dans le projet A, vous pouvez configurer un récepteur pour l'acheminer vers des buckets définis par l'utilisateur dans Projet A ou Projet B.

Les tarifs de Cloud Logging s'appliquent aux données de journaux contenues dans ce bucket, quel que soit le type de journal.

Vous pouvez configurer la conservation personnalisée pour le bucket.

Pour en savoir plus sur la gestion des buckets de journaux définis par l'utilisateur, y compris sur leur suppression ou leur mise à jour, consultez la page Configurer et gérer les buckets de journaux.

Régionalisation

Lorsque vous créez votre bucket de journaux, vous pouvez choisir de stocker vos journaux dans l'une des régions suivantes:

Continent Régions
Asie asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-southeast1
Australie australia-southeast1
Europe europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
Amérique du Nord northamerica-northeast1
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
Amérique du Sud southamerica-east1

En plus de ces régions, vous avez également la possibilité de définir l'emplacement sur global, ce qui signifie que vous n'avez pas besoin de spécifier l'emplacement où vos journaux sont stockés physiquement.

Règle d'administration

Vous pouvez créer une règle d'administration pour vous assurer que votre organisation répond à vos besoins en termes de conformité et de réglementation. Grâce à une règle d'administration, vous pouvez spécifier les régions dans lesquelles votre organisation peut créer des buckets de journaux. Vous pouvez également empêcher votre organisation de créer des buckets de journaux dans les régions spécifiées.

Cloud Logging n'applique pas la règle d'administration que vous venez de créer sur votre bucket de journaux existant. elle n'applique la règle que sur les nouveaux buckets de journaux.

Pour en savoir plus sur la création d'une règle d'administration basée sur l'emplacement, consultez la page Restreindre l'emplacement des ressources.

Conservation des journaux

Cloud Logging conserve les journaux conformément aux règles de conservation appliquées au type de bucket de journaux dans lequel ils sont conservés.

Vous pouvez configurer Cloud Logging de façon à ce que les journaux soient conservés entre 1 et 3 650 jours. Les règles de conservation personnalisées s'appliquent à tous les journaux d'un bucket, quel que soit leur type ou leur copie d'un autre emplacement.

Pour en savoir plus sur la définition des règles de conservation d'un bucket de journaux, consultez la section Configurer la conservation personnalisée.

Arrêter l'ingestion de journaux

Pour savoir comment arrêter d'ingérer des journaux dans votre projet Google Cloud, consultez la section Arrêter l'ingestion de journaux.

Vues de journaux

Les vues de journaux vous permettent de contrôler qui a accès aux journaux dans vos buckets de journaux.

Cloud Logging crée automatiquement la vue _AllLogs pour chaque bucket, qui affiche tous les journaux. Cloud Logging crée également une vue pour le bucket _Default, appelée _Default, qui affiche tous les journaux, à l'exception des journaux d'audit pour l'accès aux données.

Étant donné que les buckets de journaux peuvent contenir des journaux provenant de plusieurs projets Cloud, vous voudrez peut-être contrôler les projets Cloud à partir desquels les différents utilisateurs peuvent afficher les journaux. Vous pouvez créer des vues de journaux personnalisées, ce qui vous permet de contrôler plus précisément l'accès à ces buckets.

Pour en savoir plus, consultez la page Gérer les vues de journaux.

Métriques basées sur les journaux

Les métriques basées sur les journaux sont des métriques Cloud Monitoring basées sur le contenu d'entrées de journal. Si Cloud Logging reçoit une entrée de journal pour un projet Cloud qui correspond au filtre de l'une des métriques du projet Cloud, cette entrée de journal est reflétée dans les données de métriques.

Les filtres d'exclusion de récepteur ne s'appliquent pas aux métriques basées sur les journaux. Même si vous excluez les journaux d'ingestion par l'API Cloud Logging et qu'ils ne sont pas stockés dans des buckets de journaux, vous pouvez consulter ces journaux dans les métriques basées sur les journaux.

Pour en savoir plus, consultez la présentation des métriques basées sur les journaux.

Limites

Tenez compte des limites suivantes :

Tarifs

Cloud Logging ne facture pas l'acheminement des journaux, mais des frais de destination peuvent s'appliquer. Pour plus d'informations, consultez les tarifs appropriés du service concerné:

Notez également que si vous envoyez et excluez vos journaux de flux de cloud privé virtuel (VPC) depuis Cloud Logging, des frais de génération de journaux de flux VPC s'appliquent en plus des frais de destination.

Étape suivante

Pour vous aider à acheminer et à stocker des données Cloud Logging, consultez les documents suivants: