Présentation du routage et du stockage

Ce document explique comment Cloud Logging traite les entrées de journal et décrit les composants clés du routage et du stockage Logging. Le routage fait référence au processus utilisé par Cloud Logging pour déterminer avec une entrée de journal nouvellement arrivée. Vous pouvez acheminer les entrées de journal vers des destinations comme les buckets Logging, qui stockent les entrée de journal, Pub/Sub. Pour exporter vos journaux vers des destinations tierces, acheminez vos les journaux dans un sujet Pub/Sub, puis autoriser la destination tierce pour s'abonner au sujet Pub/Sub.

De manière générale, voici comment Cloud Logging achemine et stocke les entrées de journal :

Schéma illustrant le routage des entrées des journal par Cloud Logging.

Acheminer les journaux avec le routeur de journaux

Les sections suivantes expliquent comment Logging achemine les journaux avec le routeur de journaux à l'aide de récepteurs.

Routeur de journaux

Une entrée de journal est envoyée à la ressource Google Cloud spécifiée dans son champ logName au moment de l'appel entries.write.

Cloud Logging reçoit les entrées de journal ayant API Cloud Logging, où elles sont transmises le routeur de journaux. Les récepteurs du routeur de journaux comparent chaque entrée de journal aux filtres d'inclusion et filtres d'exclusion existants qui déterminent les destinations (y compris les buckets Cloud Logging) vers lesquelles l'entrée de journal doit être envoyée. Vous pouvez utiliser des combinaisons de récepteurs pour acheminer les journaux vers plusieurs destinations.

Le routeur de journaux stocke temporairement les journaux. Ce comportement protège contre les interruptions et pannes temporaires qui peuvent survenir lorsqu'un récepteur achemine les journaux vers une destination. La mise en mémoire tampon ne protège pas contre le récepteur de configuration. Si votre récepteur n'est pas configuré correctement, Logging supprime les journaux, un journal d'erreurs est généré et une vous informant d'une erreur de configuration du récepteur.

Notez que le stockage temporaire du routeur de journaux est différent du stockage temporaire est fourni par les buckets Logging.

Les entrées de journal entrantes dont l'horodatage est supérieur au durée de conservation des journaux antérieure ou que qui se situent dans plus de 24 heures sont supprimés.

Récepteurs

Les récepteurs contrôlent la manière dont Cloud Logging achemine les journaux. Les récepteurs vous permettent d'acheminer une partie ou l'ensemble de vos journaux vers des destinations compatibles. Vous trouverez ci-dessous certaines des raisons pour lesquelles vous pouvez avoir besoin de contrôler la manière dont vos journaux sont acheminés :

  • Pour stocker des journaux peu susceptibles d'être lus, mais qui doivent être conservés à des fins de conformité.
  • Pour organiser vos journaux dans des buckets selon un format qui vous est utile.
  • Utiliser des outils d'analyse big data sur vos journaux.
  • Diffuser vos journaux vers d'autres applications, d'autres dépôts, ainsi que vers des organisations tierces. Par exemple, si vous souhaitez exporter vos journaux depuis Google Cloud pour pouvoir les consulter sur une plate-forme tierce, puis configurer un récepteur acheminer les entrées de journal vers Pub/Sub.

Les récepteurs appartiennent à une ressource Google Cloud donnée: projets Google Cloud, comptes de facturation, dossiers et organisations. Lorsque la ressource reçoit une entrée de journal, elle l'achemine en fonction des récepteurs qu'elle contient et, si cette option est activée, de tous les récepteurs ancêtres appartenant à la hiérarchie des ressources. L'entrée de journal est envoyée à la destination associée à chaque récepteur correspondant.

Cloud Logging fournit deux récepteurs prédéfinis pour chaque projet Google Cloud : compte de facturation, dossier et organisation: _Required et _Default. Tous les journaux générés dans une ressource sont automatiquement traités via ces deux récepteurs, puis sont stockés dans l'un des buckets du nom correspondant _Required ou _Default.

Les récepteurs agissent indépendamment les uns des autres. Quelle que soit la manière dont les récepteurs prédéfinis traitent vos entrées de journal, vous pouvez créer vos propres récepteurs pour acheminer une partie ou l'ensemble de vos journaux vers différentes destinations compatibles, ou pour les exclure du stockage Cloud Logging.

Le comportement de routage de chaque récepteur est contrôlé par la configuration du filtre d'inclusion et des filtres d'exclusion pour ce récepteur. Selon la configuration du récepteur, chaque entrée de journal reçue par Cloud Logging appartient à une ou plusieurs des catégories suivantes :

  • Stockée dans Cloud Logging et non routée ailleurs.

  • Stockée dans Cloud Logging et acheminée vers une destination compatible.

  • Non stockée dans Cloud Logging, mais acheminée vers une destination compatible.

  • Ni stockée dans Cloud Logging, ni acheminée ailleurs.

Vous créez généralement des récepteurs au niveau au niveau du projet Google Cloud, mais si vous souhaitez combiner et acheminer les journaux d'une organisation ou d'un dossier Google Cloud, vous pouvez créer des récepteurs agrégés ;

Vous ne pouvez pas acheminer les entrées de journal reçues par Logging avant la création de votre récepteur. Effectivement, le routage s'effectue lorsque les journaux transitent par l'API Logging et les nouvelles règles de routage ne s'appliquent qu'aux journaux écrits après la création de ces règles. Si vous devez acheminer les entrées de journal de manière rétroactive, consultez la section Copier des journaux.

Filtres d'inclusion

Pour tout nouveau récepteur, si vous ne spécifiez pas de filtres, tous les journaux sont considérés comme des correspondances et sont acheminés vers la destination du récepteur. Vous pouvez configurer le récepteur pour sélectionner des journaux spécifiques en définissant un filtre d'inclusion. Vous pouvez également définir un ou plusieurs filtres d'exclusion pour exclure des journaux de la destination du récepteur.

Lorsque vous configurez des récepteurs, vous créez des filtres d'inclusion dans le langage de requête Logging. Les récepteurs peuvent également contenir plusieurs filtres d'exclusion.

Chaque entrée de journal reçue par Logging est acheminée en fonction des règles de filtrage suivantes :

  • Les filtres d'exclusion d'un récepteur remplacent tous ses filtres d'inclusion définis. Un journal correspondant à un filtre d'exclusion du récepteur n'est jamais considéré comme une correspondance, quels que soient les filtres d'inclusion définis. L'entrée de journal n'est pas acheminée vers la destination de ce récepteur.

  • Si le récepteur ne contient pas de filtre d'inclusion, voici ce qui se produit :

    • Si l'entrée de journal correspond à un filtre d'exclusion, elle n'est pas acheminée vers la destination du récepteur.
    • Si l'entrée de journal ne correspond à aucun filtre d'exclusion, elle est acheminée vers la destination du récepteur. Un filtre d'inclusion vide sélectionne tous les journaux.
  • Si le récepteur contient un filtre d'inclusion, voici ce qui se produit :

    • Si l'entrée de journal correspond au filtre d'inclusion, elle est acheminée vers la destination du récepteur.
    • Si l'entrée de journal ne correspond pas au filtre d'inclusion, elle n'est pas acheminée vers la destination du récepteur.

Filtres d'exclusion

Lorsque vous créez un récepteur, vous pouvez définir plusieurs filtres d'exclusion. Les filtres d'exclusion vous permettent d'exclure le journal correspondant d'être acheminées vers la destination du récepteur stockées dans un bucket de journaux. Pour créer des filtres d'exclusion, utilisez les Langage de requête Logging

Les entrées de journal sont exclues une fois reçues par le l'API Logging. Ces entrées de journal consomment donc Quota d'API entries.write. Vous ne pouvez pas réduire le nombre d'appels d'API entries.write par en excluant les entrées de journal.

Les entrées de journal exclues ne sont pas disponibles dans l'explorateur de journaux.

Les entrées de journal qui ne sont pas acheminées vers au moins un bucket de journaux, que ce soit de manière explicite à cause des filtres d'exclusion ou simplement parcequ'elles ne correspondent à aucun récepteur associé à une destination de stockage Logging, sont également exclues d'Error Reporting. Par conséquent, ces journaux ne sont pas disponibles pour résoudre les défaillances.

Les métriques basées sur les journaux définies par l'utilisateur sont calculées à partir des entrées de journal incluses et exclues. Pour en savoir plus, consultez la page Surveiller vos journaux.

Destinations compatibles

Vous pouvez utiliser le routeur de journaux pour acheminer certains journaux vers des destinations compatibles dans n'importe quel projet Google Cloud. Logging est compatible avec les fonctionnalités destinations des récepteurs:

  • Bucket Cloud Logging: stockage dans Cloud Logging. Un bucket de journaux peut stocker des entrées de journal reçus par plusieurs projets Google Cloud. Vous pouvez combiner Cloud Logging avec d'autres données en mettant à niveau un bucket de journaux pour qu'il utilise l'Analyse de journaux, puis en créant un ensemble de données BigQuery associé. Pour sur l'affichage des entrées de journal stockées dans des buckets de journaux, consultez Présentation des requêtes et de l'affichage des journaux et afficher les journaux acheminés vers des buckets Cloud Logging.
  • Ensemble de données BigQuery: permet de stocker les entrées de journal dans Ensembles de données BigQuery. Vous pouvez utiliser des fonctionnalités d'analyse de big data sur les entrées de journal stockées. Pour combiner vos données Cloud Logging avec d'autres sources de données, nous vous recommandons de mettre à niveau vos buckets de journaux dans l'Analyse de journaux, puis créer un ensemble de données BigQuery associé. Pour en savoir plus sur l'affichage des entrées de journaux acheminées vers BigQuery, consultez Affichez les journaux acheminés vers BigQuery.
  • Bucket Cloud Storage: ce bucket permet de stocker les entrées de journal dans Cloud Storage. Journal sont stockées sous forme de fichiers JSON. Pour en savoir plus sur l'affichage des journaux entrées acheminées vers Cloud Storage, consultez la section Afficher les journaux acheminés vers Cloud Storage.
  • Sujet Pub/Sub: prend en charge les intégrations tierces. Journal les entrées sont au format JSON, puis acheminées vers sur un sujet. Pour plus d'informations sur l'affichage des entrées de journal acheminées vers pour Pub/Sub, consultez Affichez les journaux acheminés vers Pub/Sub.
  • Splunk: service d'assistance pour Splunk. Vous devez acheminer les entrées de journal vers un sujet Pub/Sub, puis à ce sujet en utilisant Splunk.
  • Projet Google Cloud: acheminez les entrées du journal vers un autre projet Google Cloud. Quand ? vous acheminez les entrées de journal vers un projet Google Cloud différent, la destination le routeur de journaux reçoit les entrées de journal et les traite. La récepteurs du projet de destination déterminent la manière dont les entrées de journal reçues sont est acheminée. Error Reporting peut analyser les entrées de journal lorsque la destination achemine ces entrées de journal vers un bucket de journaux appartenant au bucket de destination projet.
  • Autres ressources: acheminez vos entrées de journal vers une destination compatible qui se trouve dans un autre projet. Pour en savoir plus sur les chemins à utiliser, consultez Formats du chemin de destination :

Pour en savoir plus, consultez Acheminez les journaux vers des destinations compatibles.

Stocker, afficher et gérer les journaux

La section suivante explique comment les journaux sont stockés dans Cloud Logging et comment les afficher et les gérer.

Buckets de journaux

Cloud Logging utilise des buckets de journaux comme conteneurs dans vos projets, comptes de facturation, dossiers et organisations Google Cloud pour stocker et organiser vos données de journaux. Les journaux que vous stockez dans Cloud Logging sont indexés, optimisés et distribués afin de vous permettre de les analyser en temps réel. Les buckets Cloud Logging sont des entités de stockage différentes de celles des buckets Cloud Storage portant le même nom.

Pour chaque projet, compte de facturation, dossier et organisation Google Cloud, Logging crée automatiquement deux buckets de journaux: _Required et _Default Logging crée automatiquement des récepteurs nommés _Required et _Default qui, dans la configuration par défaut, acheminent les journaux vers les buckets du nom correspondant.

Vous pouvez désactiver le récepteur _Default, qui achemine les journaux vers le journal _Default. bucket. Vous pouvez modifier le comportement des récepteurs _Default créés pour tous de nouveaux projets ou dossiers Google Cloud. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Vous ne pouvez pas modifier les règles de routage du bucket _Required.

De plus, vous pouvez créer des buckets définis par l'utilisateur pour projet Google Cloud.

Vous créez des récepteurs pour acheminer l'intégralité ou une partie de vos journaux vers n'importe quel bucket de journaux. Cette flexibilité vous permet de choisir le projet Google Cloud où sont stockés vos journaux et quels autres journaux sont stockés avec eux.

Pour en savoir plus, consultez Configurez des buckets de journaux.

Bucket de journaux _Required

Cloud Logging achemine automatiquement les types de journaux suivants vers le bucket _Required :

Cloud Logging conserve les journaux dans le bucket _Required pendant 400 jours vous ne pouvez pas modifier cette durée de conservation.

Vous ne pouvez ni modifier, ni supprimer le bucket _Required. Vous ne pouvez pas désactiver le récepteur _Required, qui achemine les journaux vers le bucket _Required.

Bucket de journaux _Default

Toute entrée de journal qui n'est pas stockée dans le bucket _Required est acheminée par le récepteur _Default vers le bucket _Default, sauf si vous désactivez ou modifiez d'une autre manière le récepteur _Default. Pour obtenir des instructions sur la modification des récepteurs, consultez la page Gérer les récepteurs.

Par exemple, Cloud Logging achemine automatiquement les types suivants dans le bucket _Default:

Cloud Logging conserve les journaux dans le bucket _Default pendant au cours des 30 derniers jours, configurer des règles de conservation personnalisées bucket.

Vous ne pouvez pas supprimer le bucket _Default.

Buckets de journaux définis par l'utilisateur

Vous pouvez également créer des buckets de journaux définis par l'utilisateur dans n'importe quel projet Google Cloud. En appliquant des récepteurs à vos buckets de journaux définis par l'utilisateur, vous pouvez acheminer n'importe quel sous-ensemble de journaux vers n'importe quel bucket de journaux, ce qui vous permet le projet Google Cloud dans lequel vos journaux sont stockés et les autres journaux sont stockées avec elles.

Par exemple, pour un journal généré dans le projet A, vous pouvez configurer un récepteur pour acheminer ce journal vers des buckets définis par l'utilisateur dans le projet A ou le projet B.

Vous pouvez configurer la conservation personnalisée pour le bucket.

Pour en savoir plus sur la gestion des buckets de journaux définis par l'utilisateur, y compris sur la suppression ou en les mettant à jour, consultez Configurer et gérer les buckets de journaux.

Régionalisation

Les buckets de journaux sont des ressources régionales. L'infrastructure qui stocke, les index et les recherches dans vos journaux se situe dans un emplacement géographique spécifique. Google gère cette infrastructure de sorte que vos applications soient disponibles de façon redondante entre les zones de cette région.

Lorsque vous créez un bucket de journaux ou définissez un règle régionale à l'échelle de l'organisation, vous pouvez choisissez de stocker vos journaux dans l'une des régions suivantes:

Afrique

Nom de la région Description de la région
africa-south1 Johannesburg

Amériques

Nom de la région Description de la région
northamerica-northeast1 Montréal
northamerica-northeast2 Toronto
southamerica-east1 São Paulo
southamerica-west1 Santiago
us-central1 Iowa
us-east1 Caroline du Sud
us-east4 Virginie du Nord
us-east5 Columbus
us-south1 Dallas
us-west1 Oregon
us-west2 Los Angeles
us-west3 Salt Lake City
us-west4 Las Vegas

Asie-Pacifique

Nom de la région Description de la région
asia-east1 Taïwan
asia-east2 Hong Kong
asia-northeast1 Tokyo
asia-northeast2 Osaka
asia-northeast3 Séoul
asia-south1 Mumbai
asia-south2 Delhi
asia-southeast1 Singapour
asia-southeast2 Jakarta
australia-southeast1 Sydney
australia-southeast2 Melbourne

Europe

Nom de la région Description de la région
europe-central2 Varsovie
europe-north1 Finlande
europe-southwest1 Madrid
europe-west1 Belgique
europe-west2 Londres
europe-west3 Francfort
europe-west4 Pays-Bas
europe-west6 Zurich
europe-west8 Milan
europe-west9 Paris
europe-west10 Berlin
europe-west12 Turin

Moyen-Orient

Nom de la région Description de la région
me-central1 Doha
me-central2 Dammam
me-west1 Tel-Aviv

Autre

Nom de la région Description de la région
eu Journaux stockés dans des centres de données au sein de l'Union européenne aucune autre garanties de redondance
us Journaux stockés dans des centres de données aux États-Unis aucune autre garanties de redondance
global Journaux stockés dans n'importe quel centre de données dans le monde aucune redondance supplémentaire garanties

En plus de ces régions, vous pouvez définir l'emplacement sur global, ce qui signifie que vous n'avez pas besoin de spécifier l'emplacement physique de stockage de vos journaux.

Vous pouvez appliquer automatiquement une région de stockage particulière au _Default et _Required buckets créés dans une organisation ou un dossier. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Pour en savoir plus sur la région des données et l'emplacement de stockage des journaux des données, voir Découvrez les régions de données.

<ph type="x-smartling-placeholder">

Règle d'administration

Vous pouvez créer une règle d'administration pour vous assurer que votre organisation répond à vos besoins réglementaires et de conformité. Grâce à la règle d'administration, vous pouvez spécifier les régions dans lesquelles votre organisation peut créer des buckets de journaux. Vous pouvez également empêcher votre organisation de créer des buckets de journaux dans des régions spécifiées.

Cloud Logging n'applique pas la règle d'administration que vous venez de créer sur des buckets de journaux existants ; la stratégie n'est appliquée qu'aux nouveaux buckets de journaux.

Pour en savoir plus sur la création d'une règle d'administration basée sur l'emplacement, consultez Limitez les emplacements des ressources.

De plus, vous pouvez configurer un emplacement de stockage par défaut pour le Bucket _Default et _Required d'une organisation ou d'un dossier. Si vous configurez une règle d'administration qui limite l'emplacement des données stocké, vous devez vous assurer que l'emplacement de stockage par défaut que vous spécifiez est de façon cohérente avec cette contrainte. Pour en savoir plus, consultez Configurez les paramètres par défaut pour les organisations et les dossiers.

Conservation

Cloud Logging conserve les journaux conformément aux règles de conservation appliquées au type de bucket de journaux où ils sont conservés.

Vous pouvez configurer Cloud Logging pour conserver vos journaux entre 1 et 3 650 jours. Les règles de conservation personnalisées s'appliquent à tous les journaux d'un bucket, qu'ils aient été copiés depuis un autre emplacement ou non.

Pour en savoir plus sur la définition des règles de conservation d'un bucket de journaux, consultez Configurer des règles de conservation personnalisées

Pour en savoir plus sur les durées de conservation des différents types de journaux, consultez Quotas et limites.

Vues de journaux

Les vues de journaux vous permettent d'autoriser un utilisateur à accéder uniquement à un sous-ensemble des journaux stockés dans un bucket de journaux. Pour en savoir plus sur la configuration des vues de journaux et sur la façon pour accorder l'accès à des vues de journaux spécifiques, consultez Configurez des vues de journaux sur un bucket de journaux.

Pour chaque bucket de journaux, Cloud Logging crée automatiquement la classe _AllLogs. qui affiche tous les journaux stockés dans ce bucket. Cloud Logging crée aussi une vue pour le bucket _Default appelée _Default ; La vue _Default pour Le bucket _Default affiche tous les journaux, à l'exception des journaux d'audit des accès aux données. La Vous ne pouvez pas modifier les vues _AllLogs et _Default, et vous ne pouvez pas les supprimer la vue de journal _Default.

Les vues de journaux personnalisées vous offrent un moyen avancé et précis de contrôler les accès à vos données de journaux. Par exemple, supposons que vous stocker tous les journaux de votre organisation dans un un projet Google Cloud central. Comme les buckets de journaux peuvent contenir des journaux plusieurs projets Google Cloud, vous voudrez peut-être contrôler les projets Google Cloud dont différents utilisateurs peuvent afficher les journaux. Utiliser des journaux personnalisés vous pouvez accorder à un utilisateur l'accès aux journaux uniquement dans un seul projet Google Cloud, tout en permettant à un autre utilisateur d'accéder aux journaux tous les projets Google Cloud.

Utiliser des journaux dans l'écosystème Google Cloud

La section suivante explique comment utiliser les journaux au sens plus large Google Cloud.

Métriques basées sur les journaux

Les métriques basées sur les journaux sont des métriques Cloud Monitoring. dérivés du contenu des entrées de journal. Par exemple, si Cloud Logging reçoit une entrée de journal pour un projet Google Cloud qui correspond aux filtres de l'une des métriques du projet Google Cloud, puis cette entrée de journal est comptabilisée dans les données de métriques.

Les métriques basées sur les journaux interagissent différemment avec le routage, selon que les métriques basées sur les journaux sont définies par le système ou par vous-même. Les éléments suivants : décrivent ces différences.

Métriques basées sur les journaux et filtres d'exclusion

Les filtres d'exclusion de récepteurs s'appliquent aux métriques basées sur les journaux définies par le système, qui comptent que les journaux stockés dans des buckets de journaux.

Les filtres d'exclusion de récepteur ne s'appliquent pas aux métriques basées sur les journaux définies par l'utilisateur. Même si vous excluez le stockage des journaux dans les buckets Logging, vous pourriez voir ces journaux compter dans ces métriques.

Champ d'application des métriques basées sur les journaux

Les métriques basées sur les journaux définies par le système s'appliquent au niveau du projet Google Cloud. Ces métriques sont calculées par le routeur de journaux et ne s'appliquent qu'aux journaux dans le projet Google Cloud qui les reçoit.

Les métriques basées sur les journaux définies par l'utilisateur peuvent s'appliquer au projet Google Cloud ou d'un bucket de journaux spécifique:

  • Les métriques au niveau du projet sont calculées comme les métriques basées sur les journaux définies par le système. ces métriques basées sur les journaux définies par l'utilisateur ne s'appliquent qu'aux journaux dans le projet Google Cloud qui les reçoit.
  • Les métriques à l'échelle du bucket s'appliquent aux journaux du bucket de journaux leur réception, quel que soit le projet Google Cloud dans lequel des entrées de journal créées.

    Avec les métriques basées sur les journaux à l'échelle du bucket, vous pouvez créer des métriques basées sur les journaux qui peut évaluer les journaux dans les cas suivants:

    • Journaux acheminés d'un projet vers un bucket dans un autre projet
    • Journaux acheminés vers un bucket via un récepteur agrégé

Pour en savoir plus, consultez Présentation des métriques basées sur les journaux.

Rechercher des journaux dans les destinations compatibles

Pour en savoir plus sur le format des entrées de journal acheminées et sur l'organisation des journaux dans les destinations, consultez la page Afficher les journaux dans les destinations de récepteur.

Cas d'utilisation courants

Pour découvrir les cas d'utilisation courants du routage et du stockage des journaux, consultez les documents et tutoriels suivants :

Exigences de conformité

Pour connaître les bonnes pratiques d'utilisation du routage pour la gouvernance des données, consultez les ressources suivantes : documents:

Contrôle des accès avec IAM

Pour en savoir plus sur la façon dont vous utilisez les rôles et autorisations IAM (Identity and Access Management) pour pour contrôler l'accès aux données Cloud Logging, consultez la Contrôle des accès avec IAM

Tarifs

Cloud Logging ne facture pas l'acheminement des journaux vers destination prise en charge ; Toutefois, des frais peuvent s'appliquer à la destination. À l'exception du bucket de journaux _Required, Cloud Logging facture l'insertion de journaux dans des buckets de journaux pour le stockage plus longtemps que la durée de conservation par défaut du bucket de journaux.

Cloud Logging ne facture pas la copie des journaux ni les requêtes émises via la page Explorateur de journaux ou la page Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :

Étape suivante

Pour vous aider à acheminer et à stocker les données Cloud Logging, consultez les documents suivants :