Présentation du routage et du stockage

Cette page explique comment Cloud Logging traite les entrées de journal et décrit les principaux composants du routage et du stockage des journaux.

De manière générale, Cloud Logging achemine et stocke les entrées de journal:

Schéma illustrant le routage des entrées des journal par Cloud Logging.

Routeur de journal

Cloud Logging reçoit les entrées de journal via l'API Cloud Logging, où elles transitent par le routeur de journaux. Les récepteurs du routeur de journaux vérifient chaque entrée de journal par rapport aux filtres d'inclusion et d'exclusion existants qui déterminent si l'entrée de journal doit être envoyée aux destinations de stockage, y compris dans les buckets Cloud Logging, ou si elle est exclue complètement de l'ingestion par Cloud Logging. Vous pouvez utiliser des récepteurs pour acheminer des journaux vers plusieurs destinations.

Pour acheminer de manière fiable les journaux, le routeur de journaux stocke temporairement les journaux, qui sont mis en mémoire tampon contre les interruptions temporaires sur tout récepteur. Notez que le stockage temporaire du routeur de journaux est différent du stockage à long terme fourni par les buckets Logging.

Récepteurs de journaux

Les récepteurs acheminent les entrées de journal vers des destinations de stockage et sont également utilisés pour exclure de Cloud Logging les entrées de journal. Les récepteurs de journaux combinent une expression de filtre et une destination.

Cloud Logging fournit deux récepteurs de journaux prédéfinis pour chaque projet Google Cloud : _Required et _Default. Tous les journaux générés dans un projet Google Cloud sont automatiquement traités via ces deux récepteurs de journaux, puis stockés dans les buckets journaux de _Required et _Default correspondants. s'affiche en haut de l'écran.

Les récepteurs de journaux agissent indépendamment les uns des autres. Quelle que soit la façon dont les récepteurs de journaux prédéfinis traitent vos entrées de journal, vous pouvez créer vos propres récepteurs de journaux pour acheminer tout ou partie de vos journaux vers différentes destinations compatibles, ou pour en exclure. entièrement stockées par Cloud Logging.

En fonction de la configuration du récepteur de journaux, chaque entrée de journal reçue par Cloud Logging appartient à une ou plusieurs de ces catégories:

  • Stocké dans Cloud Logging et non routés ailleurs
  • Stocké dans Cloud Logging et acheminés vers une destination compatible
  • Non stocké dans Cloud Logging, mais acheminé vers une destination compatible
  • Ni stockées dans Cloud Logging ni routé ailleurs
    • Ces journaux sont entièrement exclus

Vous pouvez créer des récepteurs au niveau du projet Google Cloud. Pour configurer des récepteurs au niveau de l'organisation ou du dossier, utilisez des récepteurs agrégés.

Pour en savoir plus, consultez la page Présentation des exportations de journaux.

Filtres d'exclusion

Chaque récepteur vous permet de saisir un ou plusieurs filtres d'exclusion, ce qui vous permet d'exclure des entrées de journal correspondantes vers la destination du récepteur.

Pour plus d'informations sur l'utilisation des filtres d'exclusion, consultez la page Exclusions de journaux.

Destinations compatibles

Vous pouvez utiliser le routeur de journaux pour acheminer certains journaux vers des destinations compatibles dans n'importe quel projet Cloud. Logging accepte les destinations suivantes:

  • Cloud Storage : fichiers au format JSON stockés dans des buckets Cloud Storage.
  • BigQuery: tables créées dans des ensembles de données BigQuery.
  • Pub/Sub : messages au format JSON envoyés aux sujets Pub/Sub. Accepte les intégrations tierces, telles que Splunk, avec Logging.
  • Cloud Logging: entrées des journaux conservées dans des buckets de journaux.

Pour en savoir plus sur le routage des journaux vers des destinations compatibles, consultez la page Configurer des récepteurs.

Buckets de journaux

Cloud Logging utilise des buckets de journaux en tant que conteneurs dans vos projets Google Cloud pour stocker et organiser les données de journaux. Les journaux que vous stockez dans Cloud Logging sont indexés, optimisés et distribués pour vous permettre d'analyser vos journaux en temps réel. Ces entités de stockage sont différentes des buckets Cloud Storage portant le même nom.

Vous pouvez créer des récepteurs pour tout ou partie d'un sous-ensemble de vos journaux vers n'importe quel bucket de journaux. Cette flexibilité vous permet de choisir le projet Cloud dans lequel vos journaux sont stockés et les autres journaux stockés.

Cloud Logging fournit à chaque projet Cloud les buckets de journaux _Required et _Default. Dans la configuration par défaut, tous les journaux générés dans un projet Cloud sont stockés dans les buckets de journaux _Required et _Default qui résident dans le projet Cloud dans lequel ils sont générés. Vous pouvez également créer des buckets de journaux personnalisés.

Pour en savoir plus, consultez la section Gérer les buckets de journaux.

Vues de journaux

Les vues de journaux vous permettent de contrôler l'accès aux journaux dans vos buckets de journaux.

Cloud Logging crée automatiquement la vue _AllLogs pour chaque bucket, qui affiche tous les journaux. Cloud Logging crée également une vue pour le bucket _Default appelé _Default, qui affiche tous les journaux à l'exception des journaux d'audit pour l'accès aux données.

Étant donné que les buckets de journaux peuvent contenir des journaux provenant de plusieurs projets Cloud, vous souhaiterez peut-être contrôler quels projets Cloud peuvent afficher les journaux. Vous pouvez créer des vues de journaux personnalisées afin de contrôler plus précisément l'accès à ces buckets.

Pour en savoir plus, consultez la page Gérer les vues de journaux.

Métriques basées sur les journaux

Les métriques basées sur les journaux sont des métriques Cloud Monitoring basées sur le contenu des entrées de journal. Si Cloud Logging reçoit une entrée de journal pour un projet Cloud qui correspond au filtre de l'une des métriques du projet Cloud, cette entrée de journal est reflétée dans les données de métriques.

Les filtres d'exclusion de récepteurs ne sont pas appliqués aux métriques basées sur les journaux. Même si vous excluez les journaux d'ingestion par l'API Cloud Logging et qu'ils ne sont stockés dans aucun bucket de journaux, il est possible qu'ils apparaissent dans les métriques basées sur les journaux.

Pour en savoir plus, consultez la présentation des métriques basées sur les journaux.

Étape suivante