Modèles de conception pour l'exportation des données de journalisation

Cet article est le premier d'une série traitant des modèles de conception et des bonnes pratiques d'exportation de journaux pour des scénarios courants.

Cloud Logging fournit un datastore opérationnel pour les journaux ainsi que de nombreuses possibilités d'exportation. Plusieurs raisons peuvent vous amener à exporter des journaux, par exemple le stockage de journaux à long terme (plusieurs mois ou années) pour satisfaire aux exigences de conformité ou l'exécution d'analyses de données par rapport aux métriques extraites des journaux. Cloud Logging permet d'exporter des journaux vers Cloud Storage, BigQuery et Pub/Sub, mais également vers Elasticsearch.

Exporter les journaux

Cloud Logging permet d'exporter tous les journaux d'une organisation à l'aide de récepteurs agrégés ou, pour un projet Google Cloud spécifique, à l'aide de l'exportation de journaux. Vous pouvez définir des filtres de journalisation pour inclure ou exclure certains projets ou certaines ressources cloud. Par exemple, vous pouvez exporter tous les journaux Compute Engine à l'exception des journaux Cloud Load Balancing dont le volume est important. Cette approche vous permet d'exporter la totalité des journaux ou des journaux spécifiques.

Les récepteurs agrégés permettent à votre organisation d'exporter des journaux de tous les projets ou d'un seul dossier. Grâce à cette fonctionnalité, vous pouvez appliquer la règle d'exportation de journaux à tous les projets de votre organisation. Vous avez également la possibilité d'exécuter des contrôles IAM au niveau de l'organisation afin de limiter l'accès des utilisateurs de sorte qu'ils ne puissent que modifier la configuration des exportations de journaux.

Contrairement aux récepteurs agrégés, l'exportation de journaux est activée par projet plutôt que pour l'ensemble de l'organisation. L'exportation de journaux est par ailleurs identique aux récepteurs agrégés.

Méthodes d'exportation

Il existe trois manières d'exporter des journaux à partir de Cloud Logging :

  • Vers les fichiers : fichiers JSON stockés dans Cloud Storage
  • Vers BigQuery : tables de journalisation créées dans un ensemble de données BigQuery
  • Vers Cloud Pub/Sub : messages JSON distribués dans un sujet Pub/Sub

Journaux à exporter

Pour en savoir plus sur les types de journaux disponibles dans Cloud Logging, consultez la section Journaux disponibles.

Formats de journalisation

Selon le type de journal, il existe trois formats distincts de charge utile de journalisation.

textPayload
Le contenu est représenté par une seule chaîne. Les journaux consignés par l'agent Cloud Logging (y compris syslog) et les journaux Cloud SQL sont des exemples de journaux utilisant ce format.
protoPayload
Le contenu est représenté sous forme de tampon de protocole et varie en fonction du contenu spécifique enregistré. Les journaux d'audit de type "Activité de l'administrateur" et "Accès aux données" sont tous deux exportés sous ce format. En fonction du type d'entrée exporté dans BigQuery, ces journaux présentent des structures de table et des structures JSON différentes.
jsonPayload
Le contenu est représenté sous la forme d'un objet JSON et varie en fonction du contenu spécifique enregistré. Les journaux d'activité ainsi que l'autoscaler de Compute Engine sont des exemples utilisant ce format.

La documentation sur les schémas et les champs fournit des informations détaillées sur la mise en correspondance des formats de journaux avec les structures de table BigQuery et les structures de fichiers d'exportation JSON. Lorsque vous écrivez des requêtes sur l'exportation BigQuery ou que vous analysez le ou les fichiers JSON exportés vers Cloud Pub/Sub, vous devez tenir compte du format de charge utile de journalisation spécifique. Le format détaillé du journal est répertorié dans la définition de l'API pour LogEntry.

Scénarios d'exportation Cloud Logging

Les articles de cette série décrivent les scénarios pour lesquels vous pouvez exporter des journaux. Chaque scénario décrit les exigences, la configuration ainsi que l'utilisation, et explique comment partager les exportations.

Étapes suivantes