Modèles de conception pour l'exportation Stackdriver Logging

Dans cette série d'articles, nous vous faisons découvrir les bonnes pratiques d'exportation de journaux pour des scénarios courants.

Stackdriver Logging offre un datastore opérationnel pour les journaux ainsi que de nombreuses possibilités d'exportation. Plusieurs raisons peuvent vous amener à exporter des journaux, par exemple le stockage de journaux à long terme (mois ou années) pour satisfaire aux exigences de conformité ou l'exécution d'analyses de données par rapport aux métriques extraites des journaux. Stackdriver Logging permet l'exportation vers Cloud Storage, BigQuery et Cloud Pub/Sub.

Exporter les journaux

Stackdriver Logging peut exporter tous les journaux d'une organisation à l'aide des exportations agrégées ou un projet spécifique à l'aide de l'exportation de journaux. Vous pouvez définir des filtres de journalisation pour inclure ou exclure certains projets ou certaines ressources cloud. Par exemple, vous pouvez exporter tous les journaux de Compute Engine, mais exclure les journaux à volume élevé de Cloud Load Balancer. Cette approche vous permet d'exporter la totalité des journaux ou des journaux spécifiques.

Les exportations agrégées permettent à votre organisation d'exporter des journaux de tous les projets ou d'un seul dossier. Grâce à cette fonctionnalité, vous pouvez appliquer la règle d'exportation de journaux à tous les projets de votre organisation. Vous avez également la possibilité d'exécuter des contrôles IAM au niveau de l'organisation afin de limiter l'accès des utilisateurs de sorte qu'ils ne puissent que modifier la configuration des exportations de journaux.

Contrairement aux exportations agrégées, l'exportation de journaux est activée par projet plutôt que pour l'ensemble de l'organisation. L'exportation de journaux est par ailleurs identique aux exportations agrégées.

Méthodes d'exportation

Il existe trois manières d'exporter des journaux à partir de Stackdriver :

  • Vers les fichiers : fichiers JSON stockés dans Cloud Storage
  • Vers BigQuery : tables de journalisation créées dans un ensemble de données BigQuery
  • Vers Cloud Pub/Sub : messages JSON remis à un sujet Cloud Pub/Sub

Journaux à exporter

Stackdriver Logging comprend deux principaux types de journaux :

Journaux des services surveillés Stackdriver
Ces journaux incluent les journaux écrits à partir des services de votre infrastructure cloud ainsi que les journaux des services gérés (Compute Engine, Cloud SQL, Cloud Datastore, etc.) et d'autres services inclus dans la liste des services surveillés. Parmi les autres journaux inclus figurent ceux fournis par l'agent Stackdriver Logging tels que syslog, jenkins, mongodb, ainsi que tous les autres journaux répertoriés dans la liste des journaux de l'agent. Vous pouvez configurer l'agent Logging de sorte qu'il signale les journaux supplémentaires en définissant la configuration sous-jacente Fluentd.
Journaux d'audit Cloud
Les journaux d'audit Cloud incluent deux types de journaux d'audit pour chaque projet et chaque organisation : "Activité de l'administrateur" et "Accès aux données". Les services Google Cloud Platform (GCP) écrivent des entrées de journaux d'audit dans ces journaux pour vous aider à répondre aux questions de type "Qui a fait quoi, où et quand ?" dans vos projets GCP. Les journaux de type "Activité de l'administrateur" contiennent des entrées relatives aux appels d'API et aux autres opérations d'administration qui modifient la configuration ou les métadonnées des ressources. Les journaux d'audit de type "Accès aux données" enregistrent les appels d'API qui créent, modifient ou lisent des données fournies par l'utilisateur. Consultez la liste des services produisant des journaux d'audit.

Formats de journalisation

Selon le type de journal, il existe trois formats distincts de charge utile de journalisation.

textPayload
Le contenu est représenté par une seule chaîne. Les journaux signalés par l'agent Stackdriver Logging (y compris syslog) et les journaux Cloud SQL sont des exemples de journaux utilisant ce format.
protoPayload
Le contenu est représenté sous forme de tampon de protocole et varie en fonction du contenu spécifique enregistré. Les journaux d'audit de type "Activité de l'administrateur" et "Accès aux données" sont tous deux exportés sous ce format. En fonction du type d'entrée exporté dans BigQuery, ces journaux ont différentes structures : des structures de table et des structures JSON.
jsonPayload
Le contenu est représenté sous la forme d'un objet JSON et varie en fonction du contenu spécifique enregistré. Les journaux d'activité ainsi que l'autoscaler de Compute Engine sont des exemples utilisant ce format.

La documentation sur les schémas et les champs fournit des informations détaillées sur la mise en correspondance des formats de journaux avec les structures de table BigQuery et les structures de fichiers d'exportation JSON. Lorsque vous écrivez des requêtes sur l'exportation BigQuery ou que vous analysez le ou les fichiers JSON exportés vers Cloud Pub/Sub, vous devez tenir compte du format de charge utile de journalisation spécifique. Le format détaillé du journal est répertorié dans la définition de l'API pour LogEntry.

Scénarios d'exportation de journaux

Les articles de cette série décrivent les scénarios pour lesquels vous pouvez exporter des journaux. Chaque scénario décrit les exigences, la configuration ainsi que l'utilisation, et explique comment partager les exportations.

Étapes suivantes

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…