Présentation de Cloud Logging

Ce document présente Cloud Logging, un système de gestion des journaux en temps réel compatible avec le stockage, la recherche, l'analyse et la surveillance. Cloud Logging collecte automatiquement les données de journaux des ressources Google Cloud. Vos applications, vos ressources sur site et les ressources d'autres fournisseurs cloud peuvent envoyer des données de journaux à Cloud Logging. Vous pouvez également configurer des règles d'alerte pour que Cloud Monitoring informe lorsque certains types d'événements sont consignés dans vos données de journaux. Pour les applications ou de sécurité, vous pouvez déterminer l'emplacement de stockage de ces données.

Collecter des journaux à partir de vos applications et de logiciels tiers

Vous pouvez collecter les journaux des applications que vous écrivez en instrumentant votre à l'aide d'un bibliothèque cliente. Cependant, il n’est pas toujours nécessaires pour instrumenter votre application. Par exemple, pour certaines vous pouvez utiliser l'agent Ops pour envoyer les journaux écrits dans stdout ou stderr à votre projet Google Cloud.

Vous pouvez également collecter les données des journaux de vos applications tierces, comme nginx, en installant l'agent Ops, puis en le configurant pour qu'il écrive des journaux de cette application vers votre projet Google Cloud.

Voir Que devez-vous utiliser: l'agent Logging ou la bibliothèque cliente ? . Vous y trouverez des informations qui vous aideront à choisir l'approche la mieux adaptée exigences.

Résoudre les problèmes et analyser les journaux

Vous pouvez afficher et analyser vos données de journaux à l'aide de la console Google Cloud : avec l'explorateur de journaux ou les pages "Analyse de journaux". Vous pouvez interroger et afficher les journaux avec les deux interfaces ; mais ils utilisent des langages de requête différents et ils ont des capacités différentes.

Si vous souhaitez dépanner et analyser les performances de vos services et applications, nous vous recommandons d'utiliser l'explorateur de journaux. Cette interface est conçue pour vous permettre d'afficher des entrées de journal individuelles et de trouver des entrées de journal associées. Pour exemple, lorsqu'une entrée de journal fait partie error group, cette entrée est annotée avec un menu d'options vous permettant d'accéder à plus d'informations sur l'erreur.

Si vous souhaitez effectuer des opérations agrégées sur vos journaux (par exemple, pour calculer la latence moyenne des requêtes HTTP émises vers une URL spécifique au fil du temps), utilisez l'interface Log Analytics. Avec cette interface, vous utilisez SQL pour interroger vos données de journaux. Vous pouvez donc utiliser les fonctionnalités de SQL pour vous aider à comprendre vos données de journaux.

Si vous préférez interroger vos données de journaux par programmation, vous pouvez utiliser la classe l'API Cloud Logging ou la Google Cloud CLI pour exporter des données de journaux depuis votre projet Google Cloud.

Pour en savoir plus, consultez Présentation des requêtes et de l'affichage des journaux

Surveiller vos journaux

Vous pouvez configurer Cloud Logging pour qu'il vous envoie une notification lorsque certains types d'événements apparaissent dans vos journaux. Ces notifications peuvent être envoyées apparaît dans une entrée de journal ou lorsqu'une tendance est détectée dans vos données de journal. Pour afficher les taux d'erreur de vos services Google Cloud, vous pouvez afficher le tableau de bord Cloud Logging, qui est préconfiguré.

Par exemple, si vous souhaitez être averti lorsqu'un tel qu'un événement critique de sécurité se produit, vous pouvez créer une règle d'alerte basée sur les journaux. Une règle d'alerte basée sur les journaux surveille votre les journaux selon un modèle spécifique. Si ce modèle est trouvé, alors Monitoring envoie une notification et crée un incident. Les règles d'alerte basées sur les journaux sont utiles pour les événements importants, mais rares. comme suit:

  • Vous souhaitez être averti lorsqu'un événement apparaît dans un journal d'audit. par exemple, lorsqu'un utilisateur accède à la clé de sécurité d'un compte de service.
  • Votre application écrit des messages de déploiement dans les journaux et vous souhaitez être averti lorsqu'une modification de déploiement est enregistrée.

Vous pouvez également surveiller les tendances ou l'occurrence d'événements au fil du temps. Dans ces situations, vous pouvez créer une métrique basée sur les journaux. Une métrique basée sur les journaux peut compter le nombre d'entrées de journal correspondant à certaines critère, ou extraire et organiser des informations comme les temps de réponse en histogrammes. Vous pouvez également configurer des règles d'alerte. des variations de performances se produisent, Par exemple, le temps de réponse passe à un niveau inacceptable. Les métriques basées sur les journaux sont adaptées si vous le souhaitez effectuer l'une des opérations suivantes:

  • Compter les occurrences d'un message, comme un avertissement ou une erreur dans vos journaux et recevez une notification lorsque le nombre d'occurrences dépasse un certain seuil.
  • Observer les tendances dans vos données, comme les valeurs de latence dans les journaux, et vous recevrez une notification si les valeurs changent de manière inacceptable.
  • Créez des graphiques affichant les données numériques extraites de vos journaux.

Pour en savoir plus, consultez la page Surveiller vos journaux.

Stockage des journaux

Vous n'avez pas besoin de configurer l'emplacement où les journaux sont stockés. Par défaut, vos Le projet Google Cloud stocke automatiquement tous les journaux qu'il reçoit dans un bucket de journaux Cloud Logging. Par exemple, si votre Le projet Google Cloud contient une instance Compute Engine, et tous les journaux générées par Compute Engine sont automatiquement stockées pour vous. Cependant, si nécessaire, vous pouvez configurer un certain nombre d'aspects votre stockage de journaux : quels journaux sont stockés, qui sont supprimés et où les journaux sont stockés.

Vous pouvez acheminer ou transférer les entrées de journal vers les destinations suivantes, qui : peuvent se trouver dans le même projet Google Cloud ou dans un autre projet Google Cloud:

  • Bucket Cloud Logging: stockage dans Cloud Logging. Un bucket de journaux peut stocker des entrées de journal reçus par plusieurs projets Google Cloud. Le bucket de journaux peut se trouver dans le projet d'où proviennent les entrées de journal. dans un autre projet. Pour en savoir plus sur l'affichage des entrées de journal stockées dans des buckets de journaux, consultez Présentation des requêtes et de l'affichage des journaux et afficher les journaux acheminés vers des buckets Cloud Logging.

    Vous pouvez combiner Cloud Logging avec d'autres données en mettant à niveau un bucket de journaux pour qu'il utilise dans l'Analyse de journaux, puis en créant un ensemble de données associé, qui est un espace Ensemble de données pouvant être interrogé par BigQuery Studio et Looker Studio .

  • Ensemble de données BigQuery: permet de stocker les entrées de journal dans un dans un ensemble de données BigQuery accessible en écriture. L'ensemble de données BigQuery peut se trouver dans le même projet que les entrées de journal ou dans un autre projet. Vous pouvez utiliser des fonctionnalités d'analyse big data sur les entrées de journal stockées. Pour en savoir plus sur l'affichage des entrées de journaux acheminées vers BigQuery, consultez Affichez les journaux acheminés vers BigQuery.

  • Bucket Cloud Storage : permet de stocker les entrées de journal dans Cloud Storage. Le bucket Cloud Storage peut se trouver dans le projet dans lequel les entrées de journal proviennent ou se trouvent dans un autre projet. Les entrées de journaux sont stockées sous forme de fichiers JSON. Pour savoir comment afficher les entrées de journal acheminées vers Cloud Storage, consultez la section Afficher les journaux acheminés vers Cloud Storage.

  • Sujet Pub/Sub: prend en charge les intégrations tierces. Les entrées de journal sont au format JSON, puis acheminées vers un serveur Pub/Sub sur un sujet. Le sujet peut se trouver dans le projet dans lequel les entrées de journal proviennent ou se trouvent dans un autre projet. Pour plus d'informations sur l'affichage des entrées de journal acheminées vers pour Pub/Sub, consultez Affichez les journaux acheminés vers Pub/Sub.

  • Projet Google Cloud : redirigez les entrées de journal vers un autre projet Google Cloud. Dans les récepteurs du projet de destination traitent les entrées de journal correspondantes.

Pour en savoir plus, y compris sur la prise en charge de la régionalité des données, consultez Présentation du routage et du stockage

Catégories de journaux

Les catégories de journaux servent à décrire les informations de journalisation disponibles pour vous ; les catégories ne s'excluent pas mutuellement:

  • Les journaux de plate-forme sont des journaux écrits par vos services Google Cloud. Ces journaux peut vous aider à déboguer et à résoudre les problèmes, et à mieux comprendre les services Google Cloud que vous utilisez.

  • Les journaux de composants sont semblables aux journaux de plate-forme, mais ils sont générés par Composants logiciels fournis par Google qui s'exécutent sur vos systèmes Pour par exemple, GKE fournit des composants logiciels sur leur propre VM ou dans leur centre de données. Les journaux sont générés à partir aux instances GKE de l'utilisateur et envoyées au projet Google Cloud. GKE utilise les journaux ou leurs métadonnées pour fournir un support utilisateur.

  • Les journaux de sécurité vous aident à déterminer qui a fait quoi, où et quand :

    • Cloud Audit Logs fournit des informations les activités administratives et les accès au sein de votre aux ressources Google Cloud. L'activation des journaux d'audit permet à vos entités de sécurité, d'audit et de conformité de surveiller les données et les systèmes Google Cloud afin de détecter d'éventuelles failles ou un usage abusif des données externes. Pour obtenir la liste des services compatibles avec Google Cloud, consultez Services Google avec journaux d'audit :
    • Access Transparency vous fournit des journaux répertoriant les actions effectuées par les équipes Google lorsqu'elles qui accède à votre contenu Google Cloud. Journaux Access Transparency peut vous aider à vérifier le respect de vos obligations légales les exigences réglementaires de votre organisation. Pour obtenir la liste des services compatibles avec Google Cloud, consultez Services Google avec journaux Access Transparency

  • Les journaux écrits par l'utilisateur sont ceux écrits par des applications et services personnalisés. En général, ces journaux sont inscrits dans Cloud Logging à l'aide de l'une des méthodes suivantes :

Modèle de données pour les journaux

Modèle de données utilisé par Cloud Logging pour organiser vos données de journaux détermine les dimensions pour lesquelles vous pouvez interroger ces données. Par exemple : étant donné qu'un journal est une collection nommée d'entrées individuelles, vous pouvez interroger vos données par le nom du journal. De même, comme chaque journal est composé d'entrées de journal mises en forme en tant qu'objets LogEntry, vous vous pouvez écrire des requêtes qui ne récupèrent que les entrées de journal dont la valeur un champ LogEntry correspond à certains critères. Par exemple, vous ne pouvez afficher les entrées de journal dont le champ severity a la valeur ERROR.

Chaque entrée de journal enregistre l'état ou décrit un événement spécifique, tel que la création d'une instance de VM et comprend au minimum les éléments suivants:

  • Un horodatage indiquant quand l'événement a eu lieu, ou quand il a été reçu par Cloud Logging.
  • Informations sur la source de l'entrée de journal. Cette source est appelée la ressource surveillée. Il peut s'agir, par exemple, de ressources surveillées les instances de VM Compute Engine et les conteneurs Google Kubernetes Engine. Pour obtenir la liste complète des types de ressources surveillées, consultez Ressources et services surveillés
  • Une charge utile, également appelée message, fournie sous forme de texte non structuré données ou en tant que données textuelles structurées au format JSON.

  • Le nom du journal auquel l'entrée appartient. Le nom d'un journal inclut l'intégralité chemin d'accès de la ressource à laquelle appartiennent les entrées de journal, suivi d'une identifiant. Voici des exemples de noms de journaux:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Contrôle des accès

Les rôles Identity and Access Management contrôlent la capacité d'un compte principal à accéder aux journaux. Vous pouvez attribuer des rôles prédéfinis aux comptes principaux peuvent créer des rôles personnalisés. Pour en savoir plus sur les autorisations requises, consultez Contrôle des accès :

Fidélisation

Les entrées de journal sont stockées dans des buckets de journaux pendant la période spécifiée, puis sont supprimées. Pour en savoir plus, consultez Présentation du routage et du stockage: conservation

Tarifs

Cloud Logging ne facture pas l'acheminement des journaux vers une destination compatible. Toutefois, la destination peut appliquer des frais. À l'exception du bucket de journaux _Required, Cloud Logging facture le streaming de journaux dans des buckets de journaux et le stockage pendant une durée supérieure à la période de conservation par défaut du bucket de journaux.

Cloud Logging ne facture pas la copie des journaux, permettant de définir des champs d'application de journaux. ou pour les requêtes émises via Explorateur de journaux ou Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :

Pour connaître les stratégies permettant de réduire les coûts liés à Logging, consultez la page Optimiser les coûts: opérations Cloud.