Ce document présente Cloud Logging, un service de journalisation en temps réel de gestion des journaux avec prise en charge du stockage, de la recherche, de l'analyse et de la surveillance. Cloud Logging collecte automatiquement les journaux des ressources Google Cloud. Vous pouvez aussi collecter les journaux de vos applications, ressources sur site et les ressources d'autres fournisseurs cloud. Vous pouvez également configurer des règles d'alerte pour que Cloud Monitoring vous informe si certains types d'événements sont consignés dans vos journaux. Pour les exigences réglementaires ou pour des raisons de sécurité, vous pouvez déterminer l'emplacement de stockage de vos données de journaux.
Collecter les journaux de vos applications et de vos logiciels tiers
Vous pouvez collecter les journaux des applications que vous écrivez en instrumentant votre
à l'aide d'un
bibliothèque cliente. Cependant, il n’est pas toujours
nécessaires pour instrumenter votre application. Par exemple, pour certaines
vous pouvez utiliser l'agent Ops
pour envoyer les journaux écrits dans
stdout ou stderr à votre projet Google Cloud.
Vous pouvez également collecter les données des journaux de vos applications tierces, comme nginx,
en installant l'agent Ops, puis en le configurant pour qu'il écrive des journaux
de cette application vers votre projet Google Cloud.
Voir Que devez-vous utiliser: l'agent Logging ou la bibliothèque cliente ? . Vous y trouverez des informations qui vous aideront à choisir l'approche la mieux adaptée exigences.
Résoudre les problèmes et analyser les journaux
Vous pouvez afficher et analyser vos données de journaux à l'aide de la console Google Cloud : avec l'explorateur de journaux ou les pages "Analyse de journaux". Vous pouvez interroger et afficher les journaux avec les deux interfaces ; mais ils utilisent des langages de requête différents et ils ont des capacités différentes.
Si vous souhaitez dépanner et analyser les performances de vos services et applications, nous vous recommandons d'utiliser l'explorateur de journaux. Cette interface est conçue pour afficher des entrées de journal individuelles et trouver des entrées de journal associées. Pour exemple, lorsqu'une entrée de journal fait partie error group, cette entrée est annotée avec un menu d'options vous permettant d'accéder à plus d'informations sur l'erreur.
Lorsque vous souhaitez diffuser des annonces agréger des opérations sur vos journaux, par exemple, pour calculer la latence moyenne au fil du temps des requêtes HTTP envoyées à une URL spécifique, utilisez l'interface de l'Analyse de journaux. Avec cette interface, vous utilisez SQL pour interroger vos données de journaux. Vous pouvez donc utiliser les fonctionnalités de SQL pour vous aider à comprendre vos données de journaux.
Si vous préférez interroger vos données de journaux par programmation, vous pouvez utiliser la classe l'API Cloud Logging ou la Google Cloud CLI pour exporter des données de journaux depuis votre projet Google Cloud.
Pour en savoir plus, consultez Présentation des requêtes et de l'affichage des journaux
Surveiller vos journaux
Vous pouvez configurer Cloud Logging pour qu'il vous envoie une notification lorsque certains types d'événements apparaissent dans vos journaux. Ces notifications peuvent être envoyées apparaît dans une entrée de journal ou lorsqu'une tendance est détectée dans vos données de journal. Pour afficher les taux d'erreur de vos services Google Cloud, vous pouvez afficher le tableau de bord Cloud Logging, qui est préconfiguré.
Par exemple, si vous souhaitez être averti lorsqu'un tel qu'un événement critique de sécurité se produit, vous pouvez créer une règle d'alerte basée sur les journaux. Une règle d'alerte basée sur les journaux surveille votre les journaux selon un modèle spécifique. Si ce modèle est trouvé, alors Monitoring envoie une notification et crée un incident. Les règles d'alerte basées sur les journaux sont utiles pour les événements importants, mais rares. comme suit:
- Vous souhaitez être averti lorsqu'un événement apparaît dans un journal d'audit. par exemple, lorsqu'un utilisateur accède à la clé de sécurité d'un compte de service.
- Votre application écrit des messages de déploiement dans les journaux et vous souhaitez être averti lorsqu'une modification de déploiement est enregistrée.
Vous pouvez également surveiller les tendances ou l'occurrence d'événements au fil du temps. Dans ces situations, vous pouvez créer une métrique basée sur les journaux. Une métrique basée sur les journaux peut compter le nombre d'entrées de journal correspondant à certaines critère, ou extraire et organiser des informations comme les temps de réponse en histogrammes. Vous pouvez également configurer des règles d'alerte. des variations de performances se produisent, Par exemple, le temps de réponse passe à un niveau inacceptable. Les métriques basées sur les journaux sont adaptées si vous le souhaitez effectuer l'une des opérations suivantes:
- Compter les occurrences d'un message, comme un avertissement ou une erreur dans vos journaux et recevez une notification lorsque le nombre d'occurrences dépasse un certain seuil.
- Observer les tendances dans vos données, comme les valeurs de latence dans les journaux, et vous recevrez une notification si les valeurs changent de manière inacceptable.
- Créez des graphiques affichant les données numériques extraites de vos journaux.
Pour en savoir plus, consultez la page Surveiller vos journaux.
Stockage des journaux
Il n'est pas nécessaire de configurer l'emplacement de stockage des journaux. Par défaut, vos Le projet Google Cloud stocke automatiquement tous les journaux qu'il reçoit dans un bucket de journaux Cloud Logging. Par exemple, si votre Le projet Google Cloud contient une instance Compute Engine, et tous les journaux générées par Compute Engine sont automatiquement stockées pour vous. Cependant, si nécessaire, vous pouvez configurer un certain nombre d'aspects votre stockage de journaux : quels journaux sont stockés, qui sont supprimés et où les journaux sont stockés.
Vous pouvez acheminer ou transférer les entrées de journal vers les destinations suivantes, qui : peuvent se trouver dans le même projet Google Cloud ou dans un autre projet Google Cloud:
- Bucket Cloud Logging: stockage dans Cloud Logging. Un bucket de journaux peut stocker des entrées de journal reçus par plusieurs projets Google Cloud. Vous pouvez combiner Cloud Logging avec d'autres données en mettant à niveau un bucket de journaux pour qu'il utilise l'Analyse de journaux, puis en créant un ensemble de données BigQuery associé. Pour sur l'affichage des entrées de journal stockées dans des buckets de journaux, consultez Présentation des requêtes et de l'affichage des journaux et afficher les journaux acheminés vers des buckets Cloud Logging.
- Ensemble de données BigQuery: permet de stocker les entrées de journal dans Ensembles de données BigQuery. Vous pouvez utiliser des fonctionnalités d'analyse de big data sur les entrées de journal stockées. Pour combiner vos données Cloud Logging avec d'autres sources de données, nous vous recommandons de mettre à niveau vos buckets de journaux dans l'Analyse de journaux, puis créer un ensemble de données BigQuery associé. Pour en savoir plus sur l'affichage des entrées de journaux acheminées vers BigQuery, consultez Affichez les journaux acheminés vers BigQuery.
- Bucket Cloud Storage: ce bucket permet de stocker les entrées de journal dans Cloud Storage. Journal sont stockées sous forme de fichiers JSON. Pour en savoir plus sur l'affichage des journaux entrées acheminées vers Cloud Storage, consultez la section Afficher les journaux acheminés vers Cloud Storage.
- Sujet Pub/Sub: prend en charge les intégrations tierces. Journal les entrées sont au format JSON, puis acheminées vers sur un sujet. Pour plus d'informations sur l'affichage des entrées de journal acheminées vers pour Pub/Sub, consultez Affichez les journaux acheminés vers Pub/Sub.
- Splunk: service d'assistance pour Splunk. Vous devez acheminer les entrées de journal vers un sujet Pub/Sub, puis à ce sujet en utilisant Splunk.
- Projet Google Cloud: acheminez les entrées du journal vers un autre projet Google Cloud. Quand ? vous acheminez les entrées de journal vers un projet Google Cloud différent, la destination le routeur de journaux reçoit les entrées de journal et les traite. La récepteurs du projet de destination déterminent la manière dont les entrées de journal reçues sont est acheminée. Error Reporting peut analyser les entrées de journal lorsque la destination achemine ces entrées de journal vers un bucket de journaux appartenant au bucket de destination projet.
- Autres ressources: acheminez vos entrées de journal vers une destination compatible qui se trouve dans un autre projet. Pour en savoir plus sur les chemins à utiliser, consultez Formats du chemin de destination :
Pour en savoir plus, y compris sur la prise en charge de la régionalité des données, consultez Présentation du routage et du stockage
Catégories de journaux
Les catégories de journaux servent à décrire les informations de journalisation disponibles pour vous ; les catégories ne s'excluent pas mutuellement:
Les journaux de plate-forme sont des journaux écrits par vos services Google Cloud. Ces journaux peut vous aider à déboguer et à résoudre les problèmes, et à mieux comprendre les services Google Cloud que vous utilisez. Exemple : Les journaux de flux VPC enregistrent un échantillon les flux réseau envoyés et reçus par les instances de VM.
Les journaux de composants sont semblables aux journaux de plate-forme, mais ils sont générés par Composants logiciels fournis par Google qui s'exécutent sur vos systèmes Pour par exemple, GKE fournit des composants logiciels sur leur propre VM ou dans leur centre de données. Les journaux sont générés à partir aux instances GKE de l'utilisateur et le recevoir projet Google Cloud. GKE utilise les journaux ou leurs métadonnées pour fournir un support utilisateur.
Les journaux de sécurité vous aident à déterminer qui a fait quoi, où et quand :
Cloud Audit Logs fournit des informations les activités administratives et les accès au sein de votre aux ressources Google Cloud. L'activation des journaux d'audit contribue à améliorer la sécurité, l'audit et la conformité de surveillance des données et des systèmes Google Cloud de failles ou d'usage abusif de données externes. Pour obtenir la liste des services compatibles avec Google Cloud, consultez Services Google avec journaux d'audit :
Access Transparency vous fournit des journaux répertoriant les actions effectuées par les équipes Google lorsqu'elles qui accède à votre contenu Google Cloud. Journaux Access Transparency peut vous aider à vérifier le respect de vos obligations légales les exigences réglementaires de votre organisation. Pour obtenir la liste des services compatibles avec Google Cloud, consultez Services Google avec journaux Access Transparency
Les journaux écrits par l'utilisateur sont ceux écrits par des applications et services personnalisés. En règle générale, ces journaux sont écrits dans Cloud Logging à l'aide de l'un des méthodes suivantes:
Agent Ops ou l'agent Logging: pour obtenir la liste des journaux disponibles, consultez Journaux par défaut de l'agent Logging
Les journaux multicloud et les journaux cloud hybride font référence aux journaux d'autres fournisseurs de services cloud tels que Microsoft Azure et journaux de l'infrastructure sur site.
Modèle de données pour les journaux
Modèle de données utilisé par Cloud Logging pour organiser vos données de journaux
détermine les dimensions pour lesquelles vous pouvez interroger ces données. Par exemple :
étant donné qu'un journal est une collection nommée d'entrées individuelles, vous pouvez interroger
vos données par
le nom du journal. De même, comme chaque journal est composé
d'entrées de journal mises en forme en tant qu'objets LogEntry, vous
vous pouvez écrire des requêtes qui ne récupèrent que les entrées de journal dont la valeur
un champ LogEntry correspond à certains critères. Par exemple, vous ne pouvez afficher
les entrées de journal dont le champ severity a la valeur ERROR.
Chaque entrée de journal enregistre l'état ou décrit un événement spécifique, tel que la création d'une instance de VM et comprend au minimum les éléments suivants:
- Un horodatage indiquant quand l'événement a eu lieu, ou quand il a été reçu par Cloud Logging.
- Informations sur la source de l'entrée de journal. Cette source est appelée la ressource surveillée. Parmi les ressources surveillées, on peut par exemple les instances de VM Compute Engine et les conteneurs Google Kubernetes Engine. Pour obtenir la liste complète des types de ressources surveillées, consultez Ressources et services surveillés
- Une charge utile, également appelée message, fournie sous forme de texte non structuré données ou en tant que données textuelles structurées au format JSON.
Le nom du journal auquel l'entrée appartient. Le nom d'un journal inclut l'intégralité chemin d'accès de la ressource à laquelle appartiennent les entrées de journal, suivi d'une identifiant. Voici des exemples de noms de journaux:
projects/my-project/logs/stderrprojects/my-project/logs/stdoutprojects/my-project/compute.googleapis.com/activity
Contrôle des accès
Les rôles Identity and Access Management contrôlent la capacité d'un compte principal à accéder aux journaux. Vous pouvez attribuer des rôles prédéfinis aux comptes principaux peuvent créer des rôles personnalisés. Pour en savoir plus sur les autorisations requises, consultez Contrôle des accès :
Conservation
Les entrées de journal sont stockées dans des buckets de journaux pendant la période spécifiée, puis sont supprimées. Pour en savoir plus, consultez Présentation du routage et du stockage: conservation
Tarification et contrôle des coûts
Pour en savoir plus sur les tarifs, consultez Tarifs de Cloud Logging
Pour connaître les stratégies permettant de réduire les coûts liés à Logging, consultez la page Contrôle des coûts de Logging.