Surveiller vos journaux

Ce document explique comment utiliser Cloud Monitoring pour observer les tendances dans vos journaux et vous avertir lorsque les conditions que vous décrivez apparaissent. Pour fournir à Cloud Monitoring des données provenant de vos journaux, Logging prend en charge les fonctionnalités suivantes :

  • Vous pouvez générer des métriques personnalisées à partir de vos entrées de journal. Ces métriques sont appelées métriques basées sur les journaux. Vous pouvez également créer des alertes basées sur les métriques pour vous avertir lorsqu'une métrique basée sur les journaux remplit une condition. Pour en savoir plus, consultez la section Visualiser les données des entrées de journal à l'aide de métriques basées sur les journaux.

  • Vous pouvez utiliser les règles d'alerte pour surveiller, en temps quasi réel, lorsqu'un message apparaît dans vos entrées de journal. Ces règles d'alerte sont appelées Règles d'alerte basées sur les journaux. Pour en savoir plus, consultez Surveillez les messages des entrées de journal individuelles.

  • Vous pouvez écrire une requête SQL dans l'Analyse de journaux et créer une règle d'alerte qui surveille les résultats de la requête. Ces règles d'alerte sont appelées règles d'alerte basées sur SQL. Pour en savoir plus, consultez Surveiller les résultats des requêtes SQL

    Les règles d'alerte basées sur SQL sont disponibles en version Preview publique.

Le reste de ce document décrit les différences entre ces trois règles d'alerte et fournit des informations sur l'autorisation, les coûts et les limites.

Visualiser les données des entrées de journaux à l'aide de métriques basées sur les journaux

Pour surveiller les événements récurrents dans vos journaux au fil du temps, utilisez des métriques basées sur les journaux. Les métriques basées sur les journaux génèrent des données numériques à partir de vos journaux. Les métriques basées sur les journaux sont adaptées si vous souhaitez effectuer l'une des opérations suivantes :

  • Comptez les occurrences d'un message dans vos journaux comme un avertissement ou une erreur et recevez une notification lorsque le nombre d'occurrences dépasse un certain seuil.
  • Observez les tendances dans vos données, telles que les valeurs de latence dans les journaux, et recevez une notification si les valeurs changent de manière inacceptable.
  • Créez des graphiques affichant les données numériques extraites de vos journaux.

Les métriques basées sur les journaux génèrent des données numériques à partir de vos journaux. Vous pouvez donc les utiliser dans des règles d'alerte et les afficher dans des graphiques. Pour en savoir plus sur la création de graphiques et de règles d'alerte pour les consultez Configurer des notifications pour les métriques basées sur les journaux.

Cloud Monitoring fournit un ensemble de métriques basées sur les journaux prédéfinies, et vous pouvez définir les vôtres. Pour afficher la liste des métriques basées sur les journaux définies par le système, cliquez sur le bouton  suivant :

Métriques basées sur les journaux définies par l'utilisateur

Vous pouvez créer des métriques basées sur les journaux pour extraire des données numériques de vos journaux. Les métriques basées sur les journaux définies par l'utilisateur calculent les valeurs des journaux inclus et exclus.

Par défaut, les métriques basées sur les journaux définies par l'utilisateur collectent les données de tous les journaux reçus par le routeur de journaux de votre projet Google Cloud, mais vous pouvez définir qui collectent les données des journaux acheminés vers un bucket de journaux spécifique.

Si vous définissez vos propres métriques basées sur les journaux, des frais peuvent vous être facturés. Pour en savoir plus sur les coûts associés ingestion des métriques, consultez Métriques facturables.

Surveiller les entrées de journal individuelles pour les messages

Pour être averti chaque fois qu'un message spécifique apparaît dans une entrée de journal, utilisez des règles d'alerte basées sur les journaux. Les règles d'alerte basées sur les journaux sont utiles pour détecter les événements liés à la sécurité dans les entrées de journal, par exemple :

  • Vous souhaitez être averti lorsqu'un événement apparaît dans un journal d'audit (par exemple, un utilisateur humain accède à la clé de sécurité d'un compte de service).
  • Votre application écrit des messages de déploiement dans les journaux et vous souhaitez être averti lorsqu'une modification de déploiement est enregistrée.

Les règles d'alerte basées sur les journaux sont utiles pour les événements qui, selon vous, sont rares et importants. Vous ne voulez pas connaître une tendance ou un modèle, mais savoir qu'un événement s'est produit.

Pour en savoir plus sur la création de règles d'alerte basées sur les journaux, consultez Configurez des règles d'alerte basées sur les journaux.

Vous pouvez configurer une règle d'alerte basée sur les métriques pour simuler une alerte basée sur les journaux règle d'alerte. Pour ce faire, définissez une métrique basée sur les journaux et utilisez-la dans une règle d'alerte basée sur les métriques avec un seuil de un. Grâce aux règles d'alerte basées sur les journaux, vous n'avez pas besoin de créer et configurer une règle d'alerte basée sur les métriques.

Surveiller les résultats des requêtes SQL

Vous pouvez configurer des règles d'alerte qui utilisent Log Analytics pour exécuter des requêtes SQL sur vos données d'entrée de journal. Ces types de règles d'alerte sont efficaces lorsque vous souhaitez recevoir des notifications en fonction de modèles qui ne peuvent pas être évalués par les règles d'alerte basées sur les journaux, tels que des modèles complexes dans les entrées de journaux ou des agrégations de données de journaux. Pour en savoir plus, consultez la section Surveiller les résultats de vos requêtes SQL à l'aide d'une règle d'alerte.

Comparaison des options d'alerte

Cette section compare les règles d'alerte basées sur les métriques basées sur les journaux, les règles d'alerte basées sur les journaux et les règles d'alerte basées sur SQL.

tableau récapitulatif

Le tableau suivant récapitule les techniques d'alerte et fournit des liens vers des informations supplémentaires :

Règles d'alerte basées sur les métriques Règles d'alerte basées sur les journaux Règles d'alerte basées sur SQL En savoir plus
Basées sur des métriques dérivées des entrées de journal Basées sur des chaînes dans des entrées de journal individuelles Basées sur les tables renvoyées par les requêtes SQL sur les entrées de journal Métriques basées sur les journaux
Alertes basées sur les journaux
Alertes basées sur SQL
Utilisées pour vous informer des tendances au fil du temps Utilisées pour vous avertir lorsqu'un message spécifique apparaît dans un journal Utilisé pour vous avertir d'un schéma dans une fenêtre d'entrées de journal Métriques basées sur les journaux
Alertes basées sur les journaux
Alertes basées sur SQL
Calculées à partir de
  • Journaux inclus (métriques basées sur les journaux et définies par le système)
  • Journaux inclus et exclus (métriques basées sur les journaux et définies par l'utilisateur)
 Correspondance uniquement avec les journaux inclus Calculé à partir d'entrées de journal dans une fenêtre glissante Journaux disponibles
Alertes basées sur SQL
Exploiter les métriques de tous les projets dans le champ d'application des métriques du projet de champ d'application Travailler uniquement sur les journaux dans le projet de champ d'application Agissez sur tous les journaux lisibles de n'importe quel projet Google Cloud. Créer des alertes pour plusieurs projets
Un incident est créé lorsque la valeur d'une métrique remplit une condition pendant une période spécifiée. Un incident est créé chaque fois qu'une entrée de journal spécifique correspond à filtre Un incident est créé lorsque la table des résultats de la requête remplit une condition Incidents et notifications
Créées et gérées dans Monitoring Créées dans Logging ;
gérées dans Monitoring		 Créé dans l'Analyse de journaux ; gérées dans Monitoring Créer et gérer des règles d'alerte
Alertes basées sur SQL
Consultées dans Monitoring Consultées dans Monitoring Consultées dans Monitoring Afficher les règles d'alerte
Peut utiliser n'importe quel canal de notification compatible avec Monitoring Peut utiliser n'importe quel canal de notification compatible avec Monitoring Peut utiliser n'importe quel canal de notification compatible avec Monitoring Canaux de notification

Journaux disponibles

Les métriques basées sur les journaux définies par l'utilisateur sont calculées à partir de tous les journaux reçus par l'API Logging pour le projet Google Cloud, quels que soient les filtres d'inclusion ou les filtres d'exclusion pouvant s'appliquer au projet Google Cloud. Si vous créez une règle d'alerte basée sur une métrique basée sur les journaux définie par l'utilisateur, la règle surveille les données de tous les journaux.

Les métriques basées sur les journaux définies par le système ne sont calculées qu'à partir des journaux. stockés dans des buckets de journaux projet Google Cloud. Si un journal a été explicitement exclu, il n'est pas inclus dans ces métriques. Si vous créez une règle d'alerte basée sur une métrique basée sur les journaux définie par le système, la règle ne surveille que les données des journaux inclus.

Les règles d'alerte basées sur les journaux ne fonctionnent que sur les journaux inclus provenant d'un projet. Vous ne pouvez pas utiliser de règles d'alerte basées sur les journaux pour vous avertir des messages dans des journaux exclus ou dans des journaux d'autres ressources, comme des dossiers ou pour les entreprises.

Les métriques basées sur les journaux et les règles d'alerte basées sur les journaux fonctionnent au niveau du projet Google Cloud et non sur des buckets individuels.

Les règles d'alerte basées sur SQL interrogent les vues de journaux sur les buckets de journaux. Vous devez mettre à niveau ces buckets de journaux pour utiliser l'Analyse de journaux, puis les associer à un ensemble de données BigQuery. Pour en savoir plus sur les règles d'alerte basées sur SQL, consultez la section Surveiller les résultats de vos requêtes SQL avec une règle d'alerte.

Créer des alertes pour plusieurs projets

Vous pouvez surveiller les métriques de plusieurs projets en configurant un champ d'application des métriques. Un champ d'application des métriques répertorie tous les projets et comptes qu'il surveille. Un projet de champ d'application héberge le champ d'application des métriques. Le projet de champ d'application stocke les règles d'alerte et d'autres configurations que vous créez pour le champ d'application des métriques. Le projet de champ d'application pour un champ d'application des métriques est le projet sélectionné par l'outil de sélection de projets de la console Google Cloud.

Les règles d'alerte basées sur les métriques basées sur les journaux, telles que les règles d'alerte basées sur d'autres métriques, fonctionnent sur tous les projets de champ d'application des métriques du projet de champ d'application.

Règles d'alerte basées sur les journaux et sur SQL n'opèrent pas sur les champs d'application des métriques ; les journaux dans ne font pas partie d'un champ d'application des métriques. Une règle d'alerte basée sur les journaux n'évalue que les journaux provenant du projet en cours ou acheminés vers celui-ci. Une règle d'alerte basée sur SQL interroge une vue de journal dans un bucket de journaux.

Pour plus d'informations sur les champs d'application des métriques, y compris les champs d'application de métriques multiprojets et les projets de champ d'application, consultez les pages suivantes :

Les règles d'alerte basées sur SQL peuvent interroger les vues de journaux de n'importe quel bucket de journaux. dans n'importe quel projet Google Cloud, à condition que les autorisations read appropriées soient sur l'ensemble de données BigQuery associé.

Incidents et notifications

Lorsque la condition d'une règle d'alerte est remplie, Monitoring ouvre un incident et envoie des notifications aux canaux de notification de la règle d'alerte. Pour afficher les détails de l'incident, cliquez sur Afficher l'incident dans le message de notification, ou accédez directement à la page Incidents dans Monitoring.

Incidents pour les règles d'alerte basées sur les métriques

Les règles d'alerte basées sur des métriques basées sur les journaux créent des incidents et des notifications comme toutes les autres règles d'alerte basées sur les métriques dans Cloud Monitoring, comme décrit sur la page Comportement des alertes. Pour plus d'informations sur la gestion des incidents pour les règles d'alerte basées sur les métriques, consultez la section Incidents pour les règles d'alerte basées sur les métriques.

Incidents pour les règles d'alerte basées sur les journaux

Les règles d'alerte basées sur les journaux ne sont pas des règles d'alerte basées sur les métriques. Lorsqu'une entrée de journal remplit les conditions d'une règle d'alerte basée sur les journaux, Monitoring crée des incidents et des notifications de la manière suivante :

  • La première fois que Cloud Logging écrit une entrée de journal correspondant à votre alerte dans un bucket de journaux, un incident est créé et une notification est envoyée. Si une autre entrée de journal correspondante est ensuite écrite, un nouvel incident n'est créé que si l'incident précédent a été fermé. Toutefois, la suppression définitive d'un incident peut prendre jusqu'à trois minutes. Si une entrée de journal correspondante est reçue dans les trois minutes suivant la fermeture d'un incident, le système peut rouvrir l'incident plutôt que d'en créer un nouveau.

  • Lorsque vous créez une règle d'alerte basée sur les journaux, vous pouvez spécifier la durée minimale entre les notifications. Par exemple : sélectionnez un délai de 10 minutes entre chaque notification. Si la condition de votre règle d'alerte basée sur les journaux est remplie deux fois au cours de cette période, vous ne recevez qu'une seule notification.

    Le taux maximal de notifications pour les règles d'alerte basées sur les journaux est de 1 notification toutes les 5 minutes pour chaque règle d'alerte basée sur les journaux. Toutefois, si la requête de votre règle d'alerte basée sur les journaux extrait des valeurs de libellé, chaque combinaison de valeurs extraites représente son propre calendrier de notification. Par exemple, supposons qu'une règle d'alerte basée sur les journaux extrait les valeurs d'un libellé. Supposons que le libellé puisse avoir deux valeurs. Avec cette configuration, vous pouvez recevoir deux notifications, une pour chaque valeur de libellé, dans les cinq minutes.

  • Chaque règle d'alerte basée sur les journaux est limitée à 20 notifications par jour. Si vous atteignez cette limite, la notification inclut un message indiquant que vous avez atteint la limite pour la journée.

  • Les incidents sont automatiquement fermés après sept jours, sauf si vous configurez une période plus courte ou que vous les fermez manuellement.

Pour en savoir plus sur la gestion des incidents pour les règles d'alerte basées sur les journaux, consultez la section Gérer les incidents pour les règles d'alerte basées sur les journaux.

Incidents liés aux règles d'alerte basées sur SQL

Pour les règles d'alerte basées sur SQL, Cloud Monitoring crée un incident la première fois que le résultat la requête SQL répond à la condition spécifiée dans la stratégie. Chaque règle d'alerte ne peut avoir qu'un seul incident ouvert. Tant que l’incident est ouvert, Si la condition est de nouveau remplie, Monitoring ne crée pas d'autres incidents ou d'envoyer des notifications supplémentaires. La surveillance ferme les incidents basés sur SQL au bout de sept jours, sauf si vous configurez une période de fermeture d'incident plus courte ou que vous fermez l'incident vous-même.

Pour en savoir plus sur la gestion des incidents pour les règles d'alerte basées sur SQL, consultez Gérer les incidents pour les règles d'alerte basées sur SQL.

Créer et gérer des règles d'alerte

Vous créez, modifiez et supprimez des règles d'alerte basées sur les métriques basées sur les journaux dans Cloud Monitoring, comme toute autre règle d'alerte basée sur les métriques. Pour plus d'informations, consultez la section Gérer les règles.

Vous pouvez créer des règles d'alerte basées sur les journaux à l'aide de l'explorateur de journaux ou de la API Cloud Monitoring. Vous pouvez modifier et supprimer des règles d'alerte basées sur les journaux dans ou à l'aide de l'API Cloud Monitoring. Pour en savoir plus, consultez la section Gérer les règles d'alerte basées sur les journaux.

Vous pouvez créer des règles d'alerte basées sur SQL à l'aide de Log Analytics ou de l'API Cloud Monitoring. Vous modifiez et supprimez des règles d'alerte basées sur SQL dans Monitoring ou à l'aide de l'API Cloud Monitoring. Pour en savoir plus, consultez Surveillez les résultats de vos requêtes SQL avec une règle d'alerte.

Afficher les règles d'alerte

La page Règles de Monitoring répertorie toutes les règles d'alerte de votre projet Google Cloud. Cette liste inclut les règles utiliser des métriques et des règles d'alerte basées sur les journaux.

  1. Dans la console Google Cloud, accédez à la page Alertes :

    Accéder à l'interface des alertes

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

  2. Sélectionnez Afficher toutes les règles.

Les règles d'alerte basées sur les journaux apparaissent dans la liste avec la valeur Logs dans Colonne Type. Les règles d'alerte basées sur les métriques, y compris les métriques basées sur les journaux, apparaissent dans la liste avec la valeur Metrics dans la colonne Type. Les règles d'alerte basées sur SQL apparaissent dans la liste avec la valeur SQL dans la colonne Types. La capture d'écran suivante montre un extrait d'une liste de règles :

Pour afficher les règles d'alerte par type, utilisez la colonne "Type" de la liste des règles d'alerte.

Canaux de notification

Vous pouvez envoyer des notifications à partir de n'importe quel type l'un des canaux de notification compatibles avec Monitoring. Toi devez configurer ces canaux avant de pouvoir les utiliser dans des règles d'alerte.

Pour plus d'informations, consultez la page Gérer les canaux de notification.

Exigences concernant les autorisations

L'utilisation de métriques basées sur les journaux ou de règles d'alerte basées sur les journaux nécessite une autorisation pour Cloud Logging et Cloud Monitoring.

Coûts et limites

Si vous définissez vos propres métriques basées sur les journaux, les critères suivants s'appliquent :

  • Le nombre et la structure des métriques basées sur les journaux définies par l'utilisateur sont limités. Pour en savoir plus sur ces limites, consultez la section Limites des métriques basées sur les journaux.
  • Des frais peuvent être facturés pour les métriques basées sur les journaux définies par l'utilisateur. Pour en savoir plus sur les coûts associés à l'ingestion de métriques, consultez la section Métriques facturables.
  • Les règles d'alerte basées sur SQL s'exécutent dans BigQuery dans votre projet Google Cloud. Des frais peuvent s'appliquer si vous disposez d'une réservation BigQuery. Pour en savoir plus sur les coûts associés aux réservations BigQuery, consultez la section Tarifs de BigQuery.

L'utilisation de règles d'alerte basées sur des métriques basées sur les journaux est gratuite.

Les limites de surveillance suivantes liées aux règles d'alerte s'appliquent :

Catégorie Valeur Type de règle1
Règles d'alerte (somme des métriques et des journaux) par champ d'application des métriques2 500 Métrique, journal
Conditions par règle d'alerte basée sur des métriques 6 Métrique
Conditions par règle d'alerte basée sur SQL (version Preview publique) 1 SQL
Période maximale qu'une condition d'absence de métrique
évalue3		 1 jour Métrique
Période maximale qu'une condition de seuil de métrique
évalue3		 23 heures 30 minutes Métrique
Longueur maximale du filtre utilisé
dans une condition de seuil de métrique		 2 048 caractères Unicode Métrique
Nombre maximal de séries temporelles
surveillées par une condition de prévision		 64 Métrique
Période de prévision minimale 1 heure (3 600 secondes) Métrique
Période de prévision maximale 2,5 jours (216 000 secondes) Métrique
Canaux de notification par règle d'alerte 16 Métrique, journal
Taux maximal de notifications4 Une notification toutes les cinq minutes pour chaque règle d'alerte basée sur les journaux Journal
Nombre maximal de notifications 20 notifications par jour pour chaque règle d'alerte basée sur les journaux Journal
Nombre maximal d'incidents ouverts simultanément
par règle d'alerte		 1 000 Métrique
Période après laquelle un incident sans nouvelle donnée est
automatiquement fermé		 7 jours Métrique
Durée maximale d'un incident s'il n'est pas fermé manuellement 7 jours Journal
Conservation des incidents fermés 13 mois Non applicable
Conservation des incidents ouverts Indéfiniment Non applicable
Canaux de notification par champ d'application des métriques 4 000 Non applicable
Nombre maximal de règles d'alerte par mise en pause 16 Métrique, journal
Conservation d'une mise en attente 13 mois Non applicable
1 Métrique : règle d'alerte basée sur des données de métriques ; Journal : règle d'alerte basée sur des messages de journal (alertes basées sur les journaux)
2 Apigee et Apigee hybrid sont étroitement intégrés à Cloud Monitoring. La limite d'alerte pour tous les niveaux d'abonnements Apigee (Standard, Enterprise et Enterprise Plus) est la même que pour Cloud Monitoring : 500 par champ d'application de métriques.
3 La période maximale qu'une condition évalue est la somme de la période d'alignement et des valeurs d'intervalle de temps. Par exemple, si la période d'alignement est définie sur 15 heures et que l'intervalle de temps est défini sur 15 heures, 30 heures de données sont nécessaires pour évaluer la condition.
4Si la requête de votre règle d'alerte basée sur les journaux extrait des valeurs de libellé, chaque combinaison de valeurs extraites représente son propre calendrier de notification. Par exemple, supposons qu'une règle d'alerte basée sur les journaux extrait les valeurs d'un libellé. Supposons que l'étiquette peut avoir deux valeurs. Avec cette configuration, vous pouvez recevoir deux notifications, une pour chaque valeur de libellé, dans le même 5 minutes