Exclusion de journaux

Cette page explique comment exclure des journaux de l'ingestion à l'aide de la visionneuse de journaux (Cloud Console) et de l'API Logging.

La page Logs ingestion (Ingestion de journaux) de la visionneuse de journaux permet de suivre le volume des journaux de votre projet. La visionneuse de journaux vous permet également de désactiver l'ingestion de tous les journaux ou d'exclure (supprimer) les entrées de journal qui ne vous intéressent pas, de sorte à réduire les frais de journaux encourus au-delà de votre attribution mensuelle. Pour plus d'informations sur le traitement des entrées de journal exclues, consultez la section Comment fonctionnent les exclusions de cette page.

Pour plus de détails sur les coûts de Stackdriver Logging, consultez la page Tarifs de Stackdriver. Notez que si vous envoyez puis excluez vos journaux de flux de cloud privé virtuel (VPC) depuis Stackdriver Logging, des frais de génération de journaux de flux VPC s'appliquent.

Suivre l'utilisation des journaux

Pour effectuer le suivi du volume des journaux de votre projet, accédez à la page Logs ingestion (Ingestion de journaux) dans la console Stackdriver Logging :

Accéder à la page "Logs ingestion" ("Ingestion de journaux")

Le haut de la page affiche un récapitulatif des statistiques des journaux que votre projet reçoit :

Récapitulatif de l'ingestion de journaux

Quatre statistiques sont affichées :

  • Last month's ingested log volume (Volume des journaux ingérés le mois dernier) : quantité de journaux reçus par votre projet au cours du dernier mois civil.

  • This month's ingested log volume (Volume des journaux ingérés ce mois-ci) : quantité de journaux reçus par votre projet depuis le premier jour du mois en cours.

  • Excluded log volume (Volume des journaux exclus) : quantité de journaux que vous avez exclus de votre projet depuis le premier jour du mois en cours. Ce nombre n'est pas inclus dans le volume des journaux ingérés ce mois-ci. L'exclusion de journaux est décrite plus loin sur cette page.

  • Projected ingestion log volume (Volume d'ingestion de journaux prévu) : quantité estimée de journaux que votre projet aura reçus à la fin du mois en cours, en fonction de l'utilisation actuelle.

Les volumes de journaux n'incluent pas certains journaux d'audit : tous les journaux d'audit pour les activités administratives et les événements système. Ces journaux sont gratuits et ne peuvent pas être exclus ou désactivés.

La répartition de l'utilisation des journaux par type de ressource est également affichée. Pour plus d'informations, consultez la section Afficher les exclusions de types de ressources de cette page.

Arrêter l'ingestion de tous les journaux

Vous pouvez désactiver l'ingestion des journaux, de sorte que vous ne serez pas facturé pour les journaux ingérés pour votre projet. Notez que certains journaux d'audit non configurables ne peuvent pas être désactivés. Ils continueront donc de s'afficher, mais n'engendreront aucun coût.

Pour arrêter immédiatement l'ingestion de tous les journaux configurables, procédez comme suit :

  1. Accédez à la page Logs ingestion (Ingestion de journaux) de la console Stackdriver Logging pour le projet dont vous souhaitez gérer les journaux :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Au-dessus des statistiques récapitulatives, cliquez sur Logs Enabled (Journaux activés).

  3. Dans la boîte de dialogue Disable all logs ingestion ? (Désactiver l'ingestion de tous les journaux ?), cliquez sur Reduce Logs Ingestion (Réduire l'ingestion des journaux).

    Les modifications suivantes apparaissent dans la console Stackdriver Logging :

    • Le bouton sur lequel vous avez cliqué à l'étape 2 se présente désormais sous le nom Logs Disabled (Journaux désactivés).
    • Une bannière est affichée sur chaque page de la console Stackdriver Logging : Configurable logs ingestion is OFF… (L'ingestion des journaux configurables est DÉSACTIVÉE…).
    • Dans l'onglet Exclusions de la page Logs ingestion(Ingestion de journaux), il existe une requête nommée google-ui-logs-ingestion-off. Sa valeur Percent to Exclude (Pourcentage à exclure) est définie sur 100 %, tandis que le champ Exclusion Status (État de l'exclusion) est défini sur Active (Actif).

Pour réactiver immédiatement l'ingestion des journaux, cliquez sur le bouton Logs Disabled (Journaux désactivés). Le bouton se présente désormais sous le nom Logs Enabled (Journaux activés).

Fonctionnement des exclusions

Le schéma suivant illustre la manière dont sont traitées les entrées de journal exclues dans Stackdriver Logging :

Cycle de vie d'un journal

Les conditions suivantes s'appliquent aux entrées de journal exclues dans Logging :

  • Les entrées de journal exclues ne sont pas prises en compte dans le quota d'attribution Logging associé aux projets. Consultez la section Informations sur Logging pour en savoir plus.

  • Les entrées de journal exclues ne sont pas visibles dans la visionneuse de journaux, elles ne sont pas comptabilisées dans les métriques basées sur les journaux, et elles ne sont pas disponibles pour Stackdriver Error Reporting ni Stackdriver Debugger.

  • Vous pouvez exporter les entrées de journal avant qu'elles ne soient exclues. Pour plus d'informations, consultez la page Exportation de journaux.

  • Vous ne pouvez pas exclure les journaux d'audit activés par défaut. Cependant, ceux-ci sont gratuits.

Il existe deux types d'exclusions :

  • Les requêtes d'exclusion vous permettent de sélectionner les entrées de journal à exclure en fonction d'expressions de requête. Vous pouvez utiliser des requêtes d'exclusion pour choisir un échantillon aléatoire d'entrées de journal à exclure.

  • Les exclusions de types de ressources vous permettent de bloquer tous les journaux de types de ressources spécifiques.

Logging prend en compte les deux types d'exclusions pour décider des entrées de journal à exclure. Si une exclusion de type de ressource ou une requête d'exclusion correspond à une entrée de journal, celle-ci est exclue.

Utiliser les requêtes d'exclusion

En créant des requêtes d'exclusion, vous pouvez contrôler les entrées de journal à exclure (supprimer). Par exemple, vous pouvez exclure les entrées de journal d'une instance de VM isolée plutôt que de celles de toutes les instances de VM.

Si vous utilisez à la fois des requêtes d'exclusion et des exclusions de type de ressource, les deux peuvent se chevaucher. Une entrée de journal est exclue si elle provient d'un type de ressource désactivé ou si elle correspond à l'une des requêtes d'exclusion décrites dans cette section. Notez qu'il s'agit d'une distinction technique, car comme mentionné précédemment, Logging exécute les exclusions de types de ressources à l'aide de requêtes d'exclusion.

La table affichée sous l'onglet Ingestions de la page Logs ingestion (Ingestion de journaux) est organisée par type de ressource, et prend en compte à la fois les exclusions de types de ressources et les requêtes d'exclusion. Même si vous n'utilisez pas d'exclusions de types de ressources, cette table vous permet de suivre l'effet de vos requêtes d'exclusion.

Limites d'exclusion

Vous pouvez avoir jusqu'à 50 requêtes d'exclusion dans un projet. Cela inclut les requêtes d'exclusion et les exclusions de types de ressources créées dans la console Stackdriver Logging ou dans l'API.

Afficher les requêtes d'exclusion

Pour afficher les requêtes d'exclusion actives, y compris les requêtes créées par Logging pour exécuter vos exclusions de types de ressources, procédez comme suit :

  1. Consultez la page Logs ingestion (Ingestion de journaux) de la console Stackdriver Logging. Sélectionnez le projet dont vous souhaitez gérer les journaux :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Sous les statistiques récapitulatives, cliquez sur l'onglet Exclusions. La table Requêtes d'exclusion affiche la liste de vos requêtes d'exclusion, le cas échéant :

    Table des requêtes d'exclusion

Si vous avez arrêté l'ingestion de tous les journaux, votre liste inclut une requête d'exclusion nommée google-ui-logs-ingestion-off. Vous pouvez modifier, supprimer ou désactiver cette requête à l'aide du menu situé à droite de la requête.

Créer des requêtes d'exclusion

Pour créer une requête d'exclusion à l'aide de la console Stackdriver Logging, procédez comme suit :

  1. Accédez à la page Logs ingestion (Ingestion de journaux) de la console Stackdriver Logging et sélectionnez l'onglet Exclusions :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Cliquez sur Create Exclusion (Créer une exclusion). Le volet Exclusion Editor (Éditeur d'exclusions) s'affiche :

    Créer une exclusion

  3. Dans le panneau de la visionneuse de journaux, saisissez une expression de requête qui correspond aux entrées de journal que vous souhaitez exclure. Pour en savoir plus sur le panneau, consultez la section relative aux interfaces utilisateur.

  4. Dans le panneau Exclusion Editor (Éditeur d'exclusions), finissez de remplir les détails de votre requête d'exclusion :

    • Name (Nom) : saisissez un nom qui identifie l'exclusion, par exemple low-severity.
    • Description (Description) : saisissez une description plus détaillée de la requête, par exemple Exclude logs whose severity is less than WARNING.
    • Percent to Exclude (Pourcentage à exclure) : saisissez une valeur entière ou à virgule flottante comprise entre 0 et 100. Par exemple, saisissez 100 ou 100.0 pour exclure toutes les entrées de journal correspondantes. Saisissez 99.50 pour exclure 99,5 % des entrées correspondantes, mais en conserver 0,5 % dans Logging.
  5. Cliquez sur Create Exclusion (Créer une exclusion) pour créer et appliquer l'exclusion.

Interrompre les exclusions

Vous pouvez arrêter d'exclure tout ou partie des journaux de plusieurs manières :

  • Pour arrêter d'exclure tous les journaux : consultez la section Arrêter l'ingestion de tous les journaux pour en savoir plus.

  • Pour arrêter d'exclure les journaux par type de ressource : dans l'onglet Ingestions de la page Logs ingestion (Ingestion de journaux), cliquez sur Activer la source de journaux dans le menu situé à droite du type de ressource que vous ne souhaitez plus exclure.

  • Pour modifier, désactiver ou supprimer une requête d'exclusion : dans l'onglet Exclusions de la page Logs ingestion (Ingestion de journaux), utilisez le menu situé à droite des requêtes d'exclusion qui ciblent les entrées de journaux que vous souhaitez recevoir. Pour en savoir plus, consultez la section Modifier les exclusions.

Modifier les exclusions

Vous pouvez modifier vos requêtes d'exclusion existantes afin d'exclure davantage ou moins d'entrées de journal.

  1. Accédez à la page Logs ingestion (Ingestion de journaux) dans la console Stackdriver Logging et cliquez sur l'onglet Exclusions :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Sélectionnez une requête d'exclusion et sélectionnez Edit Exclusion (Modifier l'exclusion) dans le menu situé à droite de la liste des requêtes.

  3. Modifiez la requête de journaux avancée ou modifiez la valeur de Percent to Exclude(Pourcentage à exclure). Si vous modifiez la requête, vérifiez l'aperçu des entrées de journal correspondantes. Vous ne pouvez pas modifier le nom d'une requête d'exclusion existante.

  4. Cliquez sur Mettre à jour l'exclusion.

Bonnes pratiques : ne modifiez pas et ne supprimez pas les requêtes d'exclusion créées par Logging dans le cadre des exclusions de types de ressources. Gérez ces requêtes à l'aide des options Disable log source (Désactiver la source du journal) et Enable log source (Activer la source du journal) dans l'onglet Ingestions.

Utiliser les exclusions de types de ressources

Par défaut, votre projet reçoit tous les journaux de tous les types de ressources. Pour supprimer tous les journaux de certains types de ressources, utilisez des exclusions de types de ressources.

Les exclusions de types de ressources sont une fonctionnalité de la console Stackdriver Logging. Lorsque vous créez une exclusion de type de ressource, Logging crée une requête d'exclusion qui exécute l'exclusion. Pour en savoir plus, consultez la page Utiliser les requêtes d'exclusion.

Afficher les exclusions de types de ressources

Pour afficher l'utilisation de vos journaux par type de ressource et voir vos exclusions de types de ressources, procédez comme suit :

  1. Accédez à la page Logs ingestion (Ingestion de journaux) dans la console Stackdriver Logging :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Sélectionnez l'onglet Ingestion (sélectionné par défaut) sous les informations récapitulatives. La table Logs Ingestion (Ingestion de journaux) affiche l'utilisation de vos journaux par type de ressource :

    Tableau d'utilisation des ressources

La table affiche les informations d'utilisation des journaux pour chaque type de ressource ayant envoyé des journaux à votre projet pendant le mois en cours et le mois précédent. Il est possible que des types de ressources ayant envoyé des journaux le mois dernier mais pas ce mois-ci soient également affichés dans la table.

La colonne Ingestion Status (État de l'ingestion) donne une indication approximative de l'existence d'exclusions pour chaque type de ressource. L'état peut être l'un des suivants :

  • Not ingested (Non ingérées) : il existe une ou plusieurs exclusions qui ciblent exactement ce type de ressource à 100 % du taux d'échantillonnage. Cela signifie que la requête d'exclusion cible précisément resource.type=[THIS_RESOURCE_TYPE].

  • All ingested (Complètement ingérés) : aucune entrée de journal de ce type de ressource n'a été exclue jusqu'à présent ce mois-ci et aucune exclusion ne cible précisément ce type de ressource.

  • Partially ingested (Partiellement ingérées) : il existe une ou plusieurs exclusions qui ciblent ce type de ressource entre 0 % et 100 % du taux d'échantillonnage. Si des entrées de journal ont été exclues ce mois-ci pour ce type de ressource, cet état est alors conservé jusqu'à la fin du mois, même si toutes les exclusions sont supprimées. Pour en savoir plus, consultez la section Modifier les exclusions de cette page.

Vous pouvez également inspecter les exclusions de types de ressources dans l'onglet Exclusions. Logging exécute les exclusions de types de ressources en créant des requêtes d'exclusion. Pour en savoir plus, consultez la page Afficher des requêtes d'exclusion.

Créer des exclusions de types de ressources

Pour exclure (supprimer) tous les journaux d'un type de ressource spécifique, créez une exclusion de type ressource. Procédez comme suit :

  1. Accédez à la page Logs ingestion (Ingestion de journaux) dans la console Stackdriver Logging :

    Accéder à la page "Logs ingestion" ("Ingestion de journaux")

  2. Sélectionnez l'onglet Ingestions (valeur par défaut) sous les statistiques. La table Logs Ingestion (Ingestion de journaux) affiche l'utilisation de vos journaux par type de ressource :

  3. Dans la table, recherchez la ligne correspondant au type de ressource que vous souhaitez exclure.

  4. Sélectionnez Create exclusion query based on this resource (Créer une requête d'exclusion basée sur cette ressource) dans le menu situé à droite de la ligne de la table.

  5. Dans le panneau Exclusion Editor (Éditeur d'exclusions), finissez de remplir les détails de votre requête d'exclusion :

    • Name (Nom) : saisissez un nom qui identifie l'exclusion, par exemple low-severity.
    • Description (Description) : saisissez une description plus détaillée de la requête, par exemple Exclude logs whose severity is less than WARNING.
    • Percent to Exclude (Pourcentage à exclure) : saisissez une valeur entière ou à virgule flottante comprise entre 0 et 100. Par exemple, saisissez 100 ou 100.0 pour exclure toutes les entrées de journal correspondantes. Saisissez 99.50 pour exclure 99,5 % des entrées correspondantes, mais en conserver 0,5 % dans Logging.
  6. Cliquez sur Create Exclusion (Créer une exclusion) pour créer et appliquer l'exclusion.

Pour arrêter d'exclure les journaux de ce type de ressource, cliquez sur Activer la source de journaux dans le menu.

Exclusions dans l'API

Pour créer des requêtes d'exclusion dans l'API Logging, utilisez la méthode projects.exclusions.create. Il existe également des méthodes pour afficher, supprimer et mettre à jour les requêtes d'exclusion.

L'API contient également des méthodes d'exclusion pour les journaux reçus par les organisations, les comptes de facturation et les dossiers. Ces exclusions ne peuvent être créées que dans l'API Logging. Elles ne sont pas compatibles avec la console Stackdriver Logging.

Pour voir des exemples de requêtes de journaux pouvant être utiles dans les exclusions, consultez la page Exemples de requêtes.

Exclusions de types de ressources dans l'API

Les exclusions de type de ressource ne constituent pas un type distinct d'exclusion dans l'API. Pour créer une exclusion qui supprime toutes les entrées de journal d'un type de ressource particulier, créez une requête d'exclusion avec une requête de journaux qui spécifie le type de ressource :

resource.type = [THE_RESOURCE_TYPE]

Exclusions échantillonnées dans l'API

Pour exclure moins de 100 % des entrées de journal correspondantes, utilisez la fonction sample de votre requête de journaux.

Exporter les journaux exclus

Vous pouvez exporter des entrées de journal vers Cloud Storage, BigQuery ou Pub/Sub avant de les exclure, afin de ne pas les perdre définitivement.

Pour commencer à appliquer votre exclusion et exporter les entrées de journal, procédez comme suit :

  1. Créez une requête de journaux avancée qui correspond aux entrées de journal que vous souhaitez exclure et exporter.

    Conseil : Définissez la requête de sorte qu'elle ne corresponde à aucun journal d'audit activé par défaut. La correspondance de ces entrées de journal d'audit n'affecte pas les exclusions, mais elle provoque l'exportation de nombreuses entrées de journal supplémentaires.

  2. Créez un récepteur d'exportation à l'aide de votre requête de journaux, puis commencez à exporter les entrées de journal correspondantes.

  3. Créez une requête d'exclusion à l'aide de votre requête de journaux et commencez à exclure les entrées de journal correspondantes.

Pour arrêter vos exclusions et les exporter, désactivez la requête d'exclusion avant d'arrêter le récepteur d'exportation.

Pour en savoir plus sur l'exportation de journaux, consultez la page Exporter des journaux.

Tarifs de l'exportation

Les journaux exportés ne sont pas facturés par Stackdriver Logging, mais des frais de destination peuvent s'appliquer. Pour en savoir plus, consultez la page de tarification du produit concerné:

Notez que si vous envoyez puis excluez vos journaux de flux de cloud privé virtuel (VPC) depuis Stackdriver Logging, des frais de génération de journaux de flux VPC s'appliquent, outre les frais de destination.