Exclusion de journaux

Cette page explique comment exclure des journaux de l'ingestion à l'aide de Cloud Console et de l'API Logging.

La page Utilisation des ressources suit le volume de journaux dans votre projet. Le routeur de journaux vous permet de désactiver l'ingestion pour tous les journaux d'ingestion ou d'exclure (de supprimer) les entrées qui ne vous intéressent pas. Vous pouvez ainsi réduire au minimum les frais associés aux journaux par rapport à votre attribution mensuelle. Pour plus d'informations sur le traitement des entrées de journal exclues, consultez la section Comment fonctionnent les exclusions de cette page.

Pour en savoir plus sur les coûts de Cloud Logging, consultez la section Tarifs. Notez que si vous envoyez puis excluez vos journaux de flux de cloud privé virtuel (VPC) depuis Cloud Logging, des frais de génération de journaux de flux VPC s'appliquent.

Suivre l'utilisation des journaux

Pour suivre le volume des journaux dans votre projet, accédez à la page Utilisation des ressources dans la console Cloud Logging :

Accéder à la page Utilisation des ressources.

Le haut de la page affiche un récapitulatif des statistiques des journaux que votre projet reçoit :

Statistiques récapitulatives de l'utilisation des ressources

Quatre statistiques sont affichées :

  • Last month's ingested log volume (Volume des journaux ingérés le mois dernier) : quantité de journaux reçus par votre projet au cours du dernier mois civil.

  • This month's ingested log volume (Volume des journaux ingérés ce mois-ci) : quantité de journaux reçus par votre projet depuis le premier jour du mois en cours.

  • Excluded log volume (Volume des journaux exclus) : quantité de journaux que vous avez exclus de votre projet depuis le premier jour du mois en cours. Ce nombre n'est pas inclus dans le volume des journaux ingérés ce mois-ci. L'exclusion de journaux est décrite plus loin sur cette page.

  • Projected ingestion log volume (Volume d'ingestion de journaux prévu) : quantité estimée de journaux que votre projet aura reçus à la fin du mois en cours, en fonction de l'utilisation actuelle.

Les volumes des journaux n'incluent pas certains journaux d'audit, à savoir la totalité des journaux d'audit pour les activités d'administration et les journaux d'audit des événements système. Ces journaux sont gratuits et ne peuvent pas être exclus, ni désactivés.

La répartition de l'utilisation des journaux par type de ressource est également affichée. Pour plus d'informations, consultez la section Afficher les exclusions de types de ressources de cette page.

Fonctionnement des exclusions

Le schéma suivant illustre la manière dont sont traitées les entrées de journal exclues dans Cloud Logging :

Schéma illustrant le routage des entrées des journaux par Cloud Logging.

Les conditions suivantes s'appliquent aux entrées de journal exclues dans Logging :

  • Les entrées de journal exclues ne sont pas prises en compte dans le quota d'attribution Logging associé aux projets. Pour en savoir plus, consultez les tarifs de Logging.

  • Les entrées de journal exclues ne sont pas visibles dans la visionneuse de journaux, elles ne sont pas comptabilisées dans les métriques basées sur les journaux, et elles ne sont pas disponibles pour Error Reporting ni Cloud Debugger.

  • Vous pouvez exporter des entrées de journal en dehors de Cloud Logging à l'aide de récepteurs de journaux qui incluent des destinations de récepteur. Ces mêmes journaux peuvent également être exclus de l'ingestion. Pour plus d'informations, consultez la page Exportation de journaux.

  • Les journaux d'audit qui ne peuvent pas être désactivés ne peuvent pas non plus être exclus. Notez toutefois que ces types de journaux d'audit sont gratuits.

Il existe deux types d'exclusions :

  • Les filtres d'exclusion vous permettent de sélectionner les entrées de journal à exclure en fonction d'expressions de filtre. Vous pouvez utiliser des filtres d'exclusion pour choisir un échantillon aléatoire d'entrées de journal à exclure.

  • Les exclusions de types de ressources vous permettent de bloquer tous les journaux de types de ressources spécifiques.

Logging prend en compte les deux types d'exclusions pour décider des entrées de journal à exclure. Si une exclusion de type de ressource ou un filtre d'exclusion correspond à une entrée de journal, celle-ci est exclue.

En créant des filtres d'exclusion, vous pouvez contrôler les entrées de journal à exclure (supprimer). Par exemple, vous pouvez exclure les entrées de journal d'une instance de VM isolée plutôt que de celles de toutes les instances de VM.

Si vous utilisez à la fois des filtres d'exclusion et des exclusions de types de ressources, les deux peuvent se chevaucher. Une entrée de journal sera exclue si elle provient d'un type de ressource désactivé ou si elle correspond à l'un des filtres d'exclusion décrits dans cette section. Notez qu'il s'agit d'une distinction technique, car comme mentionné précédemment, Logging exécute les exclusions de types de ressources à l'aide de filtres d'exclusion.

La table affichée sous l'onglet Ingestions de la page Utilisation des ressources est organisée par type de ressource, et prend en compte à la fois les exclusions de types de ressources et les filtres d'exclusion. Même si vous n'utilisez pas d'exclusions de types de ressources, cette table vous permet de suivre l'effet de vos filtres d'exclusion.

Limites d'exclusion

Vous pouvez définir jusqu'à 50 filtres d'exclusion dans un même projet. Cette limite inclut les filtres d'exclusion et les exclusions de types de ressources créées dans la console Cloud Logging ou dans l'API.

Planification d'exclusion

Les journaux sont exclus une fois qu'ils ont été reçus par l'API Logging. Par conséquent, l'exclusion des journaux ne réduit pas le nombre d'appels d'API entries.write.

Créer des filtres d'exclusion

Vous pouvez créer un filtre d'exclusion pour un nouveau récepteur de journaux ou pour un récepteur existant.

Créer des filtres d'exclusion pour un nouveau récepteur

Pour créer un filtre d'exclusion pour un nouveau récepteur de journaux à l'aide du routeur de journaux, procédez comme suit :

  1. Suivez les procédures Créer un récepteur.

  2. À l'étape Sélectionner les journaux à exclure du récepteur (facultatif), vous pouvez créer le filtre d'exclusion permettant d'exclure les journaux.

  3. Cliquez sur Ajouter une exclusion.

  4. Saisissez un nom dans le champ Nom du filtre d'exclusion.

  5. Saisissez le Taux du filtre d'exclusion.

  6. Dans la section Créer un filtre d'exclusion, saisissez une expression de filtre correspondant aux entrées de journal que vous souhaitez exclure.

  7. Cliquez sur Ajouter une exclusion pour ajouter d'autres filtres si nécessaire.

  8. Lorsque vous avez terminé, cliquez sur Créer un récepteur.

Créer des filtres d'exclusion pour un récepteur existant

Pour créer un filtre d'exclusion pour un récepteur de journaux existant à l'aide du routeur de journaux, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Routeur de journaux.

    Accéder au routeur de journaux

  2. Pour ajouter le filtre d'exclusion au récepteur, cliquez sur Plus.

  3. Cliquez sur Modifier le récepteur.

  4. Dans la section Sélectionner les journaux à exclure du récepteur (facultatif), créez le filtre d'exclusion permettant d'exclure les journaux.

  5. Cliquez sur Ajouter une exclusion.

  6. Saisissez un nom dans le champ Nom du filtre d'exclusion.

  7. Saisissez le Taux du filtre d'exclusion.

  8. Dans la section Créer un filtre d'exclusion, saisissez une expression de filtre correspondant aux entrées de journal que vous souhaitez exclure.

  9. Cliquez sur Ajouter une exclusion pour ajouter d'autres filtres si nécessaire.

  10. Lorsque vous avez terminé, cliquez sur Mettre à jour le récepteur.

Lorsque vous créez un filtre, vous pouvez rencontrer l'une des situations suivantes :

  • Si vous avez modifié le filtre pour le récepteur _Default, vous souhaitez peut-être restaurer le filtre par défaut. Pour ce faire, saisissez la commande suivante dans le champ Créer un filtre d'inclusion :

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • Vous pouvez router tous les journaux vers une destination sans exclure de journaux. Pour ce faire, laissez vide le champ Créer un filtre d'inclusion.

  • Vous pouvez souhaiter empêcher tous les journaux d'atteindre une destination. Pour ce faire, désactivez le récepteur pour cette destination.

Afficher les filtres d'exclusion

Pour afficher les filtres d'exclusion actifs, procédez comme suit :

  1. Dans le menu "Journalisation", sélectionnez Routeur de journaux.

    Accéder au routeur de journaux

  2. Pour afficher les filtre d'exclusion du récepteur de votre choix, cliquez sur Plus .

  3. Sélectionnez Afficher les informations sur le récepteur.

  4. Un panneau affiche les informations sur le récepteur, y compris les filtres d'exclusion.

    Image du panneau

    Dans cet exemple, les informations sur le bucket _Default sont affichées et la journalisation a été désactivée, comme indiqué par le filtre google-ui-logs-ingestion-off.

Modifier les exclusions

Vous pouvez modifier vos filtres d'exclusion existants afin d'exclure davantage ou moins d'entrées de journal.

  1. Dans le menu "Journalisation", sélectionnez Routeur de journaux.

    Accéder au routeur de journaux

  2. Pour afficher les filtre d'exclusion du récepteur de votre choix, cliquez sur Plus .

  3. Cliquez sur Modifier le récepteur.

  4. Dans la section Créer un filtre d'exclusion, modifiez l'expression du filtre pour qu'elle corresponde aux entrées de journal que vous souhaitez exclure.

  5. Cliquez sur Ajouter une exclusion pour ajouter d'autres filtres si nécessaire.

  6. Lorsque vous avez terminé, cliquez sur Mettre à jour le récepteur.

Bonnes pratiques : ne modifiez pas et ne supprimez pas les filtres d'exclusion créés par Logging dans le cadre des exclusions de types de ressources. Gérez plutôt ces filtres à l'aide des options Désactiver la source de journaux et Activer la source de journaux de l'onglet Ingestions.

Supprimer des exclusions

Pour modifier, désactiver ou supprimer un filtre d'exclusion, suivez le guide Modifier les exclusions afin de supprimer une exclusion pour un récepteur spécifique.

Utiliser les exclusions de types de ressources

Par défaut, votre projet reçoit tous les journaux de tous les types de ressources. Pour supprimer tous les journaux de certains types de ressources, utilisez des exclusions de types de ressources.

Les exclusions de types de ressources sont une fonctionnalité de la console Cloud Logging. Lorsque vous créez une exclusion de type de ressource, Logging crée un filtre d'exclusion qui met en œuvre l'exclusion. Pour en savoir plus, consultez la section Fonctionnement des exclusions.

Créer des exclusions de types de ressources

Pour exclure (supprimer) tous les journaux d'un type de ressource spécifique, suivez les étapes de la section Créer des filtres d'exclusion afin de créer un filtre d'exclusion pour un récepteur de journaux nouveau ou existant.

Afficher les exclusions de types de ressources

Pour afficher l'utilisation de vos journaux par type de ressource et voir vos exclusions de types de ressources, procédez comme suit :

  1. Accédez à la page Utilisation des ressources dans la console Cloud Logging :

    Accéder à la page Utilisation des ressources.

  2. Sélectionnez l'onglet Ingestion (sélectionné par défaut) sous les informations récapitulatives. La table Logs Ingestion (Ingestion de journaux) affiche l'utilisation de vos journaux par type de ressource :

    Tableau d'utilisation des ressources

La table affiche les informations d'utilisation des journaux pour chaque type de ressource ayant envoyé des journaux à votre projet pendant le mois en cours et le mois précédent. Il est possible que des types de ressources ayant envoyé des journaux le mois dernier mais pas ce mois-ci soient également affichés dans la table.

La colonne Ingestion Status (État de l'ingestion) donne une indication approximative de l'existence d'exclusions pour chaque type de ressource. L'état peut être l'un des suivants :

  • Non ingérés : il existe une ou plusieurs exclusions qui ciblent exactement ce type de ressource à 100 % du taux d'échantillonnage. Cela signifie que le filtre d'exclusion cible précisément resource.type=[THIS_RESOURCE_TYPE].

  • All ingested (Complètement ingérés) : aucune entrée de journal de ce type de ressource n'a été exclue jusqu'à présent ce mois-ci et aucune exclusion ne cible précisément ce type de ressource.

  • Partially ingested (Partiellement ingérées) : il existe une ou plusieurs exclusions qui ciblent ce type de ressource entre 0 % et 100 % du taux d'échantillonnage. Si des entrées de journal ont été exclues ce mois-ci pour ce type de ressource, cet état est alors conservé jusqu'à la fin du mois, même si toutes les exclusions sont supprimées. Pour en savoir plus, consultez la section Modifier les exclusions de cette page.

Vous pouvez également inspecter les exclusions de types de ressources dans l'onglet Exclusions. Logging exécute les exclusions de types de ressources en créant des filtres d'exclusion. Pour en savoir plus, consultez la section Afficher les filtres d'exclusion.

Exclusions dans l'API

Pour créer des filtres d'exclusion dans l'API Logging, utilisez la méthode projects.exclusions.create.

Il existe également des méthodes pour afficher, supprimer et mettre à jour les filtres d'exclusion.

L'API contient également des méthodes d'exclusion pour les journaux reçus par les organisations, les comptes de facturation et les dossiers. Ces exclusions ne peuvent être créées que dans l'API Logging. Elles ne sont pas disponibles dans la console Cloud Logging.

Pour voir des exemples de requêtes de journaux pouvant être utiles dans les exclusions, consultez la page Exemples de requêtes.

Exclusions de types de ressources dans l'API

Les exclusions de type de ressources ne constituent pas un type distinct d'exclusion dans l'API. Pour créer une exclusion qui supprime toutes les entrées de journal d'un type de ressource particulier, créez un filtre d'exclusion avec une requête de journaux qui spécifie le type de ressource :

resource.type = [THE_RESOURCE_TYPE]

Exclusions échantillonnées dans l'API

Pour exclure moins de 100 % des entrées de journal correspondantes, utilisez la fonction sample de votre requête de journaux.

Exporter les journaux exclus

Vous pouvez exporter des entrées de journal vers Cloud Storage, BigQuery ou Pub/Sub avant de les exclure, afin de ne pas les perdre définitivement.

Pour commencer à appliquer votre exclusion et exporter les entrées de journal, procédez comme suit :

  1. Créez une requête de journaux avancée qui correspond aux entrées de journal que vous souhaitez exclure et exporter.

    Conseil : Définissez le filtre de sorte qu'il ne corresponde à aucun journal d'audit activé par défaut. La correspondance de ces entrées de journal d'audit n'affecte pas les exclusions, mais elle provoque l'exportation de nombreuses entrées de journal supplémentaires.

  2. Créez un récepteur d'exportation à l'aide de votre requête de journaux, puis commencez à exporter les entrées de journal correspondantes.

  3. Créez un filtre d'exclusion à l'aide de votre requête de journaux et commencez à exclure les entrées de journal correspondantes.

Pour interrompre les exclusions et l'exportation, désactivez le filtre d'exclusion, puis le récepteur d'exportation.

Pour en savoir plus sur l'exportation de journaux, consultez la page Exporter des journaux.

Tarifs de l'exportation

Les journaux exportés ne sont pas facturés par Cloud Logging, mais des frais de destination peuvent s'appliquer. Pour en savoir plus, consultez la page des tarifs du produit concerné :

Notez également que si vous exportez vos journaux de flux de cloud privé virtuel (VPC) puis que vous les excluez de Cloud Logging, des frais de génération des journaux de flux VPC s'appliquent en plus des frais de destination.