Gérer les coûts des journaux d'audit des accès aux données

Ce service est généralement utilisé pour les charges de travail volumineuses. Par conséquent, si vous ne gérez pas le volume de journaux, Bigtable peut générer un nombre très élevé de journaux DATA_READ et DATA_WRITE, ce qui entraîne des coûts de stockage des journaux importants et inattendus. Si vous utilisez les journaux d'audit des accès aux données, vous devez adopter des mesures pour gérer le volume des journaux.

Lorsque vous suivez les bonnes pratiques en matière d'authentification Bigtable, la plupart des activités de journalisation d'audit d'accès aux données sont générées par un compte de service. Un compte de service est un compte qu'une application utilise pour s'authentifier et effectuer des appels d'API vers des services Google Cloud tels que Bigtable. La gestion des journaux de compte de service constitue l'étape la plus importante pour réduire le volume des journaux. Vous pouvez également limiter les journaux à l'aide d'autres critères.

Vous pouvez activer la journalisation d'audit d'accès aux données pour Bigtable de différentes manières :

Après avoir activé la journalisation, procédez comme suit pour limiter le volume des journaux.

Identifier les comptes de service

Commencez par identifier les comptes de service pour lesquels les journaux ne sont pas nécessaires. La liste des de comptes de service inutiles et ne devant pas être consignés dans des journaux de l'application et de l'entreprise.Pour obtenir la liste des comptes de service les autorisations de l'API Cloud Bigtable (API Data), vous pouvez rechercher dans IAM règles pour votre organisation. Vous pouvez également les consulter sur la page Autorisations IAM de la console Google Cloud dans l'onglet Comptes principaux.

Configurer les restrictions de journal

Ensuite, configurez vos restrictions de journal. Il existe deux manières de gérer le volume de journaux de Bigtable en limitant les journaux de compte de service. Vous pouvez soit exclure les comptes de service utilisant la configuration d'audit, soit exclure les journaux du compte de service à l'aide de filtres d'exclusion de journaux. Pour chaque méthode, vous pouvez utiliser l'API Cloud Logging ou Google Cloud Console.

Exclure des comptes de service à l'aide d'une configuration d'audit

L'exclusion des comptes de service à l'aide de la configuration d'audit est l'approche recommandée, car elle vous permet d'empêcher la génération de certains journaux. Pour obtenir des instructions détaillées, consultez les pages suivantes :

Exclure des comptes de service à l'aide de filtres d'exclusion

Les filtres d'exclusion vous permettent de spécifier les journaux à exclure de l'ingestion dans vos buckets de journaux. Dans cette approche, les journaux sont supprimés après leur création. Ils imposent donc toujours une charge de traitement sur les composants du service Bigtable qui diffusent vos données. En raison de cette charge, nous vous recommandons d'utiliser plutôt la configuration d'audit. Pour en savoir plus sur la configuration des filtres à l'aide de la console Google Cloud et de l'API, consultez la page Créer un récepteur.

Estimer les coûts du journal d'audit des accès aux données

Bigtable est généralement utilisé pour des charges de travail volumineuses et volumineuses. il a le potentiel de générer un nombre extrêmement élevé de journaux. Avant de commencer activer les journaux d'audit des accès aux données pour Bigtable, vous devez estimer comprendre les coûts d'ingestion et de stockage de Cloud Audit Logs ; que les journaux d'audit peuvent générer chaque mois.

Les coûts de vos journaux d'audit des accès aux données sont directement liés au nombre de requêtes Bigtable que vous choisissez de consigner chaque mois. Le tableau suivant présente une estimation approximative des coûts de Cloud Audit Logs auxquels vous pouvez vous attendre en fonction de votre nombre moyen de requêtes par seconde et de la durée pendant laquelle vous stockez vos journaux, en supposant que vous consignez toutes les requêtes de données. Pour en savoir plus sur le mode de calcul de ces estimations, consultez la section Calculer vos coûts.

Nombre moyen de requêtes par seconde Durée de conservation des journaux Coût mensuel approximatif
1 000 30 1 197 $
1 000 90 1 246 $
10 000 30 12 195 $
10 000 90 12 684 $
100 000 30 122 177 $
100 000 90 124 621 $

Calculer vos coûts

Commencez par les hypothèses suivantes :

  • Le nombre moyen de secondes est d'environ 2 628 000 chaque mois.
  • La taille moyenne de l'audit est d'environ 1 Ko.
  • Les 50 premiers Gio de journaux d'audit ingérés par mois ne vous sont pas facturés. Une fois ce nombre dépassé, vous êtes facturé 0,50 $/Gio.
  • Le stockage est gratuit pendant 30 jours. Passé ce délai, le stockage vous est facturé 0,01 $/Gio.

La méthode décrite sur cette page fournit une estimation brute en fonction de l'ensemble du trafic. En production, nous vous encourageons à restreindre la journalisation des comptes de service.

Calculer votre volume de journaux mensuels

Commencez par estimer la quantité moyenne de journaux que votre trafic génère au cours d'un mois moyen.

  1. Collectez le nombre moyen de requêtes par seconde que votre application envoie à Bigtable au cours d'un mois.
    • Si vous avez recours aux métriques côté client, elles peuvent vous aider à déterminer votre nombre moyen de requêtes par seconde (RPS) pour le mois dernier.
    • Si vous préférez utiliser la page Monitoring de votre instance dans la console Google Cloud, déterminez les valeurs moyennes des requêtes de lecture et des requêtes d'écriture par seconde au cours du mois passé, puis additionnez ces deux valeurs.
  2. Multipliez les requêtes par seconde par 2 628 000 pour obtenir le nombre moyen de requêtes par mois.
  3. Divisez ce nombre par 10e6, soit 1 000 000. Le résultat correspond au volume estimé des journaux mensuels en Go que vous pouvez générer chaque mois.
  4. Multipliez le volume de journaux mensuels en Go par 0,93 pour obtenir le volume de journaux mensuels approximatif en Gio.

Calculer vos coûts d'ingestion

  1. Soustrayez 50 Gio du volume de journaux mensuels en Gio que vous avez calculé. Les 50 premiers Gio sont gratuits.
  2. Multipliez le reste par 0,50 $ pour obtenir les coûts d'ingestion mensuels estimés.

Calculer vos coûts de stockage

  1. Si vous prévoyez de laisser vos journaux expirer au bout de 30 jours, votre coût de stockage est de 0,00 $.
  2. Si vous stockez vos journaux pendant plus de 30 jours, vos coûts de stockage peuvent être estimés en multipliant le volume de journaux mensuels par 0,01 $. Ces coûts commencent à être facturés après le premier mois.

Exemple détaillé

5 000 requêtes par seconde, journaux conservés pendant 90 jours

Dans cet exemple, supposons que le nombre moyen de requêtes par seconde est de 5 000 et que vous prévoyez de conserver vos journaux pendant 90 jours. Les étapes décrites sur cette page vous permettent de calculer les estimations suivantes :

  • Multipliez 5 000 par 2 628 000 pour obtenir 13 140 000 000 de requêtes par mois.
  • Divisez 13 140 000 000 par 10e6 pour obtenir environ 13 140 Go de volume de journaux mensuels.
  • Convertissez ce nombre en Gio en le multipliant par 0,93 pour obtenir 12 220.
  • Soustrayez 50 Gio de votre volume de journaux mensuels pour obtenir 12 170 Gio.
  • Multipliez par 0,50 $ pour obtenir 6 085 $ de coûts d'ingestion.
  • Lors du premier mois où vos journaux existent, le coût de stockage est de 0 $.
  • Le deuxième mois, le coût de stockage des journaux est de 12 170 multiplié par 0,01 $, soit environ 122 $.
  • Chaque mois suivant le deuxième mois, le coût de stockage mensuel est le double de ce montant, soit 244 $.
  • Après le deuxième mois, le coût estimé de vos journaux d'audit des accès aux données serait d'environ 6 329 $ par mois.

Présenté sous forme d'équation, cela ressemble à (((((5 000 RPS * 2 628 000 sec)/1 000 000) * 0,93) - 50 Gio) * 0,50 $) + 122 $ = 6 207 $.

Dans cet exemple, le coût mensuel de vos journaux d'audit des accès aux données est d'environ 6 329 $ par mois.

Étape suivante