Analyser le volume de journaux avec l'Analyse de journaux

Preview

Ce produit ou cette fonctionnalité est soumis aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les produits et fonctionnalités pré-DG sont disponibles "en l'état" et peuvent bénéficier d'une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Ce document explique comment utiliser l'Analyse de journaux pour estimer le volume facturable de vos entrées de journaux. Vous pouvez écrire des requêtes qui indiquent et agrégent votre volume facturable en fonction de différentes dimensions, comme le type de ressource ou le nom de l'application, puis représenter les résultats de la requête sous forme de graphique.

Obtenir le volume facturable à l'aide d'une requête

Le volume facturable d'une entrée de journal, soit la taille indiqué à Cloud Billing, est disponible via le champ storage_bytes. Dans vos requêtes, vous pouvez utiliser le champ storage_bytes de la même manière d'utiliser n'importe quel champ de schéma dont le type de données est INTEGER. Par exemple, vous pouvez l'inclure dans des clauses SELECT, dans les instructions CASE et dans les expressions de table courantes. Pour en savoir plus sur l'interrogation consultez les documents suivants:

• Interroger et afficher des journaux dans l'Analyse de journaux
• Exemples de requêtes SQL

Comme Cloud Billing se base sur le volume facturable pour déterminer vos coûts, vous pouvez rédiger des requêtes qui vous aident à comprendre les sources de vos coûts. Par exemple, vous pouvez écrire des requêtes qui vous aident à déterminer quelles applications écrivent le plus d'entrées de journal. Pour savoir comment faire le lien entre le volume facturable et consultez le récapitulatif des tarifs de Cloud Logging et les tarifs de Cloud Logging.

Le volume facturable d'une entrée de journal n'est pas la taille de l'objet LogEntry envoyé à l'API Cloud Logging. Le volume facturable inclut les octets requis pour la sérialisation et les métadonnées.

Avant de commencer

Avant d'utiliser Log Analytics, procédez comme suit :

• Pour obtenir les autorisations nécessaires pour utiliser Log Analytics, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

  • Pour interroger les buckets de journaux _Required et _Default : Visionneuse de journaux (roles/logging.viewer)
  • Pour interroger toutes les vues de journaux d'un projet : Accesseur de vues de journaux (roles/logging.viewAccessor)

  Vous pouvez limiter un principal à une vue de journal spécifique en ajoutant une condition IAM à l'attribution du rôle "Accès à la vue des journaux" effectuée au niveau du projet ou en ajoutant une liaison IAM au fichier de stratégie de la vue des journaux. Pour en savoir plus, consultez la page Contrôler l'accès à une vue de journal.

  Il s'agit des mêmes autorisations que celles dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger des vues sur des buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez la section Rôles Cloud Logging.

• Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de journaux :

  1. Dans la console Google Cloud, accédez à la page Stockage des journaux.

     Accéder à la page Stockage des journaux

     Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour chaque bucket de journaux pour lequel vous souhaitez interroger une vue de journaux, assurez-vous que la colonne Log Analytics disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez sur Mettre à niveau et remplissez la boîte de dialogue.

Exemples de requêtes

Cette section fournit des exemples de requêtes qui analysent les données d'une seule vue de journal. Si vous stockez des données dans plusieurs vues de journaux et si vous souhaitez calculer des valeurs agrégées pour les données stockées dans ces vues, vous devez utiliser l'instruction UNION.

Vous pouvez interroger votre entrée de journal à l'aide de la page Log Analytics ou partout où vous pouvez interroger des ensembles de données BigQuery, y compris les pages BigQuery Studio et Looker Studio, ainsi que l'outil de ligne de commande bq.

Pour utiliser les exemples de requêtes, procédez comme suit :

• Page Log Analytics : remplacez TABLE_NAME_OF_LOG_VIEW par le nom de la vue des journaux. Il a le format suivant : project_ID.region.bucket_ID.view_ID.

  Accéder à l'Analyse de journaux

• Ensembles de données BigQuery: Remplacer TABLE_NAME_OF_LOG_VIEW par le chemin d'accès à la table dans ensemble de données associé.

  Accéder à BigQuery Studio

Requête pour obtenir le volume de journaux par application

Pour calculer le nombre total d'octets par jour et par application pour vos entrées de journal écrites sur une ressource Google Kubernetes Engine et qui comportent une charge utile JSON, utilisez la requête suivante :

SELECT
  timestamp_trunc(timestamp,DAY) as day,
  JSON_VALUE(labels["k8s-pod/app"]) as app_id,
  SUM(storage_bytes) as total_bytes
FROM
  `TABLE_NAME_OF_LOG_VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"
GROUP BY ALL

Pour visualiser les données, vous pouvez créer un graphique.

Remarque :La requête précédente agrège les données sur des intervalles d'un jour. Pour créer un graphique qui affiche des données sur plusieurs jours, vous devrez peut-être modifier le sélecteur de période. Dans l'exemple suivant, la requête évalue les données sur une période de 14 days.

Dans l'exemple suivant, les données s'affichent sous forme de graphique à barres empilées. Chaque barre du graphique affiche Nombre total d'octets stockés, organisés par application. Dans cet exemple, l'application frontend génère le plus de données de journal:

Requête pour obtenir le volume de journaux par nom de journal

Pour afficher le nombre d'octets stockés et le nom du journal pour chaque entrée de journal contenant une charge utile JSON et écrite sur une ressource Google Kubernetes Engine, utilisez la requête suivante :

SELECT
  log_id AS log_name,
  storage_bytes
FROM
  `TABLE_NAME_OF_LOG_VIEW`
WHERE
  json_payload IS NOT NULL
  AND resource.type="k8s_container"

La requête précédente n'agrége pas les résultats. Au lieu de cela, une ligne est associée à chaque entrée de journal, et cette ligne contient un nom de journal et le nombre d'octets stockés. Si vous représentez ces données sous forme de graphique, vous pouvez visualiser la partie de vos données de journal écrite dans différents journaux :

Le graphique précédent montre que la plupart des données de journal sont écrites dans le journal nommé stdout.

Utiliser l'outil de ligne de commande bq pour interroger le volume de journaux par nom de journal

Vous pouvez inclure le champ storage_bytes dans les requêtes que vous exécutez via la page BigQuery Studio ou à l'aide de l'outil de ligne de commande bq.

La requête suivante indique le nom du journal et le nombre d'octets stockés pour chaque entrée de journal :

bq query --use_legacy_sql=false  'SELECT log_id as log_name,
  storage_bytes FROM `TABLE_NAME_OF_LOG_VIEW`'

Le résultat de cette requête se présente comme suit :

+----------+---------------+
| log_name | storage_bytes |
+----------+---------------+
| stdout   |           716 |
| stdout   |           699 |
| stdout   |           917 |
| stdout   |           704 |

Chaque ligne correspond à une entrée de journal. La valeur de storage_bytes est le volume facturable pour cette entrée de journal.

Limites

Le champ storage_bytes n'est disponible que lorsque les conditions suivantes sont remplies:

• Le bucket de journaux est mis à niveau pour utiliser l'Analyse de journaux.

• Votre requête est exécutée sur la page Log Analytics ou partout où vous pouvez interroger des ensembles de données BigQuery, y compris les pages BigQuery Studio et Looker Studio, ainsi que l'outil de ligne de commande bq.

• L'entrée de journal a été écrite à partir du 1er janvier 2024.