Interroger et analyser des journaux avec l'Analyse de journaux

Ce document explique comment interroger et analyser les données de journaux stockées dans des buckets de journaux qui ont été mis à niveau pour utiliser l'analyse de journaux. Vous pouvez interroger les journaux de ces buckets à l'aide de SQL, ce qui vous permet de les filtrer et de les agréger. Vous pouvez également créer des requêtes sans écrire manuellement de requêtes SQL à l'aide du générateur de requêtes. Pour afficher les résultats de vos requêtes, vous pouvez utiliser le format tabulaire ou visualiser les données à l'aide de graphiques. Vous pouvez enregistrer ces tableaux et graphiques dans vos tableaux de bord personnalisés.

Vous pouvez interroger une vue de journal sur un bucket de journaux ou une vue d'analyse. Lorsque vous interrogez une vue de journaux, le schéma correspond à celui de la structure de données LogEntry. Étant donné que le créateur d'une vue Analytics détermine le schéma, l'un des cas d'utilisation des vues Analytics consiste à transformer les données de journaux au format LogEntry en un format qui vous convient mieux.

Vous pouvez utiliser l'explorateur de journaux pour afficher les entrées de journal stockées dans des buckets de journaux de votre projet, que le bucket de journaux ait été mis à niveau ou non pour utiliser l'analyse de journaux.

Log Analytics ne déduplique pas les entrées de journal, ce qui peut avoir une incidence sur la façon dont vous rédigez vos requêtes. L'utilisation de l'analyse de journaux est également soumise à certaines restrictions. Pour en savoir plus sur ces thèmes, consultez les documents suivants :

À propos des ensembles de données associés

L'analyse de journaux permet de créer des ensembles de données BigQuery associés, qui autorisent BigQuery à accéder en lecture aux données sous-jacentes. Si vous choisissez de créer un ensemble de données associé, vous pouvez effectuer les actions suivantes :

Ce document ne décrit pas comment créer un ensemble de données associé ni comment configurer Log Analytics pour exécuter des requêtes sur des emplacements réservés. Si ces sujets vous intéressent, consultez Interroger un ensemble de données associé dans BigQuery.

Avant de commencer

Cette section décrit les étapes à suivre avant de pouvoir utiliser Log Analytics.

Configurer des buckets de journaux

Assurez-vous que vos buckets de journaux ont été mis à niveau pour utiliser l'Analyse de journaux :

  1. Dans la console Google Cloud , accédez à la page Stockage des journaux :

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Pour chaque bucket de journaux comportant une vue de journaux que vous souhaitez interroger, assurez-vous que la colonne Analyse de journaux disponible affiche Ouvrir. Si l'option Mettre à niveau s'affiche, cliquez dessus et remplissez la boîte de dialogue.

Configurer les rôles et autorisations IAM

Cette section décrit les rôles ou autorisations IAM requis pour utiliser Log Analytics :

  • Pour obtenir les autorisations nécessaires pour utiliser Log Analytics et interroger les vues de journaux, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

    Vous pouvez limiter l'accès d'une entité principale à une vue de journaux spécifique en ajoutant une condition IAM à l'attribution du rôle "Accesseur de vues de journaux" au niveau du projet, ou en ajoutant une liaison IAM au fichier de stratégie de la vue de journaux. Pour en savoir plus, consultez Contrôler l'accès à une vue de journal.

    Il s'agit des mêmes autorisations que celles dont vous avez besoin pour afficher les entrées de journal sur la page Explorateur de journaux. Pour en savoir plus sur les rôles supplémentaires dont vous avez besoin pour interroger les vues sur les buckets définis par l'utilisateur ou pour interroger la vue _AllLogs du bucket de journaux _Default, consultez Rôles Cloud Logging.

  • Pour obtenir les autorisations nécessaires pour interroger les vues Analytics, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur Observability Analytics (roles/observability.analyticsUser) sur votre projet.

Interroger une vue de journaux ou une vue d'analyse

Lorsque vous résolvez un problème, vous pouvez compter les entrées de journal avec un champ correspondant à un modèle ou calculer la latence moyenne des requêtes HTTP. Pour ce faire, exécutez une requête SQL sur une vue de journaux.

Pour interroger vos journaux dans la vue "Données analytiques", vous pouvez utiliser une requête par défaut, saisir une requête SQL ou utiliser le générateur de requêtes.

Charger et exécuter la requête par défaut

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Si vous souhaitez charger la requête par défaut, procédez comme suit :

    1. Dans le menu Vues, accédez à la section Journaux ou Vues Analytics , puis sélectionnez la vue que vous souhaitez interroger.

      Pour trouver une vue, vous pouvez utiliser la barre de filtre  ou faire défiler la liste :

      • Les vues de journaux sont listées par BUCKET_ID.LOG_VIEW_ID, où ces champs font référence aux ID du bucket de journaux et de la vue de journaux.

      • Les vues Analytics sont listées par LOCATION.ANALYTICS_VIEW_ID, où ces champs font référence à l'emplacement et à l'ID d'une vue Analytics. Les vues Analytics sont en version Preview publique.

    2. Dans la barre d'outils Schéma, cliquez sur Requête.

      Le volet Requête est mis à jour avec une requête SQL qui interroge la vue analytique que vous avez sélectionnée.

Saisir et exécuter une requête SQL

Pour saisir une requête SQL, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, cliquez sur le bouton SQL.

    • Pour spécifier une plage de dates, nous vous recommandons d'utiliser le sélecteur de plage de dates. Si vous pouvez ajouter une clause WHERE qui spécifie le champ timestamp, cette valeur remplace le paramètre du sélecteur de période, qui est alors désactivé.

    • Pour obtenir des exemples, consultez Exemples de requêtes.

    • Pour interroger une vue de journal, la clause FROM de votre requête doit avoir le format suivant :

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

    • Pour interroger une vue Analytics, la clause FROM de votre requête doit se présenter au format suivant :

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

    Voici la signification des champs dans les expressions précédentes :

    • PROJECT_ID : identifiant du projet.
    • LOCATION : emplacement de la vue des journaux ou de la vue des données analytiques.
    • BUCKET_ID : nom ou ID du bucket de journaux.
    • LOG_VIEW_ID : identifiant de la vue de journal, limité à 100 caractères et ne pouvant inclure que des lettres, des chiffres, des traits de soulignement et des traits d'union.
    • ANALYTICS_VIEW_ID : ID de la vue Analytics, limité à 100 caractères et ne pouvant inclure que des lettres, des chiffres, des traits de soulignement et des traits d'union.

  3. Exécutez votre requête.

    La requête est exécutée et son résultat s'affiche dans l'onglet Résultats. Vous pouvez utiliser les options de la barre d'outils pour mettre en forme votre requête, l'effacer et ouvrir la documentation de référence sur le langage SQL de BigQuery.

  4. Explorez les résultats de la requête. Vous pouvez afficher les résultats sous forme de tableau ou de graphique. Vous pouvez enregistrer des graphiques dans un tableau de bord personnalisé. Pour en savoir plus, consultez Représenter les résultats de requêtes SQL sous forme de graphiques.

Créer et exécuter une requête SQL

L'interface du générateur de requêtes vous permet de créer des requêtes sans avoir à écrire manuellement du code SQL. Vous pouvez commencer par utiliser le générateur de requêtes, puis passer en mode SQL pour créer des requêtes plus complexes.

Les limites suivantes s'appliquent aux requêtes créées à l'aide du générateur de requêtes :

  • Les requêtes SQL que vous écrivez manuellement ne peuvent pas être traduites dans l'outil de requête. Pour que les deux modes restent synchronisés, n'apportez des modifications qu'au générateur de requêtes.

  • Vous ne pouvez sélectionner qu'une seule vue.

  • Vous ne pouvez pas joindre de tables ni imbriquer de requêtes.

Pour générer une requête à l'aide du générateur de requêtes, effectuez des sélections dans les menus suivants :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, vérifiez que le bouton Générateur  est sélectionné.

  3. Créez votre requête à l'aide des menus suivants :

    • Source : vous permet de sélectionner la vue que vous souhaitez utiliser pour la requête. La sélection que vous effectuez modifie la clause FROM de votre requête.

    • Rechercher dans tous les champs : vous permet de trouver les journaux correspondant à des termes ou expressions de recherche.

    • Filtres : vous permet de filtrer les champs dans les données de vos journaux.

    • Champs : vous permet de spécifier les colonnes qui apparaissent dans le tableau de résultats.

    • Trier par : vous permet de spécifier les colonnes à trier.

    • Limite : vous permet de définir le nombre de lignes de sortie.

  4. Exécutez votre requête. La requête est exécutée et son résultat s'affiche dans l'onglet Résultats.

    Pour affiner votre requête, modifiez les sélections que vous avez effectuées dans l'outil de création de requêtes, ou modifiez et affichez le code SQL généré en cliquant sur le bouton  Éditeur de requête SQL.

  5. Explorez les résultats de la requête. Vous pouvez afficher les résultats sous forme de tableau ou de graphique. Vous pouvez enregistrer des graphiques dans un tableau de bord personnalisé. Pour en savoir plus, consultez Représenter les résultats de requêtes SQL sous forme de graphiques.

Afficher le schéma

Le schéma définit sa structure et le type de données pour chaque champ. Ces informations sont importantes pour vous, car elles déterminent la façon dont vous construisez vos requêtes. Par exemple, supposons que vous souhaitiez calculer la latence moyenne des requêtes HTTP. Vous devez savoir comment accéder au champ de latence et s'il est stocké sous la forme d'un entier (100) ou d'une chaîne ("100"). Lorsque les données de latence sont stockées sous forme de chaîne, la requête doit caster la valeur en valeur numérique avant de calculer une moyenne.

Log Analytics déduit automatiquement les champs d'une colonne lorsque le type de données est JSON. Pour savoir à quelle fréquence ces champs inférés apparaissent dans vos données, cliquez sur Options, puis sélectionnez Afficher les infos et la description.

Pour identifier le schéma, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Vues, recherchez la vue des journaux ou la vue Analytics, puis sélectionnez-la.

    Le schéma s'affiche. Pour les vues de journaux, le schéma est fixe et correspond à la structure de données LogEntry. Pour les vues analytiques, vous pouvez modifier la requête SQL afin de changer le schéma.

Étapes suivantes