Interroger et afficher des journaux dans l'Analyse de journaux

Ce document explique comment interroger et afficher les journaux stockés dans des buckets de journaux mis à niveau pour utiliser Log Analytics. Vous pouvez interroger les journaux de ces buckets en utilisant SQL, qui vous permet de filtrer et d'agréger vos journaux. Pour en savoir plus sur les fonctionnalités de l'Analyse de journaux de Cloud Logging, consultez la présentation de l'Analyse de journaux.

Lorsque vous mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, vous ne limitez pas à l'explorateur de journaux. Vous pouvez continuer de résoudre les problèmes et d'afficher les données les entrées de journal de ces buckets à l'aide de l'explorateur de journaux.

À propos de l'exécution de requêtes sur la page "Log Analytics"

Lorsque vous souhaitez identifier des tendances dans vos données de journal ou créer des graphiques à partir de ces données, nous vous recommandons d'utiliser la page Log Analytics. Cette interface nécessite que votre bucket de journaux ait été mis à niveau pour utiliser l'Analyse de journaux.

Les requêtes Log Analytics s'exécutent sur le service Log Analytics par défaut, sauf si vous configurez cette page pour utiliser des emplacements BigQuery réservés. Lorsque le service par défaut est utilisé, vos requêtes sont en concurrence pour les emplacements avec un nombre limité d'emplacements par défaut. Par conséquent, si les emplacements par défaut de votre projet Google Cloud sont occupés par d'autres requêtes, votre requête peut subir des retards dans le temps d'exécution. Toutefois, vous pouvez améliorer les performances de vos requêtes en les exécutant sur des emplacements BigQuery réservés.

Si vous souhaitez effectuer l'une des opérations suivantes, créez un ensemble de données BigQuery associé, qui permet au moteur BigQuery de lire les ensembles de données d'entrées de journaux.

  • Interroger les données d'entrée de journal de la page Analyse de journaux en utilisant Emplacements BigQuery réservés.
  • Interroger les données d'entrée de journal d'un autre service tel que le service BigQuery Studio ou Looker Studio.
  • Associer les données des entrées de journal à d'autres ensembles de données BigQuery

Si vous exécutez vos requêtes sur des emplacements BigQuery réservés, alors vos requêtes sont soumises tarifs du calcul de capacité. Si vous interrogez vos données à l'aide d'un service autre que Log Analytics, vos requêtes peuvent être soumises à d'autres frais en fonction de ce service. Consultez la page des tarifs du service utilisent.

Avant de commencer

  1. Pour obtenir les autorisations nécessaires pour utiliser Log Analytics, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos buckets de journaux ou vos vues de journaux :

    • Pour interroger les buckets de journaux _Required et _Default: Visionneuse de journaux (roles/logging.viewer).
    • Pour interroger toutes les vues de journaux d'un projet : Accesseur de vues de journaux (roles/logging.viewAccessor).
    • Pour interroger les journaux dans une vue de journaux spécifique : Créez une stratégie IAM pour la vue de journaux ou limitez le rôle "Accesseur de vues de journaux" (roles/logging.viewAccessor) à une certaine vue de journaux. Pour en savoir plus, consultez la section Contrôler l'accès à une vue de journal.

  2. Pour obtenir les autorisations nécessaires pour créer et interroger des ensembles de données associés, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur le projet qui stocke le bucket de journaux:

    • (Facultatif) Pour créer et afficher des ensembles de données associés:
    • (Facultatif) Pour exécuter des requêtes sur des ensembles de données associés à l'aide d'emplacements BigQuery réservés :
    • (Facultatif) Pour afficher les ensembles de données associés dans BigQuery Studio, accordez tous les rôles mentionnés à cette étape, ainsi que le rôle suivant: Lecteur de données BigQuery (roles/bigquery.dataViewer).

  3. Pour les vues de journaux que vous souhaitez interroger, accédez à la page Stockage des journaux et vérifiez que les buckets de journaux qui stockent ces vues de journaux sont mis à niveau pour utiliser l'Analyse de journaux. Si nécessaire, mettez à niveau le bucket de journaux.

    Accéder à la page Stockage des journaux

  4. Facultatif : Si vous souhaitez interroger vos données de journaux à l'aide d'un ensemble de données BigQuery (par exemple, si vous prévoyez d'utiliser la page BigQuery Studio), créez un ensemble de données BigQuery associé.

  5. Cette fonctionnalité est disponible en version Preview publique:

    Facultatif : Si vous souhaitez interroger vos données de journaux à partir de la page Log Analytics à l'aide d'emplacements BigQuery réservés, procédez comme suit :
    1. Créez un ensemble de données BigQuery associé.
    2. Créez une réservation avec des emplacements dédiés, puis créez des attributions de réservation.

Interroger une vue de journal

Lorsque vous résolvez un problème, vous pouvez dénombrer les entrées de journal avec un champ correspondant à un modèle ou calculer la latence moyenne pour une requête HTTP. Pour effectuer ces actions, exécutez une requête SQL sur une vue des journaux.

Pour envoyer une requête SQL à une vue de journal, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue, puis sélectionnez Requête. La Le volet Requête contient une requête par défaut, qui inclut le nom de la table correspondant au nom de la vue de journal interrogée. Ce nom est au format project_ID.region.bucket_ID.view_ID.

    Vous pouvez également saisir une requête dans le volet Requête ou modifier une requête affichée.

    Pour définir la période de votre requête, utilisez le sélecteur de période ou ajoutez une clause WHERE qui spécifie le champ timestamp. Nous vous recommandons d'utiliser le sélecteur de période pour spécifier la période.

    Si vous spécifiez un code temporel dans votre requête, il remplace la période sélectionnée dans le sélecteur de période et le sélecteur de période est désactivé. Pour utiliser le sélecteur de période, supprimez les expressions de code temporel de la clause WHERE de votre requête.

  3. Sélectionnez votre moteur de requêtes.

    • Pour exécuter votre requête sur votre service d'Analyse de journaux par défaut, assurez-vous que le bouton Exécuter la requête s'affiche dans la barre d'outils. Si ce bouton ne s'affiche pas, procédez comme suit:

      1. Dans la barre d'outils, cliquez sur Paramètres .

      2. Cliquez sur Analyse de journaux (par défaut).

      Le bouton Exécuter la requête apparaît dans la barre d'outils.

    • Pour exécuter votre requête sur les emplacements BigQuery réservés dans votre projet Google Cloud, procédez comme suit :

      1. Dans la barre d'outils, cliquez sur Paramètres .

      2. Cliquez sur BigQuery.

      Le bouton Exécuter la requête est remplacé par Exécuter dans BigQuery.

      Si le bouton Exécuter sur BigQuery s'affiche, mais est désactivé, cela signifie qu'une vue de journal référencée par votre requête ne dispose pas d'un ensemble de données associé. Pour exécuter votre requête sur vos réservations d'emplacement BigQuery, créer un ensemble de données associé dans votre vue de journal.

  4. Exécutez votre requête.

    La requête est exécutée et le résultat est affiché dans la Onglet Results (Résultats).

    Vous pouvez utiliser les options de la barre d'outils pour mettre en forme votre requête, la supprimer et ouvrir la documentation de référence SQL de BigQuery.

Afficher le schéma d'une vue

Le schéma d'une vue de journal définit sa structure et le type de données pour chaque champ. Ces informations sont importantes pour vous, car elles déterminent la façon dont vous créez vos requêtes. Par exemple, supposons que vous souhaitiez calculer la latence moyenne des requêtes HTTP. Vous devez savoir comment accéder au champ de latence et s'il est stocké sous forme d'entier comme 100 ou sous forme de chaîne comme "100". Lorsque les données de latence sont stockées sous forme de chaîne, la requête doit convertir la valeur en valeur numérique avant de calculer une moyenne.

Lorsque le type de données d'une colonne est JSON, le schéma ne répertorie pas les champs disponibles pour cette colonne. Par exemple, une entrée de journal peut avoir un champ nommé json_payload. Lorsqu'un bucket de journaux est mis à niveau pour utiliser dans l'Analyse de journaux, ce champ est mappé à une colonne dont le type de données est JSON. Le schéma n'indique pas les champs enfants de la colonne. Autrement dit, ne peut pas utiliser le schéma pour déterminer si json_payload.url est une référence valide.

Pour identifier le schéma d'une vue de journal, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue de journal, puis sélectionnez la nom de la vue de journal.

    Le schéma s'affiche. Vous pouvez utiliser le champ Filtrer pour localiser des champs spécifiques. Vous ne pouvez pas modifier le schéma.

Enregistrer une requête

Toutes les requêtes que vous exécutez sont automatiquement enregistrées au cours des 30 derniers jours et sont accessibles en sélectionnant l'onglet Récents sur la page Analyse de journaux. Vous pouvez rechercher, afficher, exécuter et partager les requêtes listées dans l'onglet Récentes.

Si vous souhaitez qu'une requête reste disponible pour une utilisation ultérieure, annotez-la avec des informations qui vous sont utiles, ou permettre à vos coéquipiers d'afficher et d'exécuter votre requête, puis enregistrez la requête. Vous pouvez rechercher et trier vos requêtes enregistrées par nom, description et libellé de visibilité. Vous pouvez également modifier et supprimer ces requêtes. Les requêtes que vous enregistrez sont conservées jusqu'à ce que vous les supprimiez de l'IA générative.

Vous pouvez économiser 10 000 requêtes par projet Google Cloud.

Console

Pour enregistrer une requête, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Renseignez le volet Requête avec une requête.

    Vous pouvez remplir le volet Requête en saisissant une nouvelle requête, en sélectionnant une requête dans l'onglet Récents ou en en sélectionnant une requête dans l'onglet Enregistrée.

    Lorsque la requête dans le volet Requête est valide, l'option Enregistrer est activée.

  3. Cliquez sur Enregistrer, puis renseignez les champs Nom et Description. Les valeurs que vous définissez pour ces champs sont affichées dans l'onglet Enregistré.

  4. Facultatif : Pour autoriser tous les utilisateurs ayant accès à la page Log Analytics du projet Google Cloud à afficher et à exécuter votre requête enregistrée, activez l'option Partager avec le projet.

    Par défaut, cette option est désactivée et la visibilité est limitée à vous.

  5. Cliquez sur Enregistrer la requête.

  6. Facultatif : Pour afficher, trier et exécuter les requêtes enregistrées que vous pouvez consulter, procédez comme suit : sélectionnez l'onglet Enregistrés.

    Vous pouvez trier et filtrer vos requêtes enregistrées par nom, description et libellé de visibilité. Vous pouvez également filtrer par contenu de la requête.

Vous pouvez modifier et supprimer des requêtes que vous avez créées à l'aide des options disponibles sur Onglet Enregistrés:

  • Pour modifier une requête, cliquez sur Plus d'options et sélectionnez Modifier. Vous pouvez modifier les valeurs des champs Nom et Description. Toutefois, la requête elle-même ne peut pas être modifiée.

  • Pour supprimer une requête enregistrée, cliquez sur  Plus d'options, puis sélectionnez Supprimer.

API

Pour enregistrer une requête à l'aide de l'API Logging, utilisez la méthode savedQueries.create. Pour en savoir plus sur cette méthode, ses paramètres et les données de réponse, consultez la page de référence de savedQueries.create.

Vous pouvez exécuter la méthode savedQueries.create à l'aide de la méthode Widget APIs Explorer sur la page de référence de la méthode. Pour requêtes d'Analyse de journaux, vous devez spécifier le champ opsAnalyticsQuery. L'exemple suivant illustre un exemple de corps de requête, qui contient une instance de SavedQuery :

{
  "parent": "projects/my-project/locations/global"
  "saved_query":
  {
     "ops_analytics_query":
     {
        "sql_query_text" :
           "SELECT
           timestamp, log_name, severity, json_payload, resource, labels
           FROM
           `TABLE_NAME_OF_LOG_VIEW`
           WHERE
           timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
           ORDER BY timestamp ASC
           LIMIT 100"
     }
     "visibility": "PRIVATE"
  }
}

Partager une requête

Console

Lorsque vous tentez de résoudre un problème ou que vous constatez des résultats anormaux, veulent partager une requête et ses résultats avec un coéquipier. Lorsque vous consultez sur la page Analyse de journaux, vous pouvez copier une URL qui, une fois ouvert, affiche la requête que vous avez exécutée et ses résultats.

Pour partager une requête et ses résultats avec un collègue, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux :

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Saisissez une requête dans le volet Requête, puis cliquez sur Exécuter la requête.

    Vous pouvez renseigner le volet Requête en saisissant une nouvelle requête, en sélectionnant une requête dans l'onglet Recent (Récents) ou en sélectionnant une requête dans l'onglet Saved (Enregistrées).

  3. Cliquez sur  Partager le lien.

  4. Envoyez le lien à votre coéquipier.

    Lorsque votre collègue ouvre le lien, la page Analyse de journaux s'ouvre. Cette page affiche la requête que vous avez exécutée et ses résultats.

    Pour que votre collègue puisse ouvrir l'URL, son rôle Identity and Access Management dans le projet Google Cloud doit inclure les autorisations requises pour afficher les pages de journalisation.

API

Vous pouvez utiliser l'API Logging pour créer une requête partagée à l'aide de la méthode savedQueries.Create et en spécifiant la valeur SHARED dans le champ visibility.

Enregistrer des résultats de requête dans un tableau de bord

Après avoir exécuté une requête, vous pouvez choisir le mode d'affichage des résultats. si vous voulez enregistrer la requête et ses résultats tableau de bord personnalisé. Les tableaux de bord personnalisés vous permettent d'afficher et d'organiser les informations qui vous intéressent à l'aide de différents types de widgets.

Par défaut, les résultats de votre requête sont présentés sous forme de tableau. Autrement dit, dans l'onglet Résultats, Table est sélectionné. Avec ces paramètres, si vous accédez à la barre d'outils et sélectionnez Enregistrer dans un tableau de bord, une boîte de dialogue s'ouvre et vous êtes invité à saisir un nom descriptif pour le tableau et un nom de tableau de bord. Lorsque vous aurez terminé ces étapes, le tableau de bord nommé est modifié et un widget de tableau est ajouté. Le widget de tableau affiche le résultat de votre requête.

Si vous souhaitez afficher les tendances de vos données, sélectionnez Graphique ou Les deux dans l'onglet Résultats. Ces options vous permettent d'afficher le résultat d'une requête dans un graphique ou avec un indicateur tel qu'une jauge ou un tableau de données. Après avoir créé un graphique, vous pouvez l'enregistrer dans un tableau de bord personnalisé en sélectionnez Enregistrer dans le tableau de bord. Pour en savoir plus sur la configuration des graphiques, consultez Créer des graphiques sur les résultats de requête avec l'Analyse de journaux.

Vous pouvez modifier la configuration d'un tableau ou d'un graphique dans un tableau de bord personnalisé. Pour effectuer des modifications, ouvrez le tableau de bord, puis modifiez le widget. Par exemple, vous pouvez modifier la requête ou la façon dont les données sont affichées. Pour plus pour en savoir plus, consultez Modifiez la configuration d'un widget.

Afficher et exécuter des requêtes récentes ou enregistrées

Pour afficher ou réexécuter une requête, sélectionnez l'onglet Recent (Récents) sur la page Log Analytics, puis recherchez la requête :

  • Pour exécuter la requête, cliquez sur Exécuter.
  • Pour afficher la requête, utilisez les options de la Menu Plus d'options.

Pour afficher, modifier ou exécuter une requête enregistrée, sélectionnez l'onglet Enregistrées sur la page Log Analytics, puis recherchez la requête :

  • Pour exécuter la requête, cliquez sur Exécuter.
  • Pour modifier, afficher ou supprimer la requête, utilisez les options du menu  Plus d'options.

Exécuter des requêtes depuis BigQuery

Si votre bucket de journaux utilise l'Analyse de journaux et les ensembles de données associés, vous pouvez afficher et interroger vos ensembles de données associés à l'aide de BigQuery Studio. . Cette configuration vous permet d'analyser ensembles de données à l'aide de commandes, de workflows et d'ensembles de données est disponible uniquement dans BigQuery Studio.

Pour interroger un ensemble de données associé à l'aide de la page BigQuery Studio, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue de journal, puis sélectionnez Requête. La Le volet Requête contient une requête par défaut.

    Vous pouvez également saisir une requête dans le volet Requête ou modifier une requête affichée.

  3. Dans la barre d'outils, cliquez sur Ouvrir dans BigQuery.

    La page BigQuery Studio s'ouvre. FROM de la requête est modifiée pour spécifier le chemin d'accès à la vue de journal sur la ensemble de données associé à l'aide Syntaxe du chemin d'accès aux tables

    Vous pouvez également modifier la requête affichée.

  4. Cliquez sur Exécuter la requête.

Étape suivante