Interroger et afficher des journaux dans l'Analyse de journaux

Ce document explique comment interroger et afficher les journaux stockés dans des buckets de journaux mis à niveau pour utiliser l'Analyse de journaux. Vous pouvez interroger les journaux de ces buckets à l'aide de SQL, ce qui vous permet de filtrer et d'agréger vos journaux. Pour en savoir plus sur les fonctionnalités d'Analyse de journaux de Cloud Logging, consultez la page Présentation de l'Analyse de journaux.

Lorsque vous mettez à niveau un bucket de journaux pour utiliser l'Analyse de journaux, vous ne limitez pas votre accès à l'explorateur de journaux. Vous pouvez continuer à résoudre les problèmes et afficher les entrées de journal individuelles de ces buckets à l'aide de l'explorateur de journaux.

Pour savoir comment mettre à niveau un bucket de journaux afin d'utiliser l'Analyse de journaux, consultez les documents suivants:

Avant de commencer

  1. Pour obtenir les autorisations nécessaires pour utiliser l'Analyse de journaux et effectuer des activités telles que la création d'ensembles de données associés, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur votre projet:

    Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

    Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

  2. Pour les vues de journaux que vous souhaitez interroger, accédez à la page Stockage des journaux et vérifiez que les buckets de journaux qui stockent ces vues de journaux sont mis à niveau pour utiliser l'Analyse de journaux. Si nécessaire, mettez à niveau le bucket de journaux.

    Dans la console Google Cloud, accédez à la page Stockage des journaux.

    Accéder à la page Stockage des journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  3. Facultatif: Si vous souhaitez interroger vos données de journaux à l'aide d'un ensemble de données BigQuery, créez un ensemble de données BigQuery associé.

Interroger une vue de journal

Lorsque vous tentez de résoudre un problème, vous pouvez compter les entrées de journal avec un champ correspondant à un modèle ou calculer la latence moyenne d'une requête HTTP. Vous pouvez effectuer ces actions en exécutant une requête SQL sur une vue de journal.

Pour envoyer une requête SQL à une vue, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue, puis sélectionnez Requête. Le volet Requête contient une requête par défaut, qui inclut le nom de la table interrogée.

    Vous pouvez également saisir une requête dans le volet Requête ou modifier une requête affichée.

    Pour définir la période de votre requête, utilisez le sélecteur de période ou ajoutez une clause WHERE qui spécifie le champ timestamp. Nous vous recommandons d'utiliser le sélecteur de période pour spécifier la période.

    Si vous spécifiez un horodatage dans votre requête, celui-ci remplace la période sélectionnée dans le sélecteur de période, et ce dernier est désactivé. Pour utiliser le sélecteur de période, supprimez les expressions de code temporel de la clause WHERE de votre requête.

  3. Dans la barre d'outils, cliquez sur Exécuter la requête.

    La requête est exécutée et le résultat s'affiche dans l'onglet Results (Résultats).

    Vous pouvez utiliser les options de la barre d'outils pour mettre en forme votre requête, l'effacer et ouvrir la documentation de référence SQL pour BigQuery.

Afficher le schéma d'une vue

Le schéma d'une vue de journal définit sa structure et le type de données de chaque champ. Ces informations sont importantes pour vous, car elles déterminent la façon dont vous construisez vos requêtes. Supposons que vous souhaitiez calculer la latence moyenne des requêtes HTTP. Vous devez savoir comment accéder au champ de latence et savoir s'il est stocké sous forme d'entier comme 100 ou de chaîne comme "100". Lorsque les données de latence sont stockées sous forme de chaîne, la requête doit convertir la valeur en valeur numérique avant de calculer une moyenne.

Lorsque le type de données d'une colonne est JSON, le schéma ne répertorie pas les champs disponibles pour cette colonne. Par exemple, une entrée de journal peut comporter un champ nommé json_payload. Lorsqu'un bucket de journaux est mis à niveau pour utiliser l'Analyse de journaux, ce champ est mappé à une colonne dont le type de données est JSON. Le schéma n'indique pas les champs enfants de la colonne. Autrement dit, vous ne pouvez pas utiliser le schéma pour déterminer si json_payload.url est une référence valide.

Pour identifier le schéma d'une vue, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue, puis sélectionnez son nom.

    Le schéma de la table s'affiche. Vous pouvez utiliser le champ Filtrer pour localiser des champs spécifiques. Vous ne pouvez pas modifier le schéma.

Enregistrer une requête

Toutes les requêtes que vous exécutez sont automatiquement enregistrées pendant 30 jours et sont accessibles en sélectionnant l'onglet Récentes de la page Analyse de journaux. Vous pouvez rechercher, afficher, exécuter et partager les requêtes répertoriées dans l'onglet Recent (Récentes).

Si vous souhaitez qu'une requête reste disponible pour une utilisation ultérieure, annotez-la avec les informations qui vous sont utiles, ou laissez vos collègues afficher et exécuter votre requête, puis enregistrez-la. Vous pouvez rechercher et trier vos requêtes enregistrées par nom, description et étiquette de visibilité. Vous pouvez également modifier et supprimer ces requêtes. Les requêtes que vous enregistrez sont conservées jusqu'à ce que vous les supprimiez.

Vous pouvez économiser 10 000 requêtes par projet Google Cloud.

Console

Pour enregistrer une requête, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, saisissez une requête.

    Vous pouvez renseigner le volet Requête en saisissant une nouvelle requête, en sélectionnant une requête dans l'onglet Récent ou en sélectionnant une requête dans l'onglet Enregistrée.

    Lorsque la requête du volet Requête est valide, l'option Enregistrer est activée.

  3. Cliquez sur Enregistrer, puis renseignez les champs Nom et Description. Les valeurs que vous définissez pour ces champs s'affichent dans l'onglet Saved (Enregistrées).

  4. Facultatif: Pour permettre à tous les utilisateurs ayant accès à la page Analyse de journaux de la vue du projet Google Cloud et d'exécuter votre requête enregistrée, activez l'option Partager avec le projet.

    Par défaut, cette option est désactivée, et la visibilité est limitée.

  5. Cliquez sur Enregistrer la requête.

  6. Facultatif: Pour afficher, trier et exécuter les requêtes enregistrées que vous pouvez consulter, sélectionnez l'onglet Saved (Enregistrées).

    Vous pouvez trier et filtrer vos requêtes enregistrées par nom, description et libellé de visibilité. Vous pouvez également filtrer les résultats en fonction du contenu de la requête.

Vous pouvez modifier et supprimer les requêtes que vous avez créées à l'aide des options de l'onglet Saved (Enregistrées) :

  • Pour modifier une requête, cliquez sur Plus d'options, puis sélectionnez Modifier. Vous pouvez modifier les valeurs des champs Name (Nom) et Description, mais la requête elle-même ne peut pas être modifiée.

  • Pour supprimer une requête enregistrée, cliquez sur Plus d'options, puis sélectionnez Supprimer.

API

Pour enregistrer une requête à l'aide de l'API Logging, utilisez la méthode savedQueries.create. Pour en savoir plus sur cette méthode, ses paramètres et les données de réponse, consultez la page de référence sur savedQueries.create.

Vous pouvez exécuter la méthode savedQueries.create à l'aide du widget APIs Explorer sur la page de référence de la méthode. Pour les requêtes d'Analyse de journaux, vous devez spécifier le champ opsAnalyticsQuery. L'exemple suivant illustre un exemple de corps de requête, qui contient une instance de SavedQuery:

{
  "parent": "projects/my-project/locations/global"
  "saved_query":
  {
     "ops_analytics_query":
     {
        "sql_query_text" :
           "SELECT
           timestamp, log_name, severity, json_payload, resource, labels
           FROM
           `TABLE`
           WHERE
           timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
           ORDER BY timestamp ASC
           LIMIT 100"
     }
     "visibility": "PRIVATE"
  }
}

Partager une requête

Console

Lorsque vous résolvez un problème ou que vous constatez des résultats anormaux, vous pouvez partager une requête et ses résultats avec un coéquipier. Lorsque vous consultez les résultats de requête sur la page Analyse de journaux, vous pouvez copier une URL qui, lorsqu'elle est ouverte, affiche la requête que vous avez exécutée et ses résultats.

Pour partager une requête et des résultats avec un collègue, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans le volet Requête, saisissez une requête, puis cliquez sur Exécuter la requête.

    Vous pouvez renseigner le volet Requête en saisissant une nouvelle requête, en sélectionnant une requête dans l'onglet Récent ou en sélectionnant une requête dans l'onglet Enregistrée.

  3. Cliquez sur Partager le lien.

  4. Envoyez le lien à votre collègue.

    Lorsque votre collègue ouvre le lien, la page Analyse de journaux s'ouvre. Cette page affiche la requête que vous avez exécutée et les résultats de celle-ci.

    Pour que l'URL s'ouvre, le rôle Identity and Access Management de votre collègue sur le projet Google Cloud doit inclure les autorisations requises pour afficher les pages Logging.

API

Vous pouvez utiliser l'API Logging pour créer une requête partagée en utilisant la méthode savedQueries.Create et en spécifiant la valeur SHARED dans le champ visibility.

Afficher et exécuter des requêtes récentes ou enregistrées

Pour afficher ou réexécuter une requête, sélectionnez l'onglet Récent de la page Analyse de journaux et recherchez la requête:

  • Pour exécuter la requête, cliquez sur Exécuter.
  • Pour afficher la requête, utilisez les options du menu More Options (Plus d'options).

Pour afficher, modifier ou exécuter une requête enregistrée, sélectionnez l'onglet Enregistré sur la page Analyse de journaux et recherchez la requête:

  • Pour exécuter la requête, cliquez sur Exécuter.
  • Pour modifier, afficher ou supprimer la requête, utilisez les options du menu Plus d'options de .

Interroger les journaux à l'aide de BigQuery

Si votre bucket de journaux a été mis à niveau pour utiliser l'Analyse de journaux, vous pouvez également afficher vos données dans BigQuery en créant un ensemble de données BigQuery associé. Avec cette configuration, vous pouvez utiliser BigQuery pour joindre vos données de journaux, accessibles via l'ensemble de données associé, à d'autres données d'entreprise. Pour en savoir plus sur la création d'un ensemble de données associé, consultez la page Accorder à BigQuery un accès en lecture à un bucket de journaux.

Pour interroger un ensemble de données associé, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Analyse de journaux:

    Accéder à l'Analyse de journaux

    Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.

  2. Dans la liste Vues de journaux, recherchez la vue, puis sélectionnez Requête. Le volet Requête contient une requête par défaut.

    Vous pouvez également saisir une requête dans le volet Requête ou modifier une requête affichée.

  3. Dans la barre d'outils, cliquez sur Exécuter dans BigQuery.

    La page BigQuery Studio s'ouvre. L'instruction FROM de la requête est modifiée pour spécifier le chemin d'accès à la vue sur l'ensemble de données associé à l'aide de la syntaxe du chemin d'accès de la table BigQuery.

    Vous pouvez également modifier la requête affichée.

  4. Cliquez sur Exécuter la requête.

Étapes suivantes