Afficher les journaux dans les destinations de récepteurs

Ce document explique comment trouver les entrées de journal que vous avez acheminées de Cloud Logging vers des destinations compatibles :

Destination Fréquence de routage
Buckets Cloud Storage Lots horaires
Tables BigQuery Quasiment en temps réel
Sujets Pub/Sub Quasiment en temps réel
Buckets Cloud Logging Quasiment en temps réel
Destinations tierces (Splunk) Quasiment en temps réel

Pour en savoir plus sur les récepteurs, consultez la page Présentation du routage et du stockage : récepteurs.

Pour savoir comment acheminer les journaux, consultez Configurer et gérer les récepteurs.

Cloud Storage

Pour afficher les journaux acheminés dans Cloud Storage, procédez comme suit :

  1. Dans la console, accédez au navigateur Cloud Storage:

    Accéder au navigateur Cloud Storage

  2. Sélectionnez le bucket Cloud Storage que vous utilisez comme destination de routage.

Pour en savoir plus sur l'organisation des journaux dans le bucket Cloud Storage, consultez la section Organisation Cloud Storage du présent document.

Fréquence de routage

Les entrées de journal sont enregistrées toutes les heures et sous forme de lots dans des buckets Cloud Storage. L'affichage des premières entrées peut prendre 2 à 3 heures.

Organisation des journaux

Lorsque vous acheminez des journaux vers un bucket Cloud Storage, Logging crée un ensemble de fichiers au sein du bucket.

Les fichiers sont organisés en hiérarchies de répertoires classées par type de journal et par date. Le type de journal, appelé [LOG_ID] dans la documentation de référence de LogEntry, peut correspondre à un nom simple, tel que syslog, ou à un nom composé, tel que appengine.googleapis.com/request_log. Si ces journaux sont stockés dans un bucket appelé my-gcs-bucket, les répertoires sont alors nommés comme dans l'exemple suivant :

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Un seul bucket Cloud Storage peut contenir des journaux provenant de plusieurs types de ressources. La taille de chaque fichier est d'environ 3,5 Gio.

Logging ne garantit pas la déduplication des entrées de journal des récepteurs contenant des requêtes identiques ou se chevauchant. Les entrées de journal de ces récepteurs peuvent être écrites plusieurs fois dans un bucket Cloud Storage.

Les répertoires feuilles (DD/) comportent plusieurs fichiers conservant chacun les entrées de journal acheminées pendant une période spécifiée dans le nom de fichier. Les fichiers sont partitionnés et leur nom se termine par un numéro de partition, Sn ou An (n = 0, 1, 2, etc.). Par exemple, voici deux fichiers qui pourraient être stockés dans le répertoire my-gcs-bucket/syslog/2015/01/13/ :

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Ces deux fichiers contiennent les entrées de journal de syslog pour toutes les instances entre 08:00:00 UTC et 08:59:59 UTC. Les horodatages d'entrée de journal utilisent l'heure UTC (temps universel coordonné).

Les entrées de journal qui arrivent avec un receiveTimestamp dans la fenêtre alignée de 60 minutes de leur timestamp sont écrites dans les fichiers de partition principale. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 08:10:00 est stockée dans le fichier de partition principale.

Ces fichiers incluent une partition principale numérotée dans le suffixe : _Sn.json.

Les entrées de journal qui arrivent avec un timestamp dans une fenêtre alignée de 60 minutes différente de leur receiveTimestamp sont écrites dans des fichiers de partitions supplémentaires. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 09:10:00 est stockée dans un fichier de partition supplémentaire.

Ces fichiers incluent une partition supplémentaire numérotée avec le suffixe : _An:Unix_timestamp.json.

Par exemple, une entrée de journal ayant un timestamp entre 08:00:00 et 08:59:59 mais un receiveTimestamp dans une fenêtre alignée de 60 minutes différente est écrite dans un fichier avec le suffixe _An:Unix_timestamp.json, où l'horodatage Unix identifie l'heure à laquelle le fichier a été acheminé vers Cloud Storage. Si une entrée de journal a un timestamp de 08:50:00 et un receiveTimestamp de 09:10:00, et qu'elle a été acheminée le 25 mars 2021 à 09:15:00. le fichier supplémentaire serait écrit comme suit :

08:00:00_08:59:59_A0:1616681700.json

Pour obtenir toutes les entrées de journal, vous devez consulter l'ensemble des partitions pour chaque période (dans le cas présent, les partitions de fichiers 0 et 1). Le nombre de partitions de fichiers rédigées peut varier pour chaque période en fonction du volume d'entrées de journal.

Dans les fichiers partitionnés individuels, les entrées de journal sont stockées sous la forme d'une liste d'objets LogEntry. Pour obtenir un exemple d'entrée syslog, consultez la section Type LogEntry du présent document.

Notez que l'ordre de tri des entrées de journal dans les fichiers n'est ni uniforme, ni garanti.

Filtres

Pour obtenir des exemples de filtres de routage des journaux vers Cloud Storage, consultez la page Exemples de requêtes.

BigQuery

Pour afficher vos journaux acheminés dans BigQuery, procédez comme suit :

  1. Accédez à la page BigQuery dans la console:

    Accéder à BigQuery

  2. Sélectionnez l'ensemble de données servant de destination à votre récepteur.

  3. Sélectionnez une table de l'ensemble de données. Les entrées de journal sont visibles dans l'onglet Détails. Vous pouvez également interroger la table pour qu'elle renvoie vos données.

Pour en savoir plus sur l'organisation des tables, consultez la section Organisation des tables.

Pour savoir comment sont nommés les champs des entrées de journal acheminées, consultez la section Schéma BigQuery pour les journaux.

Fréquence de routage

Lorsque Logging achemine les entrées de journal vers BigQuery et qu'une table est créée, les premières entrées peuvent mettre quelques minutes à apparaître dans la nouvelle table. Les entrées de journal suivantes apparaissent généralement dans la minute qui suit.

Organisation des tables

Lorsque vous acheminez des journaux vers un ensemble de données BigQuery, Logging crée des tables datées qui conservent les entrées de journal acheminées. Le nom de ces tables est basé sur le nom des entrées de journal et sur leur horodatage1. Le tableau suivant vous explique la façon dont les noms des journaux et les horodatages sont mappés au nom des tables :

Nom du journal Horodatage d'entrée de journal1 Nom de la table BigQuery
syslog 2017-05-23T18:19:22.135Z syslog_20170523
apache-access 2017-01-01T00:00:00.000Z apache_access_20170101
compute.googleapis.com/activity_log 2017-12-31T23:59:59.999Z compute_googleapis_com_activity_log_20171231

1 Les horodatages d'entrée de journal utilisent l'heure UTC (temps universel coordonné).

Schémas et champs

Les schémas de table BigQuery pour les journaux acheminés se basent sur la structure du type LogEntry et sur le contenu des charges utiles des journaux. Vous pouvez afficher le schéma de la table en sélectionnant celle-ci avec des entrées de journal acheminées dans l'interface utilisateur BigQuery.

Le schéma de table BigQuery utilisé pour représenter les charges utiles d'entrée de journal complexes peut être source de confusion. Dans le cas des journaux d'audit acheminés, certaines règles de dénomination spéciales sont utilisées. Pour en savoir plus, consultez la page Schéma BigQuery pour les journaux.

Queries

Pour obtenir des exemples de requêtes de routage de journaux vers BigQuery, consultez la page Exemples de requêtes.

Pour en savoir plus sur la syntaxe des requêtes BigQuery, consultez la documentation de référence sur les requêtes. particulièrement utiles sont les fonctions de caractères génériques de table, qui vous permettent d'effectuer des requêtes sur plusieurs tables, et l'opérateur plats, qui vous permet d'afficher les données de champs répétés.

Exemple de requête Compute Engine

La requête BigQuery suivante récupère les entrées de journal de plusieurs jours et de différents types de journaux :

  • La requête recherche les trois derniers jours des journaux syslog et apache-access. Elle a été exécutée le 23 février 2015 et couvre toutes les entrées de journal reçues les 21 et 22 février, ainsi que les entrées reçues le 23 février jusqu'à la création de la requête.

  • La requête récupère les résultats d'une seule instance de Compute Engine : 1554300700000000000.

SELECT
  timestamp AS Time,
  logName as Log,
  textPayload AS Message
FROM
  (TABLE_DATE_RANGE(my_bq_dataset.syslog_,
    DATE_ADD(CURRENT_TIMESTAMP(), -2, 'DAY'), CURRENT_TIMESTAMP())),
  (TABLE_DATE_RANGE(my_bq_dataset.apache_access_,
    DATE_ADD(CURRENT_TIMESTAMP(), -2, 'DAY'), CURRENT_TIMESTAMP()))
WHERE
  resource.type == 'gce_instance'
  AND resource.labels.instance_id == '1554300700000000000'
ORDER BY time;

Voici quelques exemples de lignes de sortie :

Row | Time                    | Log                                         | Message
--- | ----------------------- | ------------------------------------------- | ----------------------------------------------------------------------------------------------------------------
 5  | 2015-02-21 03:40:14 UTC | projects/project-id/logs/syslog             | Feb 21 03:40:14 my-gce-instance collectd[24281]: uc_update: Value too old: name = 15543007601548826368/df-tmpfs/df_complex-used; value time = 1424490014.269; last cache update = 1424490014.269;
 6  | 2015-02-21 04:17:01 UTC | projects/project-id/logs/syslog             | Feb 21 04:17:01 my-gce-instance /USR/SBIN/CRON[8082]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
 7  | 2015-02-21 04:49:58 UTC | projects/project-id/logs/apache-access      | 128.61.240.66 - - [21/Feb/2015:04:49:58 +0000] "GET / HTTP/1.0" 200 536 "-" "masscan/1.0 (https://github.com/robertdavidgraham/masscan)"
 8  | 2015-02-21 05:17:01 UTC | projects/project-id/logs/syslog             | Feb 21 05:17:01 my-gce-instance /USR/SBIN/CRON[9104]: (root) CMD ( cd / && run-parts --report /etc/cron.hourly)
 9  | 2015-02-21 05:30:50 UTC | projects/project-id/log/syslogapache-access | 92.254.50.61 - - [21/Feb/2015:05:30:50 +0000] "GET /tmUnblock.cgi HTTP/1.1" 400 541 "-" "-"

Exemple de requête App Engine

La requête BigQuery suivante récupère les requêtes App Engine du mois dernier qui n'ont pas abouti :

SELECT
  timestamp AS Time,
  protoPayload.host AS Host,
  protoPayload.status AS Status,
  protoPayload.resource AS Path
FROM
  (TABLE_DATE_RANGE(my_bq_dataset.appengine_googleapis_com_request_log_,
    DATE_ADD(CURRENT_TIMESTAMP(), -1, 'MONTH'), CURRENT_TIMESTAMP()))
WHERE
  protoPayload.status != 200
ORDER BY time

Voici une partie des résultats :

Row | Time                    | Host                                  | Status | Path
--- | ----------------------- | ------------------------------------- | ------ | ------
 6  | 2015-02-12 19:35:02 UTC | default.my-gcp-project-id.appspot.com |    404 | /foo?thud=3
 7  | 2015-02-12 19:35:21 UTC | default.my-gcp-project-id.appspot.com |    404 | /foo
 8  | 2015-02-16 20:17:19 UTC | my-gcp-project-id.appspot.com         |    404 | /favicon.ico
 9  | 2015-02-16 20:17:34 UTC | my-gcp-project-id.appspot.com         |    404 | /foo?thud=%22what???%22

Pub/Sub

Nous vous recommandons d'utiliser Pub/Sub pour intégrer des journaux Cloud Logging à des logiciels tiers.

Les journaux acheminés vers Pub/Sub sont généralement disponibles en quelques secondes, avec 99 % des journaux disponibles en moins de 60 secondes.

Pour afficher vos journaux acheminés au fur et à mesure qu'ils sont diffusés via Pub/Sub, procédez comme suit :

  1. Accédez à la page "Pub/Sub" dans la console:

    Accéder à Pub/Sub

  2. Recherchez ou créez un abonnement au sujet utilisé dans le récepteur de journaux, puis extrayez une entrée de journal. Vous devrez peut-être attendre la publication d'une nouvelle entrée.

Pour en savoir plus sur l'organisation des journaux dans Pub/Sub, consultez la section Organisation des journaux du présent document.

Fréquence de routage

Lorsque vous acheminez des journaux vers un sujet Pub/Sub, Logging publie chaque entrée de journal en tant que message Pub/Sub dès qu'il la reçoit.

Organisation des journaux

Le champ data de chaque message correspond à un objet LogEntry encodé en base64. Un abonné Pub/Sub peut par exemple extraire l'objet suivant d'un sujet qui reçoit des entrées de journal. L'objet affiché contient une liste qui ne comprend qu'un seul message. Notez toutefois que Pub/Sub peut renvoyer plusieurs messages lorsque plusieurs entrées de journal sont disponibles. La valeur data (environ 600 caractères) et la valeur ackId (environ 200 caractères) ont été raccourcies pour rendre l'exemple plus lisible :

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

Si vous décodez le champ data et le mettez en forme, vous obtenez l'objet LogEntry suivant:

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Intégration de Pub/Sub avec des services tiers

Logging autorise l'intégration de la journalisation avec des services tiers tels que Splunk. Pour obtenir la liste actuelle des intégrations, consultez la section Partenaires pour découvrir les intégrations de la suite Google Cloud Operations.

L'acheminement des journaux se fait via un sujet Pub/Sub, et le service tiers les reçoit en s'abonnant au même sujet.

Pour effectuer l'intégration, attendez-vous à effectuer une démarche semblable à la suivante :

  1. Demandez au service tiers de vous fournir un nom de compte de service Google Cloud créé à partir de son projet Google Cloud, par exemple, 12345-xyz@developer.gserviceaccount.com. Ce nom vous permet ensuite d'autoriser le service tiers à recevoir vos journaux.

  2. Dans votre projet contenant les journaux, activez l'API Pub/Sub.

  3. Activez l'API Pub/Sub

    Activer l'API

  4. Créer un sujet Pub/Sub Vous pouvez créer un sujet lorsque vous configurez un récepteur de journaux ou en procédant comme suit:

    1. Accédez à la liste des sujets Pub/Sub.
    2. Sélectionnez Créer un sujet et saisissez un nom de sujet. Exemple : projects/my-project-id/topics/my-pubsub-topic. Acheminez vos journaux vers ce sujet.

      Chaque message envoyé au sujet inclut l'horodatage de l'entrée de journal acheminée dans le message Pub/Sub attributes. Par exemple :

      "attributes": {
        "logging.googleapis.com/timestamp": "2018-10-01T00:00:00Z"
      }
      
    3. Cliquez sur Create (Créer).

    4. Autorisez Logging à router les journaux vers le sujet. Pour obtenir les instructions correspondantes, consultez la section Définir des autorisations pour Pub/Sub.

  5. Autorisez le service tiers à s'abonner à votre sujet :

    1. Restez dans la liste des sujets Pub/Sub de votre projet dans la console.
    2. Sélectionnez votre nouveau sujet.
    3. Sélectionnez Autorisations.
    4. Saisissez le nom du compte de service du service tiers.
    5. Dans le menu Sélectionner un rôle, sélectionnez Abonné Pub/Sub.
    6. Cliquez sur Ajouter.
  6. Fournissez au service tiers le nom de votre sujet Pub/Sub, par exemple projects/my-project-number/topics/my-pubsub-topic. Le service tiers doit d'abord s'abonner au sujet pour que vous puissiez acheminer des journaux.

  7. Une fois le service tiers abonné à votre sujet, vous pouvez commencer à acheminer des journaux.

    1. Dans votre projet contenant les journaux que vous souhaitez acheminer, cliquez sur Créer une exportation au-dessus du champ de requête de recherche. Le panneau Edit Export (Modifier l'exportation) s'affiche.
    2. Indiquez un nom de récepteur.
    3. Dans le menu Sink Service (Service du récepteur), sélectionnez Cloud Pub/Sub.
    4. Dans le menu Sink Destination (Destination du récepteur), sélectionnez le sujet Pub/Sub auquel le service tiers est abonné.
    5. Cliquez sur Créer un récepteur.
    6. Une boîte de dialogue contenant le message Récepteur créé s'affiche. Ce message indique que votre récepteur d'exportation a bien été créé et qu'il dispose des autorisations nécessaires pour écrire les entrées de futurs journaux correspondants dans la destination que vous avez sélectionnée.

Le service tiers devrait commencer à recevoir immédiatement les entrées de journal.

Pour découvrir des scénarios de routage de journaux courants à l'aide de Pub/Sub, consultez la page Modèles de conception pour le routage vers Cloud Logging : scénarios d'exportation de journaux.

Cloud Logging

Les buckets de journaux sont des conteneurs de stockage Cloud Logging dans vos projets Google Cloud servant à stocker les données de vos journaux. Vous pouvez créer des récepteurs de journaux afin d'acheminer la totalité ou une partie de vos journaux vers n'importe quel bucket Cloud Logging. Vous avez ainsi la possibilité de choisir le projet Cloud dans lequel sont stockés vos journaux, ainsi que les autres journaux devant être stockés conjointement.

Pour savoir comment créer et répertorier les buckets de journaux associés à votre projet Cloud, consultez Configurer et gérer les buckets de journaux.

Organisation des entrées de journal

Les entrées de journal de Logging correspondent à des objets de type LogEntry.

Les entrées de journal présentant le même type de journal, appelé [LOG_ID] dans la documentation de référence de LogEntry, ont généralement le même format. Le tableau suivant présente des exemples d'entrées de journal :

syslog

syslog est un type de journal personnalisé produit par l'agent de journalisation, google-fluentd, qui s'exécute sur des instances de machine virtuelle:

{
  logName: "projects/my-gcp-project-id/logs/syslog",
  timestamp: "2015-01-13T19:17:01Z",
  resource: {
    type: "gce_instance",
    labels: {
      instance_id: "12345",
      zone: "us-central1-a",
      project_id: "my-gcp-project-id"
    }
  },
  insertId: "abcde12345",
  textPayload: "Jan 13 19:17:01 my-gce-instance /USR/SBIN/CRON[29980]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)"
}

request_log

Le journal request_log d'App Engine contient des entrées de journal comportant des champs protoPayload qui incluent des objets de type RequestLog :

{
  logName: "projects/my-gcp-project-id/logs/appengine.googleapis.com%2Frequest_log",
  timestamp: "2015-01-13T19:00:39.796169Z",
  resource: {
    type: "gae_app",
    labels: {
      module_id: "default",
      zone: "us6",
      project_id: "my-gcp-project-id",
      version_id: "20150925t173233"
    }
  }
  httpRequest: {
    status: 200
  }
  insertId: "abcde12345",
  operation: {
    id: "abc123",
    producer: "appengine.googleapis.com/request_id",
    first: true,
    last: true
  }
  protoPayload: {
    @type: "type.googleapis.com/google.appengine.logging.v1.RequestLog"
    versionId: "20150925t173233",
    status: 200,
    startTime: "2017-01-13T19:00:39.796169Z",
    # ...
    appId: "s~my-gcp-project-id",
    appEngineRelease: "1.9.17",
  }
}

activity

Le journal activity est un journal d'audit pour les activités d'administration. Sa charge utile est une représentation JSON de type AuditLog :

{
 logName: "projects/my-gcp-project-id/logs/cloudaudit.googleapis.com%2Factivity"
 timestamp: "2017-04-22T13:41:32.245Z"
 severity: "NOTICE"
 resource: {
  type: "gce_instance"
  labels: {
   instance_id: "2403273232180765234"
   zone: "us-central1-b"
   project_id: "my-gcp-project-id"
  }
 }
 insertId: "54DC1882F4B49.A4996C2.6A02F4C1"
 operation: {
  id: "operation-1492868454262-54dc185e9a4f0-249fe233-f73d472a"
  producer: "compute.googleapis.com"
  last: true
 }
 protoPayload: {
  @type: "type.googleapis.com/google.cloud.audit.AuditLog"
  authenticationInfo: {
   principalEmail: "649517127304@cloudservices.gserviceaccount.com"
  }
  requestMetadata: {…}
  serviceName: "compute.googleapis.com"
  methodName: "v1.compute.instances.delete"
  resourceName: "projects/my-gcp-project-id/zones/us-central1-b/instances/abc123"
 }
}

Splunk

La journalisation est compatible avec l'intégration à Splunk en redirigeant les journaux via un sujet Pub/Sub. Pour savoir comment créer un sujet Pub/Sub et autoriser Splunk à s'abonner à ce sujet, consultez la section Intégration tierce avec Pub/Sub.

Entrées de journal tardives

Les entrées de journal acheminées sont enregistrées toutes les heures et sous forme de lots dans des buckets Cloud Storage. L'affichage des premières entrées peut prendre 2 à 3 heures. Les partitions de fichiers journaux acheminées qui possèdent le suffixe An ("Append", ajout) contiennent les entrées de journal arrivées en retard.

Si l'exportation cesse de fonctionner, Cloud Logging conserve les données en mémoire tampon jusqu'à la fin de l'interruption.

Si la destination de votre récepteur ne comporte aucun journal, vérifiez les métriques système liées à l'exportation. Les métriques système liées à l'exportation indiquent le nombre d'entrées de journal acheminées et supprimées en raison d'erreurs. Si elles indiquent qu'aucune entrée de journal n'a été acheminée vers la destination, vérifiez votre filtre pour vous assurer que les entrées correspondant à votre filtre ont bien récemment été reçues dans Logging :

Accéder au Routeur de journaux

Entrées de journal App Engine

Lorsque la requête générant l'activité de journalisation est exécutée, App Engine combine plusieurs sous-entrées de type google.appengine.logging.v1.LogLine (également appelées AppLog ou AppLogLine) sous une entrée de journal principale de type google.appengine.logging.v1.RequestLog. Les lignes de journal possèdent chacune un "ID de requête" qui identifie l'entrée principale. L'explorateur de journaux affiche les lignes de journal avec l'entrée de journal de la requête. Logging tente alors de placer toutes les lignes de journal dans le lot avec la requête d'origine, même si leur horodatage les placerait normalement dans le lot suivant. En cas d'impossibilité, il peut manquer certaines lignes à l'entrée de journal de la requête, et le lot suivant peut contenir des lignes de journal "orphelines" sans requête. Si vous souhaitez éviter ceci, préparez-vous à reconstituer les éléments de la requête lorsque vous traitez vos journaux.

Dépannage

Si les journaux semblent ne pas apparaître dans la destination du récepteur ou si vous suspectez que votre récepteur ne route pas correctement les journaux, consultez la page Résoudre les problèmes de routage et de récepteur.

Tarification

Cloud Logging ne facture pas le routage des journaux, mais des frais de destination peuvent s'appliquer. Pour en savoir plus, consultez le détail des tarifs du service approprié :

Notez également que si vous exportez vos journaux de flux de cloud privé virtuel (VPC) puis que vous les excluez de Cloud Logging, des frais de génération des journaux de flux VPC s'appliquent en plus des frais de destination.