Afficher les journaux acheminés vers Cloud Storage

Ce document explique comment trouver les entrées de journal que vous avez acheminées depuis Cloud Logging vers des buckets Cloud Storage.

Les entrées de journal sont enregistrées toutes les heures et sous forme de lots dans des buckets Cloud Storage. L'affichage des premières entrées peut prendre 2 à 3 heures.

Avant de commencer

Pour en savoir plus sur les concepts liés aux récepteurs, consultez la page Présentation des modèles de routage et de stockage: récepteurs.

Pour savoir comment acheminer vos journaux, consultez la section Acheminer les journaux vers les destinations compatibles.

Voir les journaux

Pour afficher les journaux acheminés vers Cloud Storage, procédez comme suit:

  1. Dans le panneau de navigation de la console Google Cloud, sélectionnez Cloud Storage, puis cliquez sur Buckets:

    Accéder à Buckets

  2. Sélectionnez le bucket Cloud Storage que vous utilisez comme destination de routage.

Organisation des journaux

Lorsque vous acheminez des journaux vers un bucket Cloud Storage, Logging crée un ensemble de fichiers au sein du bucket.

Les fichiers sont organisés en hiérarchies de répertoires classées par type de journal et par date. Le type de journal, appelé [LOG_ID] dans la référence LogEntry, peut être un nom simple tel que syslog ou un nom composé comme appengine.googleapis.com/request_log. Si ces journaux sont stockés dans un bucket nommé my-gcs-bucket, les répertoires sont alors nommés comme dans l'exemple suivant:

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Un seul bucket Cloud Storage peut contenir des journaux provenant de plusieurs types de ressources. La taille maximale des fichiers est de 3,5 Gio.

Logging ne garantit pas la déduplication des entrées de journal des récepteurs contenant des requêtes identiques ou se chevauchant. Les entrées de journal de ces récepteurs peuvent être écrites plusieurs fois dans un bucket Cloud Storage.

Les répertoires feuilles (DD/) comportent plusieurs fichiers conservant chacun les entrées de journal acheminées pendant une période spécifiée dans le nom de fichier. Les fichiers sont partitionnés et leur nom se termine par un numéro de partition, Sn ou An (n = 0, 1, 2, etc.). Par exemple, voici deux fichiers qui pourraient être stockés dans le répertoire my-gcs-bucket/syslog/2015/01/13/ :

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Ces deux fichiers contiennent les entrées de journal de syslog pour toutes les instances entre 08:00:00 UTC et 08:59:59 UTC. Les horodatages d'entrée de journal utilisent l'heure UTC (temps universel coordonné).

Les entrées de journal qui arrivent avec un receiveTimestamp dans la fenêtre alignée de 60 minutes de leur timestamp sont écrites dans les fichiers de partition principale. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 08:10:00 est stockée dans le fichier de partition principale.

Ces fichiers incluent une partition principale numérotée dans le suffixe : _Sn.json.

Les entrées de journal qui arrivent avec un timestamp dans une fenêtre alignée de 60 minutes différente de leur receiveTimestamp sont écrites dans des fichiers de partitions supplémentaires. Par exemple, une entrée de journal avec un timestamp de 08:00:00 et un receiveTimestamp de 09:10:00 est stockée dans un fichier de partition supplémentaire.

Ces fichiers incluent une partition supplémentaire numérotée avec le suffixe : _An:Unix_timestamp.json.

Par exemple, une entrée de journal ayant un timestamp entre 08:00:00 et 08:59:59 mais un receiveTimestamp dans une fenêtre alignée de 60 minutes différente est écrite dans un fichier avec le suffixe _An:Unix_timestamp.json, où l'horodatage Unix identifie l'heure à laquelle le fichier a été acheminé vers Cloud Storage. Si une entrée de journal a une valeur timestamp de 08:50:00 et une receiveTimestamp de 09:10:00, et qu'elle a été acheminée à 09:15:00 le 25 mars 2021, le fichier d'avenant s'écrit comme suit:

08:00:00_08:59:59_A0:1616681700.json

Pour obtenir toutes les entrées de journal, vous devez consulter l'ensemble des partitions pour chaque période (dans le cas présent, les partitions de fichiers 0 et 1). Le nombre de segments de fichiers écrits peut changer pour chaque période.

Dans les fichiers partitionnés individuels, les entrées de journal sont stockées sous la forme d'une liste d'objets LogEntry. Pour obtenir un exemple d'entrée syslog, consultez la section Organisation des entrées de journal.

Notez que l'ordre de tri des entrées de journal dans les fichiers n'est ni uniforme, ni garanti.

Entrées de journal tardives

Les entrées de journal acheminées sont enregistrées toutes les heures et sous forme de lots dans des buckets Cloud Storage. L'affichage des premières entrées peut prendre 2 à 3 heures. Les partitions de fichiers journaux acheminées qui possèdent le suffixe An ("Append", ajout) contiennent les entrées de journal arrivées en retard.

Si l'exportation cesse de fonctionner, Cloud Logging conserve les données en mémoire tampon jusqu'à la fin de l'interruption.

Si la destination de votre récepteur ne comporte aucun journal, vérifiez les métriques système liées à l'exportation. Les métriques système liées à l'exportation indiquent le nombre d'entrées de journal acheminées et supprimées en raison d'erreurs. Si les métriques du système d'exportation indiquent qu'aucune entrée de journal n'a été acheminée vers la destination, vérifiez votre filtre pour vous assurer que les entrées de journal correspondant à votre filtre ont récemment été reçues dans Logging.

Dans le panneau de navigation de la console Google Cloud, sélectionnez Logging, puis Routeur de journaux :

Accéder au routeur de journaux

Entrées de journal App Engine

Lorsque la requête générant l'activité de journalisation est exécutée, App Engine combine plusieurs sous-entrées de type google.appengine.logging.v1.LogLine (également appelées AppLog ou AppLogLine) sous une entrée de journal principale de type google.appengine.logging.v1.RequestLog. Les lignes de journal possèdent chacune un "ID de requête" qui identifie l'entrée principale. L'explorateur de journaux affiche les lignes de journal avec l'entrée de journal de la requête. Logging tente alors de placer toutes les lignes de journal dans le lot avec la requête d'origine, même si leur horodatage les placerait normalement dans le lot suivant. En cas d'impossibilité, il peut manquer certaines lignes à l'entrée de journal de la requête, et le lot suivant peut contenir des lignes de journal "orphelines" sans requête. Si vous souhaitez éviter ceci, préparez-vous à reconstituer les éléments de la requête lorsque vous traitez vos journaux.

Dépannage

Si des journaux semblent être manquants dans la destination de votre récepteur, ou si vous pensez qu'il ne les achemine pas correctement, consultez la section Résoudre les problèmes liés aux journaux de routage.

Tarification

Cloud Logging ne facture pas l'acheminement des journaux vers une destination compatible. Toutefois, la destination peut appliquer des frais. À l'exception du bucket de journaux _Required, Cloud Logging facture la diffusion des journaux dans les buckets de journaux et leur stockage plus longtemps que la durée de conservation par défaut du bucket.

Cloud Logging ne facture pas la copie des journaux ni les requêtes émises via la page Explorateur de journaux ou Analyse de journaux.

Pour en savoir plus, consultez les documents suivants :