La compatibilité de Python 2 n'est plus assurée par la communauté. Nous vous recommandons de migrer les applications Python 2 vers Python 3.

Lire et écrire des journaux d'application

Aperçu

Lorsqu'une requête est envoyée à votre application, un journal de requêtes est automatiquement écrit par App Engine. Pendant le traitement de la requête, votre application peut également écrire des journaux d'application. Cette page explique comment écrire des journaux d'application à partir de l'application, comment lire les journaux d'application et de requêtes de manière automatisée à l'aide de l'API Logs, comment consulter les journaux dans Google Cloud Console et comment interpréter les données des journaux de requêtes écrits par App Engine au moment des requêtes.

Journaux d'application et journaux de requêtes

Il existe deux catégories de données de journal : les journaux de requêtes et les journaux d'application. Un journal de requêtes est écrit automatiquement par App Engine pour chaque requête traitée par votre application. Il contient des informations telles que l'ID de projet, la version HTTP, etc. Pour obtenir une liste complète des propriétés des journaux de requêtes disponibles, consultez la section Journaux de requêtes. Vous trouverez également une description des champs de journal de requêtes à la section Table de journalisation des requêtes.

Chaque journal de requêtes contient une liste de journaux d'application (AppLog) associés à la requête concernée, renvoyés dans le champ RequestLog.app_logs. Chaque journal d'application contient l'heure d'écriture du journal, ainsi que le message et le niveau de journal.

Écrire des journaux d'application

N'hésitez pas à consulter la documentation relative au module de journalisation Python standard sur Python.org.

Le module de journalisation Python permet aux développeurs de journaliser 5 niveaux de gravité :

  • Debug
  • Info (Informations)
  • Warning (Avertissement)
  • Error (Erreur)
  • Critical (Critique)

L'exemple suivant montre comment utiliser les différents niveaux de journalisation :

import logging

import webapp2

class MainPage(webapp2.RequestHandler):
    def get(self):
        logging.debug('This is a debug message')
        logging.info('This is an info message')
        logging.warning('This is a warning message')
        logging.error('This is an error message')
        logging.critical('This is a critical message')

        try:
            raise ValueError('This is a sample value error.')
        except ValueError:
            logging.exception('A example exception log.')

        self.response.out.write('Logging example.')

app = webapp2.WSGIApplication([
    ('/', MainPage)
], debug=True)

Format d'URL de journal dans Google Cloud Console

Voici un exemple d'URL présentant le format d'URL de journal tel qu'il apparaît dans Cloud Console :

https://console.cloud.google.com/logs?filters=request_id:000000db00ff00ff827e493472570001737e73686966746361727331000168656164000100

Lire des journaux dans la console

Pour afficher les journaux écrits par les applications exécutées dans l'environnement standard, utilisez la visionneuse de journaux.

Pour filtrer les entrées de journal par libellé ou élément de texte dans la visionneuse de journaux, consultez la section Filtres de journaux de base. Pour créer des filtres de journaux avancés à l'aide d'expressions spécifiant un ensemble d'entrées à partir d'un nombre quelconque de journaux, consultez la page Filtres de journaux avancés.

Un journal classique d'App Engine contient des données au format de journal combiné Apache, ainsi que des champs App Engine spéciaux, comme le montre l'exemple de journal ci-dessous :

192.0.2.0 - test [27/Jun/2014:09:11:47 -0700] "GET / HTTP/1.1" 200 414
"http://www.example.com/index.html"
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36"
"1-dot-calm-sylph-602.appspot.com" ms=195 cpu_ms=42 cpm_usd=0.000046
loading_request=1 instance=00c61b117cfeb66f973d7df1b7f4ae1f064d app_engine_release=1.9.81

Comprendre les champs de journal de requêtes

Le tableau suivant répertorie les champs par ordre d'occurrence et leur description :

Numéro de champ Nom du champ Toujours présent ? Description
1 Client address Oui Adresse IP du client. Exemple : 192.0.2.0
2 RFC 1413 identity Non Identité RFC 1413 du client, presque toujours le caractère "-"
3 User Non Présent uniquement si l'application utilise l'API Users et que l'utilisateur est connecté. Cette valeur correspond à la partie "pseudo" du compte Google. Par exemple, si le compte Google est test@example.com, le pseudo enregistré dans ce champ est test.
4 Timestamp Oui Horodatage de la requête. Exemple : [27/Jun/2014:09:11:47 -0700]
5 Request querystring Oui Première ligne de la requête contenant la méthode, le chemin et la version HTTP. Exemple : GET / HTTP/1.1
6 HTTP Status Code Oui Code d'état HTTP renvoyé. Exemple : 200
7 Response size Oui Taille de réponse en octets. Exemple : 414
8 Referrer path No En l'absence d'URL de provenance, le journal ne contient aucun chemin, seulement le caractère "-". Exemple de chemin de provenance : "http://www.example.com/index.html".
9 User-agent Oui Identifie le navigateur et le système d'exploitation sur le serveur Web. Exemple : Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36
10 Hostname Oui Nom d'hôte utilisé par le client pour se connecter à l'application App Engine. Exemple : (1-dot-calm-sylph-602.appspot.com)
11 Wallclock time Oui Temps total en millisecondes passé par App Engine sur la requête. Cette durée n'inclut pas le temps passé entre le client et le serveur qui exécute l'instance de votre application. Exemple : ms=195.
12 CPU milliseconds Oui Nombre de millisecondes de processeur nécessaires pour répondre à la demande. Nombre de millisecondes nécessaires au processeur pour répondre à la requête, c'est-à-dire le temps passé à exécuter le code de votre application, par référence à un processeur Intel x86 de 1,2 GHz. Si le processeur réellement utilisé est plus rapide que celui de référence, la durée d'utilisation du processeur en millisecondes peut être supérieure à la durée d'exécution réelle définie ci-dessus. Exemple : cpu_ms=42
13 Exit code No Présent uniquement si l'instance a été arrêtée après réception de la requête. Au format exit_code=XXX, où XXX est un nombre à 3 chiffres correspondant au motif d'arrêt de l'instance. Les codes de sortie ne sont pas documentés, car ils sont principalement destinés à aider Google à détecter et à résoudre les problèmes.
14 Estimated cost Oui OBSOLÈTE. Coût estimé de 1 000 requêtes de ce type, en USD. Exemple : cpm_usd=0.000046
15 Queue name Non Nom de la file d'attente de tâches utilisée. Présent uniquement si la requête utilise une file d'attente de tâches. Exemple : queue_name=default
16 Task name No Nom de la tâche exécutée dans la file d'attente de tâches de cette requête. Présent uniquement si la requête entraîne la mise en file d'attente d'une tâche. Exemple : task_name=7287390692361099748
17 Pending queue Non Présent uniquement si une requête a passé un certain temps dans une file d'attente. Si ces requêtes sont nombreuses dans vos journaux et/ou si les valeurs sont élevées, cela peut indiquer qu'il vous faut davantage d'instances pour distribuer votre trafic. Exemple : pending_ms=195
18 Loading request No Présent uniquement s'il s'agit d'une requête de chargement, c'est-à-dire qu'une instance a dû être démarrée. Dans l'idéal, vos instances doivent être opérationnelles et en bon état le plus longtemps possible afin de répondre à un grand nombre de requêtes avant d'être recyclées et de devoir être redémarrées. Ces requêtes ne devraient donc pas figurer en nombre dans vos journaux. Exemple : loading_request=1.
19 Instance Oui Identifiant unique de l'instance qui gère la requête. Exemple : instance=00c61b117cfeb66f973d7df1b7f4ae1f064d
20 Version Oui Version actuelle d'App Engine utilisée en production : 1.9.81

Quotas et limites

Votre application est affectée par les quotas de journaux suivants :

  • Données de journaux récupérées via l'API Logs
  • Quota d'ingestion et de conservation de journaux

Quota de données récupérées

Les 100 premiers mégaoctets de données de journaux récupérées par jour via les appels de l'API Logs sont gratuits. Les volumes de données supérieurs à 100 mégaoctets entraînent des frais de 0,12 $/Go.

Attribution d'un quota d'ingestion de journaux

La journalisation des applications App Engine est fournie par la suite d'opérations Google Cloud. Consultez les tarifs de la suite d'opérations Google Cloud pour plus d'informations sur les coûts et les limites de journalisation. Pour le stockage à long terme des journaux, vous pouvez exporter les journaux de la suite d'opérations de Google Cloud vers Cloud Storage, BigQuery et Pub/Sub.

Serveur de développement et API Logs

Par défaut, les journaux ne sont stockés en mémoire que sur le serveur de développement. Vous pouvez y accéder si vous souhaitez tester la fonctionnalité API Logs. Si vous souhaitez conserver les journaux du serveur de développement sur le disque à l'emplacement de votre choix, indiquez le chemin d'accès et le nom de fichier désirés à la ligne de commande --logs_path comme suit :

dev_appserver.py --logs_path=your-path/your-logfile-name your-app-directory