Vous pouvez afficher, rechercher, filtrer et archiver les journaux de tâches et de clusters Dataproc dans Cloud Logging.
Consultez la page Tarifs de l'observabilité Google Cloud pour comprendre vos coûts.
Consultez la section Durée de conservation des journaux pour obtenir plus d'informations sur la conservation des journaux.
Consultez la page Exclusions de journaux pour désactiver tous les journaux ou en exclure de Logging.
Consultez la page Présentation du routage et du stockage pour acheminer des journaux de Logging vers Cloud Storage, BigQuery ou Pub/Sub.
Niveaux de journalisation des composants
Définissez les niveaux de journalisation Spark, Hadoop, Flink et d'autres composants Dataproc avec des propriétés de cluster log4j spécifiques au composant, telles que hadoop-log4j
, lorsque vous créez un cluster. Les niveaux de journalisation des composants basés sur un cluster s'appliquent aux daemons de service, tels que le gestionnaire de ressources YARN, et aux tâches exécutées sur le cluster.
Si les propriétés log4j ne sont pas compatibles avec un composant, tel que le composant Presto, écrivez une action d'initialisation qui modifie le fichier log4j.properties
ou log4j2.properties
du composant.
Niveaux de journalisation des composants spécifiques à la tâche: vous pouvez également définir des niveaux de journalisation des composants lorsque vous envoyez une tâche. Ces niveaux de journalisation sont appliqués à la tâche et sont prioritaires sur ceux définis lors de la création du cluster. Pour en savoir plus, consultez la section Propriétés des clusters et des tâches.
Niveaux de journalisation des versions des composants Spark et Hive:
Les composants Spark 3.3.X et Hive 3.X utilisent les propriétés log4j2, tandis que les versions précédentes de ces composants utilisent les propriétés log4j (voir Apache Log4j2).
Utilisez un préfixe spark-log4j:
pour définir les niveaux de journalisation Spark sur un cluster.
Exemple: Image Dataproc version 2.0 avec Spark 3.1 pour définir
log4j.logger.org.apache.spark
:gcloud dataproc clusters create ... \ --properties spark-log4j:log4j.logger.org.apache.spark=DEBUG
Exemple: Image Dataproc version 2.1 avec Spark 3.3 pour définir
logger.sparkRoot.level
:gcloud dataproc clusters create ...\ --properties spark-log4j:logger.sparkRoot.level=debug
Niveaux de journalisation des pilotes de tâches
Dataproc utilise le niveau de journalisation par défaut INFO
pour les programmes de pilotes de tâches. Vous pouvez modifier ce paramètre pour un ou plusieurs packages à l'aide de l'option gcloud dataproc jobs submit
--driver-log-levels
.
Exemple :
Définissez le niveau de journalisation DEBUG
lorsque vous envoyez un job Spark qui lit des fichiers Cloud Storage.
gcloud dataproc jobs submit spark ...\ --driver-log-levels org.apache.spark=DEBUG,com.google.cloud.hadoop.gcsio=DEBUG
Exemple :
Définissez le niveau d'enregistreur root
sur WARN
et le niveau d'enregistreur com.example
sur INFO
.
gcloud dataproc jobs submit hadoop ...\ --driver-log-levels root=WARN,com.example=INFO
Niveaux de journalisation de l'exécuteur Spark
Pour configurer les niveaux de journalisation de l'exécuteur Spark:
Préparer un fichier de configuration log4j, puis l'importer dans Cloud Storage
.Référencez votre fichier de configuration lorsque vous envoyez le job.
Exemple :
gcloud dataproc jobs submit spark ...\ --file gs://my-bucket/path/spark-log4j.properties \ --properties spark.executor.extraJavaOptions=-Dlog4j.configuration=file:spark-log4j.properties
Spark télécharge le fichier de propriétés Cloud Storage dans le répertoire de travail local de la tâche, référencé sous le nom file:<name>
dans -Dlog4j.configuration
.
Journaux de tâches Dataproc dans Logging
Consultez la section Résultats et journaux des jobs Dataproc pour en savoir plus sur l'activation des journaux du pilote de tâches Dataproc dans Logging.
Accéder aux journaux de tâches dans Logging
Accédez aux journaux des tâches Dataproc à l'aide de l'explorateur de journaux, de la commande gcloud logging ou de l'API Logging.
Console
Les journaux du pilote de tâches Dataproc et des conteneurs YARN sont répertoriés sous la ressource Tâche Cloud Dataproc.
Exemple: Journal du pilote de tâches après l'exécution d'une requête de l'explorateur de journaux avec les sélections suivantes:
- Ressource:
Cloud Dataproc Job
- Nom du journal:
dataproc.job.driver
Exemple: Journal du conteneur YARN après avoir exécuté une requête de l'explorateur de journaux avec les sélections suivantes:
- Ressource:
Cloud Dataproc Job
- Nom du journal:
dataproc.job.yarn.container
gcloud
Vous pouvez lire les entrées de journal de tâches à l'aide de la commande gcloud logging read. Les arguments de la ressource doivent être placés entre guillemets ("..."). La commande suivante filtre les entrées de journal renvoyées à l'aide de libellés de cluster.
gcloud logging read \ "resource.type=cloud_dataproc_job \ resource.labels.region=cluster-region \ resource.labels.job_id=my-job-id"
Exemple de résultat (partiel) :
jsonPayload: class: org.apache.hadoop.hdfs.StateChange filename: hadoop-hdfs-namenode-test-dataproc-resize-cluster-20190410-38an-m-0.log ,,, logName: projects/project-id/logs/hadoop-hdfs-namenode --- jsonPayload: class: SecurityLogger.org.apache.hadoop.security.authorize.ServiceAuthorizationManager filename: cluster-name-dataproc-resize-cluster-20190410-38an-m-0.log ... logName: projects/google.com:hadoop-cloud-dev/logs/hadoop-hdfs-namenode
API REST
Vous pouvez utiliser l'API REST Logging pour répertorier les entrées de journal (consultez la page sur entries.list).
Journaux de clusters Dataproc dans Logging
Dataproc exporte les journaux de clusters Apache Hadoop, Spark, Hive et Zookeeper suivants ainsi que d'autres journaux de clusters Dataproc vers Cloud Logging.
Type de journal | Nom du journal | Description |
---|---|---|
Journaux de daemons maîtres | Hadoop-hdfs hadoop-hdfs-namenode hadoop-hdfs-secondary namenode hadoop-hdfs-zkfc hadoop-yarn-resourcemanager hadoop-yarn-timelineserver hive-metastore hive-server2 mapred-mapred-historyserver zookeeper |
Nœud de journal Nomnode HDFS Serveur de noms secondaire HDFS Contrôleur de basculement YAML Gestionnaire de ressources YAML Serveur de chronologie YAML Métastore Hive Hive server2 Serveur d'historique des tâches Mapreduce |
Journaux de daemons de calcul |
Hadoop-hdfs-datanode hadoop-yarn-nodemanager |
Nœud de données HDFS Gestionnaire de nœuds YAML |
Journaux système |
autoscaler google.dataproc.agent google.dataproc.startup |
Journal de l'autoscaler Dataproc Journal de l'agent Dataproc Journal des scripts de démarrage Dataproc + Journal des actions d'initialisation |
Accéder aux journaux de cluster dans Cloud Logging
Vous pouvez accéder aux journaux de cluster Dataproc à l'aide de l'explorateur de journaux, de la commande gcloud logging ou de l'API Logging.
Console
Sélectionnez les requêtes suivantes pour afficher les journaux du cluster dans l'explorateur de journaux:
- Ressource:
Cloud Dataproc Cluster
- Nom du journal:log name
gcloud
Vous pouvez lire les entrées de journal de clusters à l'aide de la commande gcloud logging read. Les arguments de la ressource doivent être placés entre guillemets ("..."). La commande suivante filtre les entrées de journal renvoyées à l'aide de libellés de cluster.
gcloud logging read <<'EOF' "resource.type=cloud_dataproc_cluster resource.labels.region=cluster-region resource.labels.cluster_name=cluster-name resource.labels.cluster_uuid=cluster-uuid" EOF
Exemple de résultat (partiel) :
jsonPayload: class: org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService filename: hadoop-yarn-resourcemanager-cluster-name-m.log ... logName: projects/project-id/logs/hadoop-yarn-resourcemanager --- jsonPayload: class: org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService filename: hadoop-yarn-resourcemanager-component-gateway-cluster-m.log ... logName: projects/project-id/logs/hadoop-yarn-resourcemanager
API REST
Vous pouvez utiliser l'API REST Logging pour répertorier les entrées de journal (consultez la page sur entries.list).
Autorisations
Pour écrire des journaux dans Logging, le compte de service des VM Dataproc doivent disposer du rôle IAM logging.logWriter
. Le compte de service Dataproc par défaut détient ce rôle. Si vous utilisez un compte de service personnalisé, vous devez attribuer ce rôle au compte de service.
Protéger les journaux
Par défaut, les journaux dans Logging sont chiffrés au repos. Vous pouvez activer les clés de chiffrement gérées par le client (CMEK) pour chiffrer les journaux. Pour en savoir plus sur la compatibilité CMEK, consultez Gérer les clés qui protègent les données du routeur de journaux et Gérer les clés qui protègent les données de stockage Logging.
Étape suivante
- Explorer l'observabilité Google Cloud