Par défaut, Dataproc sans serveur permet de collecter métriques Spark disponibles, sauf si vous utilisez Propriétés de collecte des métriques Spark pour désactiver ou remplacer la collecte d'une ou de plusieurs métriques Spark.
Propriétés de la collecte des métriques Spark
Vous pouvez utiliser les propriétés répertoriées dans cette section pour désactiver ou remplacer la collecte d'un ou de plusieurs métriques Spark disponibles.
Propriété | Description |
---|---|
spark.dataproc.driver.metrics |
Permet de désactiver ou de remplacer les métriques de pilote Spark. |
spark.dataproc.executor.metrics |
Permet de désactiver ou de remplacer les métriques de l'exécuteur Spark. |
spark.dataproc.system.metrics |
Permet de désactiver les métriques système Spark. |
Exemples de gcloud CLI:
Désactivez la collecte de métriques du pilote Spark:
gcloud dataproc batches submit spark \ --properties spark.dataproc.driver.metrics="" \ --region=region \ other args ...
Remplacer la collection de métriques par défaut du pilote Spark pour collecter uniquement
BlockManager:disk.diskSpaceUsed_MB
etDAGScheduler:stage.failedStages
métriques:gcloud dataproc batches submit spark \ --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \ --region=region \ other args ...
Métriques Spark disponibles
Dataproc sans serveur collecte les métriques Spark répertoriées dans cette section. sauf si vous utilisez Propriétés de la collection de métriques Spark pour désactiver ou remplacer leur collecte.
custom.googleapis.com/METRIC_EXPLORER_NAME
Métriques du pilote Spark
Métrique | Nom de l'explorateur de métriques |
---|---|
BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB |
BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB |
BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB |
DAGScheduler:job.activeJobs | spark/driver/DAGScheduler/job/activeJobs |
DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs |
DAGScheduler:messageProcessingTime | spark/driver/DAGScheduler/messageProcessingTime |
DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages |
DAGScheduler:stage.runningStages | spark/driver/DAGScheduler/stage/runningStages |
DAGScheduler:stage.waitingStages | spark/driver/DAGScheduler/stage/waitingStages |
Métriques de l'exécuteur Spark
Métrique | Nom de l'explorateur de métriques |
---|---|
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished | spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished |
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly | spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly |
ExecutorAllocationManager:executors.numberExecutorsGraceallyDecommissioned (ExecutorAllocationManager) | spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned |
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver (gestionnaire d'allocation d'exécuteurs) | spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver |
LiveListenerBus:queue.executorManagement.listenerProcessingTime | spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime |
executor:bytesRead | spark/executor/bytesRead |
executor:bytesWritten | spark/executor/bytesWritten |
executor:cpuTime | Spark/executor/cpuTime |
executor:diskBytesSpilled | spark/executor/diskBytesSpilled |
executor:jvmGCTime | spark/executor/jvmGCTime |
executor:memoryBytesSpilled | spark/executor/memoryBytesSpilled |
executor:recordsRead | spark/executor/recordsRead |
executor:recordsWritten | spark/executor/recordsWritten |
executor:runTime | Spark/exécuteur/runTime |
executor:shuffleFetchWaitTime | spark/executor/shuffleFetchWaitTime |
executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead |
executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten |
executor:shuffleRemoteBytesReadToDisk | spark/executor/shuffleRemoteBytesReadToDisk |
executor:shuffleWriteTime | spark/executor/shuffleWriteTime |
executor:succeededTasks | spark/executor/succeededTasks |
ExecutorMetrics:MajorGCTime | spark/executor/ExecutorMetrics/MajorGCTime |
ExecutorMetrics:MinorGCTime | spark/executor/ExecutorMetrics/MinorGCTime |
Métriques système
Métrique | Nom de l'explorateur de métriques |
---|---|
agent:uptime | agent/temps d'activité |
cpu:utilization | cpu/utilization |
disk:bytes_used | disque/octets_utilisés |
disk:percent_used | disque/pourcentage d'utilisation |
memory:bytes_used | mémoire/octets_utilisés |
memory:percent_used | mémoire/pourcentage d'utilisation |
network:tcp_connections | network/tcp_connections |
Afficher les métriques Spark
Pour afficher les métriques Batch, cliquez sur un ID de lot dans la fenêtre Dataproc la page Lots de la console Google Cloud pour ouvrir la page Détails du lot, qui affiche un graphique de métriques pour la charge de travail par lot dans l'onglet Surveillance.
![](https://cloud.google.com/static/dataproc/images/spark-batch-metrics-graph.png?authuser=3&hl=fr)
Consultez la page Dataproc Cloud Monitoring. pour en savoir plus sur l'affichage des métriques collectées.