Par défaut, Dataproc sans serveur active la collecte des métriques Spark disponibles, sauf si vous utilisez des propriétés de collecte des métriques Spark pour désactiver ou remplacer la collecte d'une ou de plusieurs métriques Spark.
Propriétés de collecte des métriques Spark
Vous pouvez utiliser les propriétés listées dans cette section pour désactiver ou remplacer la collecte d'une ou de plusieurs métriques Spark disponibles.
Propriété | Description |
---|---|
spark.dataproc.driver.metrics |
Permet de désactiver ou de remplacer les métriques de pilote Spark. |
spark.dataproc.executor.metrics |
Utilisez-le pour désactiver ou remplacer les métriques de l'exécuteur Spark. |
spark.dataproc.system.metrics |
Permet de désactiver les métriques système Spark. |
Exemples de gcloud CLI:
Désactivez la collecte de métriques du pilote Spark:
gcloud dataproc batches submit spark \ --properties spark.dataproc.driver.metrics="" \ --region=region \ other args ...
Remplacer la collection de métriques par défaut du pilote Spark pour collecter uniquement
BlockManager:disk.diskSpaceUsed_MB
etDAGScheduler:stage.failedStages
métriques:gcloud dataproc batches submit spark \ --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \ --region=region \ other args ...
Métriques Spark disponibles
Dataproc sans serveur collecte les métriques Spark listées dans cette section, sauf si vous utilisez des propriétés de collecte de métriques Spark pour désactiver ou remplacer leur collecte.
custom.googleapis.com/METRIC_EXPLORER_NAME
.
Métriques du pilote Spark
Métrique | Nom de l'explorateur de métriques |
---|---|
BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB |
BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB |
BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB |
DAGScheduler:job.activeJobs | spark/driver/DAGScheduler/job/activeJobs |
DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs |
DAGScheduler:messageProcessingTime | spark/driver/DAGScheduler/messageProcessingTime |
DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages |
DAGScheduler:stage.runningStages | spark/driver/DAGScheduler/stage/runningStages |
DAGScheduler:stage.waitingStages | spark/driver/DAGScheduler/stage/waitingStages |
Métriques de l'exécuteur Spark
Métrique | Nom de l'explorateur de métriques |
---|---|
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished | spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished |
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly | spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly |
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned | spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned |
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver | spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver |
LiveListenerBus:queue.executorManagement.listenerProcessingTime | spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime |
executor:bytesRead | spark/executor/bytesRead |
executor:bytesWritten | spark/executor/bytesWritten |
executor:cpuTime | spark/executor/cpuTime |
executor:diskBytesSpilled | spark/executor/diskBytesSpilled |
executor:jvmGCTime | spark/executor/jvmGCTime |
executor:memoryBytesSpilled | spark/executor/memoryBytesSpilled |
executor:recordsRead | spark/executor/recordsRead |
executor:recordsWritten | spark/executor/recordsWritten |
executor:runTime | spark/executor/runTime |
executor:shuffleFetchWaitTime | spark/executor/shuffleFetchWaitTime |
executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead |
executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten |
executor:shuffleRemoteBytesReadToDisk | spark/executor/shuffleRemoteBytesReadToDisk |
executor:shuffleWriteTime | spark/executor/shuffleWriteTime |
executor:succeededTasks | spark/executor/succeededTasks |
ExecutorMetrics:MajorGCTime | spark/executor/ExecutorMetrics/MajorGCTime |
ExecutorMetrics:MinorGCTime | spark/executor/ExecutorMetrics/MinorGCTime |
Métriques système
Métrique | Nom de l'explorateur de métriques |
---|---|
agent:uptime | agent/temps d'activité |
cpu:utilization | cpu/utilization |
disk:bytes_used | disque/octets_utilisés |
disk:percent_used | disk/percent_used |
memory:bytes_used | memory/bytes_used |
memory:percent_used | memory/percent_used |
network:tcp_connections | network/tcp_connections |
Afficher les métriques Spark
Pour afficher les métriques Batch, cliquez sur un ID de lot dans la fenêtre Dataproc la page Lots de la console Google Cloud pour ouvrir la page Détails du lot, qui affiche un graphique de métriques pour la charge de travail par lot dans l'onglet Surveillance.