Per impostazione predefinita, Dataproc Serverless abilita la raccolta delle metriche Spark disponibili, a meno che non utilizzi le proprietà di raccolta delle metriche Spark per disabilitare o eseguire l'override della raccolta di una o più metriche Spark.
Proprietà di raccolta delle metriche Spark
Puoi utilizzare le proprietà elencate in questa sezione per disabilitare o eseguire l'override della raccolta di una o più metriche Spark disponibili.
Proprietà | Descrizione |
---|---|
spark.dataproc.driver.metrics |
Utilizza questa opzione per disattivare o eseguire l'override delle metriche del driver di Spark. |
spark.dataproc.executor.metrics |
Utilizza questa opzione per disattivare o eseguire l'override delle metriche esecutore di Spark. |
spark.dataproc.system.metrics |
Utilizza questa opzione per disattivare le metriche di sistema di Spark. |
Esempi di gcloud CLI:
Disabilita la raccolta delle metriche del driver Spark:
gcloud dataproc batches submit spark \ --properties spark.dataproc.driver.metrics="" \ --region=region \ other args ...
Esegui l'override della raccolta delle metriche dei driver predefinite di Spark per raccogliere solo le metriche
BlockManager:disk.diskSpaceUsed_MB
eDAGScheduler:stage.failedStages
:gcloud dataproc batches submit spark \ --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \ --region=region \ other args ...
Metriche Spark disponibili
Dataproc Serverless raccoglie le metriche Spark elencate in questa sezione, a meno che non utilizzi le proprietà di raccolta delle metriche Spark per disabilitare o eseguire l'override della raccolta.
custom.googleapis.com/METRIC_EXPLORER_NAME
.
Metriche del driver Spark
Metrica | Nome Metrics Explorer |
---|---|
BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB |
BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB |
BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB |
DAGScheduler:job.activeJobs | spark/driver/DAGScheduler/job/activeJobs |
DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs |
DAGScheduler:messageProcessingTime | spark/driver/DAGScheduler/messageProcessingTime |
DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages |
DAGScheduler:stage.runningStages | spark/driver/DAGScheduler/stage/runningStages |
DAGScheduler:stage.waitingStages | spark/driver/DAGScheduler/stage/waitingStages |
Metriche esecutore Spark
Metrica | Nome Metrics Explorer |
---|---|
ExecutorAllocationManager:esecutori.numberExecutorsDecommissionUnfinited | spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished |
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly | spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly |
ExecutorAllocationManager:executors.numberExecutorsColtivamente dismesso | spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned |
ExecutorAllocationManager:esecutori.numberExecutorsKilledByDriver | spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver |
LiveListenerBus:queue.executorManagement.listenerProcessingTime | spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime |
executor:bytesRead | spark/executor/bytesRead |
executor:bytesWritten | spark/executor/bytesWritten |
executor:cpuTime | spark/executor/cpuTime |
executor:diskBytesSpilled | spark/executor/diskBytesSpilled |
executor:jvmGCTime | spark/executor/jvmGCTime |
executor:memoryBytesSpilled | spark/executor/memoryBytesSpilled |
executor:recordsRead | spark/executor/recordsRead |
executor:recordsWritten | spark/executor/recordsWritten |
executor:runTime | spark/executor/runTime |
executor:shuffleFetchWaitTime | spark/executor/shuffleFetchWaitTime |
executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead |
executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten |
executor:shuffleRemoteBytesReadToDisk | spark/executor/shuffleRemoteBytesReadToDisk |
executor:shuffleWriteTime | spark/executor/shuffleWriteTime |
executor:succeededTasks | spark/executor/succeededTasks |
ExecutorMetrics:TempoGCmaggiore | spark/executor/ExecutorMetrics/MajorGCTime |
ExecutorMetrics:MinorGCTime | spark/executor/ExecutorMetrics/MinorGCTime |
Metriche di sistema
Metrica | Nome Esplora metriche |
---|---|
agent:uptime | agent/uptime |
cpu:utilizzo | cpu/utilization |
disk:byte_utilizzati | disco/byte_utilizzati |
disk:percentuale_utilizzato | disco/percentuale_utilizzato |
memoria:byte_utilizzata | memoria/byte_utilizzati |
memoria:percentuale_utilizzata | memoria/percentuale_utilizzata |
network:tcp_connections | network/tcp_connections |
Visualizza metriche Spark
Per visualizzare le metriche batch, fai clic su un ID batch nella pagina Batch di Dataproc nella console Google Cloud per aprire la pagina Dettagli del batch, che mostra un grafico delle metriche per il carico di lavoro batch nella scheda Monitoraggio.
![](https://cloud.google.com/static/dataproc/images/spark-batch-metrics-graph.png?authuser=3&hl=it)
Per ulteriori informazioni su come visualizzare le metriche raccolte, consulta Cloud Monitoring di Dataproc.