Metriche Spark

Per impostazione predefinita, Dataproc Serverless consente la raccolta delle metriche Spark disponibili, a meno che non utilizzi le proprietà di raccolta delle metriche Spark per disattivare o sostituire la raccolta di una o più metriche Spark.

Proprietà di raccolta delle metriche Spark

Puoi utilizzare le proprietà elencate in questa sezione per disabilitare o sostituire la raccolta di una o più metriche Spark disponibili.

Proprietà	Descrizione
`spark.dataproc.driver.metrics`	Utilizza questa opzione per disattivare o sostituire le metriche dei conducenti Spark.
`spark.dataproc.executor.metrics`	Utilizza questa opzione per disattivare o sostituire le metriche esecutore Spark.
`spark.dataproc.system.metrics`	Utilizza questa opzione per disattivare le metriche di sistema Spark.

Esempi della gcloud CLI:

Disabilita la raccolta delle metriche del driver Spark:

gcloud dataproc batches submit spark \
    --properties spark.dataproc.driver.metrics="" \
    --region=region \
    other args ...

Esegui l'override della raccolta delle metriche dei driver predefinite di Spark per raccogliere solo le metriche BlockManager:disk.diskSpaceUsed_MB e DAGScheduler:stage.failedStages:

gcloud dataproc batches submit spark \
    --properties=spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
    --region=region \
    other args ...

Metriche Spark disponibili

Dataproc Serverless raccoglie le metriche Spark elencate in questa sezione, a meno che non utilizzi le proprietà di raccolta delle metriche Spark per disattivare o eseguire l'override della raccolta delle metriche.

custom.googleapis.com/METRIC_EXPLORER_NAME.

Metriche Spark driver

Metrica	Nome Metrics Explorer
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
gestore:memoria.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
Gestore:memoria.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageElaborazioneTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages:	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Metriche esecutore Spark

Metrica	Nome Metrics Explorer
EsecutoreAllocationManager:esecutori.numeroEsecutoriDecommissioneUnfinited	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:esecuors.numberExecutorsExitedImpaspettato	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:esecutors.numberExecutorsGraceticallydismessa	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
EsecutoreAllocationManager:esecutori.numeroEsecutoriKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
Metriche esecutore:tempo GC maggiore	spark/executor/ExecutorMetrics/MajorGCTime
Metriche esecutore:TempoGCMinor	spark/executor/ExecutorMetrics/MinorGCTime

Metriche di sistema

Metrica	Nome Explorer metriche
agent:uptime	agent/uptime
cpu:utilizzo	cpu/utilization
disk:byte_usati	disco/byte_usati
disco:percent_used	disco/percentuale_utilizzato
memoria:byte_usati	memoria/byte_utilizzati
memoria:percentuale_utilizzata	memoria/percentuale_utilizzata
network:tcp_connections	network/tcp_connections

Visualizza metriche Spark

Per visualizzare le metriche batch, fai clic su un ID batch nella pagina Batch Dataproc della console Google Cloud per aprire la pagina Dettagli batch, che mostra un grafico delle metriche per il carico di lavoro batch nella scheda Monitoraggio.