De forma predeterminada, Dataproc Serverless habilita la recopilación de métricas de Spark disponibles, a menos que uses las propiedades de recopilación de métricas de Spark para inhabilitar o anular la recopilación de una o más métricas de Spark.
Propiedades de la recopilación de métricas de Spark
Puedes usar las propiedades enumeradas en esta sección para inhabilitar o anular la recopilación de una o más métricas de Spark disponibles.
Propiedad | Descripción |
---|---|
spark.dataproc.driver.metrics |
Úsalo para inhabilitar o anular las métricas del controlador de Spark. |
spark.dataproc.executor.metrics |
Se usa para inhabilitar o anular las métricas del ejecutor de Spark. |
spark.dataproc.system.metrics |
Úsalo para inhabilitar las métricas del sistema de Spark. |
Ejemplos de gcloud CLI:
Inhabilita la recopilación de métricas del controlador de Spark:
gcloud dataproc batches submit spark \ --properties spark.dataproc.driver.metrics="" \ --region=region \ other args ...
Anula la recopilación de métricas del controlador predeterminada de Spark para recopilar solo las métricas
BlockManager:disk.diskSpaceUsed_MB
yDAGScheduler:stage.failedStages
:gcloud dataproc batches submit spark \ --properties=spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \ --region=region \ other args ...
Métricas de Spark disponibles
Dataproc Serverless recopila las métricas de Spark que se enumeran en esta sección, a menos que uses las propiedades de recopilación de métricas de Spark para inhabilitar o anular su recopilación.
custom.googleapis.com/METRIC_EXPLORER_NAME
.
Métricas del controlador de Spark
Métrica | Nombre del Explorador de métricas |
---|---|
BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB |
BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB |
BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB |
DAGScheduler:job.activeJobs | spark/driver/DAGScheduler/job/activeJobs |
DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs |
DAGScheduler:messageProcessingTime | spark/driver/DAGScheduler/messageProcessingTime |
DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages |
DAGScheduler:stage.runningStages | spark/driver/DAGScheduler/stage/runningStages |
DAGScheduler:stage.WaitingStages | spark/driver/DAGScheduler/stage/waitingStages |
Métricas del ejecutor de Spark
Métrica | Nombre del Explorador de métricas |
---|---|
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished | spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished |
ExecutorAllocationManager:executors.numberExecutorsExitedDe forma inesperada | spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly |
ExecutorAllocationManager:executors.numberExecutorsGracefullyRetirado de servicio | spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned |
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver | spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver |
LiveListenerBus:queue.executorManagement.listenerProcessingTime | spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime |
executor:bytesRead | spark/executor/bytesRead |
executor:bytesWritten | spark/executor/bytesWritten |
executor:cpuTime | spark/executor/cpuTime |
executor:diskBytesSpilled | spark/executor/diskBytesSpilled |
executor:jvmGCTime | spark/executor/jvmGCTime |
executor:memoryBytesSpilled | spark/executor/memoryBytesSpilled |
executor:recordsRead | spark/executor/recordsRead |
executor:recordsWritten | spark/executor/recordsWritten |
executor:runTime | spark/executor/runTime |
executor:shuffleFetchWaitTime | spark/executor/shuffleFetchWaitTime |
executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead |
executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten |
executor:shuffleRemoteBytesReadToDisk | spark/executor/shuffleRemoteBytesReadToDisk |
executor:shuffleWriteTime | spark/executor/shuffleWriteTime |
executor:succeededTasks | spark/executor/succeededTasks |
ExecutorMetrics:MajorGCTime | spark/executor/ExecutorMetrics/MajorGCTime |
ExecutorMetrics:MinorGCTime | spark/executor/ExecutorMetrics/MinorGCTime |
Métricas del sistema
Métrica | Nombre del Explorador de métricas |
---|---|
agent:uptime | agent/uptime |
cpu:utilización | cpu/utilization |
disco:bytes_usados | disco/bytes_usados |
disco:porcentaje_usado | disco/porcentaje_usado |
memoria:bytes_usados | memoria/bytes_usados |
memoria:porcentaje_usado | Memoria/porcentaje_usado |
network:tcp_connections | network/tcp_connections |
Visualiza las métricas de Spark
Para ver las métricas de Batch, haz clic en un ID de lote en la página Lotes de Dataproc en la consola de Google Cloud para abrir la página Detalles por lotes, que muestra un gráfico de métricas de la carga de trabajo por lotes en la pestaña Supervisión.