Métricas de Spark

De forma predeterminada, Dataproc Serverless habilita la recopilación de métricas de Spark disponibles, a menos que uses Propiedades de recopilación de métricas de Spark para inhabilitar o anular la recopilación de una o más métricas de Spark.

Propiedades de recopilación de métricas de Spark

Puedes usar las propiedades que se enumeran en esta sección para inhabilitar o anular la recopilación de una o más métricas de Spark disponibles.

Propiedad Descripción
spark.dataproc.driver.metrics Úsalo para inhabilitar o anular las métricas del controlador de Spark.
spark.dataproc.executor.metrics Úsalo para inhabilitar o anular las métricas del ejecutor de Spark.
spark.dataproc.system.metrics Úsala para inhabilitar las métricas del sistema de Spark.

Ejemplos de la CLI de gcloud:

  • Inhabilita la recopilación de métricas del controlador de Spark:

    gcloud dataproc batches submit spark \
        --properties spark.dataproc.driver.metrics="" \
        --region=region \
        other args ...
    
  • Anula la recopilación de métricas del controlador predeterminado de Spark para recopilar solo las métricas BlockManager:disk.diskSpaceUsed_MB y DAGScheduler:stage.failedStages:

    gcloud dataproc batches submit spark \
        --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
        --region=region \
        other args ...
    

Métricas de Spark disponibles

Dataproc sin servidores recopila las métricas de Spark que se enumeran en esta sección, a menos que uses propiedades de recopilación de métricas de Spark para inhabilitar o anular su recopilación.

custom.googleapis.com/METRIC_EXPLORER_NAME

Métricas del controlador de Spark

Métrica Nombre del Explorador de métricas
BlockManager:disk.diskSpaceUsed_MB spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages spark/driver/DAGScheduler/stage/waitingStages

Métricas del ejecutor de Spark

Métrica Nombre del Explorador de métricas
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead spark/executor/bytesRead
executor:bytesWritten spark/executor/bytesWritten
executor:cpuTime spark/executor/cpuTime
executor:diskBytesSpilled spark/executor/diskBytesSpilled
executor:jvmGCTime spark/executor/jvmGCTime
executor:memoryBytesSpilled spark/executor/memoryBytesSpilled
executor:recordsRead spark/executor/recordsRead
executor:recordsWritten spark/executor/recordsWritten
executor:runTime spark/executor/runTime
executor:shuffleFetchWaitTime spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime spark/executor/shuffleWriteTime
executor:succeededTasks spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime spark/executor/ExecutorMetrics/MinorGCTime

Métricas del sistema

Métrica Nombre del Explorador de métricas
agent:uptime agente/tiempo de actividad
cpu:utilization cpu/utilization
disk:bytes_used disco/bytes_used
disk:percent_used disco/porcentaje_usado
memory:bytes_used memoria/bytes_usados
memory:percent_used memory/percent_used
network:tcp_connections network/tcp_connections

Visualiza las métricas de Spark

Para ver las métricas de lotes, haz clic en un ID de lote en la página Lots de Dataproc en la consola de Google Cloud para abrir la página Details del lote, que muestra un gráfico de métricas para la carga de trabajo por lotes en la pestaña Monitoring.

Consulta Cloud Monitoring de Dataproc. para obtener información adicional sobre cómo ver las métricas recopiladas.