Métricas de Spark

De forma predeterminada, Dataproc Serverless habilita la recopilación de métricas de Spark disponibles, a menos que uses Propiedades de recopilación de métricas de Spark para inhabilitar o anular la recopilación de una o más métricas de Spark.

Nota: Consulta también las Propiedades de Spark, en la que se describen las propiedades adicionales que puedes establecer cuando envías un Carga de trabajo por lotes de Spark sin servidores de Dataproc.

Propiedades de recopilación de métricas de Spark

Puedes usar las propiedades que se indican en esta sección para inhabilitar o anular la recopilación de una o más métricas de Spark disponibles.

Propiedad	Descripción
spark.dataproc.driver.metrics	Se usa para inhabilitar o anular las métricas del controlador de Spark.
spark.dataproc.executor.metrics	Se usa para inhabilitar o anular las métricas del ejecutor de Spark.
spark.dataproc.system.metrics	Úsala para inhabilitar las métricas del sistema de Spark.

Ejemplos de gcloud CLI:

• Inhabilita la recopilación de métricas del controlador de Spark:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• Anula la recopilación de métricas del controlador predeterminado de Spark solo para recopilar BlockManager:disk.diskSpaceUsed_MB y DAGScheduler:stage.failedStages metrics:

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

Nota: Dado que se usa una coma (,) para separar dos valores asociados con el spark.dataproc.driver.metrics en el ejemplo anterior, el carácter ~ se especifica como delimitador de la propiedad carácter en lugar del delimitador de coma predeterminado. Para obtener más información, consulta formato de propiedades del clúster .

Métricas de Spark disponibles

Dataproc Serverless recopila las métricas de Spark que se indican en esta sección a menos que utilices Propiedades de recopilación de métricas de Spark para inhabilitar o anular su recopilación.

Nota: Las métricas se recopilan en el siguiente formato:

custom.googleapis.com/METRIC_EXPLORER_NAME

Métricas del controlador de Spark

Métrica	Nombre del Explorador de métricas
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Métricas del ejecutor de Spark

Métrica	Nombre del Explorador de métricas
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/ejecutor/bytesRead
executor:bytesWritten	spark/ejecutor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/ejecutor/registrosEscrito
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

Métricas del sistema

Métrica	Nombre del explorador de métricas
agente:tiempo de actividad	agente/tiempo de actividad
CPU:utilización	cpu/utilization
disco:bytes_used	disco/bytes_used
disk:percent_used	disco/porcentaje_usado
memoria:bytes_usados	memoria/bytes_usados
memory:percent_used	memoria/porcentaje_usado
network:tcp_connections	network/tcp_connections

Visualiza las métricas de Spark

Para ver las métricas de Batch, haz clic en un ID de lote en Dataproc Lotes en la La consola de Google Cloud para abrir la página Detalles del lote que muestra un gráfico de métricas para la carga de trabajo por lotes en la pestaña Supervisión.

Consulta Cloud Monitoring de Dataproc. para obtener información adicional sobre cómo ver las métricas recopiladas.