Métricas do Spark

Por padrão, o Dataproc sem servidor ativa a coleta de métricas do Spark disponíveis, a menos que você use as propriedades de coleta de métricas do Spark para desativar ou modificar a coleta de uma ou mais métricas do Spark.

Observação: consulte também as propriedades do Spark, que descrevem outras propriedades que podem ser definidas ao enviar uma carga de trabalho em lote Spark do Dataproc sem servidor.

Propriedades da coleta de métricas do Spark

É possível usar as propriedades listadas nesta seção para desativar ou modificar a coleta de uma ou mais métricas do Spark disponíveis.

Propriedade	Descrição
spark.dataproc.driver.metrics	Use para desativar ou modificar as métricas do driver do Spark.
spark.dataproc.executor.metrics	Use para desativar ou modificar as métricas do executor do Spark.
spark.dataproc.system.metrics	Use para desativar as métricas do sistema Spark.

Exemplos da CLI gcloud:

• Desative a coleta de métricas do driver do Spark:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• Modifique a coleta de métricas do driver padrão do Spark para coletar apenas as métricas BlockManager:disk.diskSpaceUsed_MB e DAGScheduler:stage.failedStages:

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

Observação: como uma vírgula (,) é usada para separar dois valores associados à propriedade spark.dataproc.driver.metrics no exemplo anterior, o caractere ~ é especificado como o caractere delimitador de propriedade, em vez do delimitador de vírgula padrão. Para mais informações, consulte formatação das propriedades do cluster .

Métricas do Spark disponíveis

O Dataproc Serverless coleta as métricas do Spark listadas nesta seção, a menos que você use as propriedades de coleta de métricas do Spark para desativar ou modificar a coleta.

Observação :as métricas são coletadas no seguinte formato:

custom.googleapis.com/METRIC_EXPLORER_NAME.

Métricas do driver do Spark

Métrica	Nome do Metrics Explorer
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Métricas do executor do Spark

Métrica	Nome do Metrics Explorer
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracelyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

Métricas do sistema

Métrica	Nome do Metrics Explorer
agent:uptime	agent/uptime
cpu:utilização	CPU/uso
disco:bytes_used	disco/bytes_used
disco:percent_usado	disco/percent_used
memória:bytes_usados	memória/bytes_usados
memória:porcentagem_usado	memória/porcentagem_usado
network:tcp_connections	network/tcp_connections

Ver métricas do Spark

Para visualizar métricas do Batch, clique em um ID de lote na página Lotes do Dataproc no console do Google Cloud para abrir a página Detalhes do lote, que exibe um gráfico de métricas para a carga de trabalho em lote na guia Monitoramento.

Consulte o Cloud Monitoring do Dataproc para mais informações sobre como visualizar as métricas coletadas.