Spark-Messwerte

In Dataproc Serverless ist standardmäßig die Erfassung von verfügbaren Spark-Messwerten aktiviert, es sei denn, Sie verwenden Spark-Properties für die Erfassung von Messwerten, um die Erfassung eines oder mehrerer Spark-Messwerte zu deaktivieren oder zu überschreiben.

Hinweis: Weitere Informationen finden Sie unter Spark-Attribute. die zusätzliche Eigenschaften beschreibt, die Sie festlegen können, wenn Sie Serverlose Spark-Batcharbeitslast in Dataproc.

Spark-Eigenschaften für die Messwerterfassung

Sie können die in diesem Abschnitt aufgeführten Eigenschaften zum Deaktivieren oder Überschreiben der Sammlung eines oder mehrerer verfügbaren Spark-Messwerten.

Attribut	Beschreibung
spark.dataproc.driver.metrics	Wird zum Deaktivieren oder Überschreiben von Spark-Treibermesswerten verwendet.
spark.dataproc.executor.metrics	Mit diesem Parameter können Sie Spark-Executor-Messwerte deaktivieren oder überschreiben.
spark.dataproc.system.metrics	Wird zum Deaktivieren von Spark-Systemmesswerten verwendet.

Beispiele für die gcloud-Befehlszeile:

• Erfassung von Spark-Treibermesswerten deaktivieren:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• Überschreiben Sie die standardmäßige Erfassung von Spark-Treibermesswerten, um nur BlockManager:disk.diskSpaceUsed_MB- und DAGScheduler:stage.failedStages-Messwerte zu erfassen:

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

Hinweis: Da im vorherigen Beispiel zwei Werte, die mit der Property spark.dataproc.driver.metrics verknüpft sind, durch ein Komma (,) getrennt werden, wird das Zeichen ~ anstelle des Standardtrennzeichens „Komma“ als Trennzeichen für die Property angegeben. Weitere Informationen finden Sie unter Formatierung von Clustereigenschaften.

Verfügbare Spark-Messwerte

Dataproc Serverless erfasst die in diesem Abschnitt aufgeführten Spark-Messwerte es sei denn, Sie verwenden Attribute der Spark-Messwerterfassung ihre Sammlung deaktivieren oder überschreiben können.

Hinweis: Messwerte werden im folgenden Format erfasst:

custom.googleapis.com/METRIC_EXPLORER_NAME.

Spark-Treibermesswerte

Messwert	Name des Metrics Explorer
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Spark-Ausführer-Messwerte

Messwert	Name des Metrics Explorer
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

Systemmesswerte

Messwert	Name des Messwert-Explorers
agent:uptime	Kundenservicemitarbeiter/Verfügbarkeit
CPU:Auslastung	CPU/Auslastung
disk:bytes_used	Laufwerk/Byte_verwendet
disk:percent_used	disk/percent_used
memory:bytes_used	memory/bytes_used
memory:percent_used	memory/percent_used
network:tcp_connections	network/tcp_connections

Spark-Messwerte aufrufen

Wenn Sie sich Batchmesswerte ansehen möchten, klicken Sie in der Google Cloud Console auf der Dataproc-Seite Batches auf eine Batch-ID, um die Seite Details des Batches zu öffnen. Auf dem Tab Monitoring wird ein Messwertdiagramm für die Batcharbeitslast angezeigt.

Weitere Informationen zum Ansehen erfasster Messwerte finden Sie unter Cloud Monitoring für Dataproc.