In diesem Dokument finden Sie Informationen zu Spark-Messwerten. In Dataproc Serverless ist standardmäßig die Erfassung von verfügbaren Spark-Messwerten aktiviert, es sei denn, Sie verwenden Spark-Properties für die Erfassung von Messwerten, um die Erfassung eines oder mehrerer Spark-Messwerte zu deaktivieren oder zu überschreiben.
Weitere Eigenschaften, die Sie beim Einreichen einer Dataproc Serverless Spark-Batcharbeitslast festlegen können, finden Sie unter Spark-Properties.
Spark-Eigenschaften für die Messwerterfassung
Mit den in diesem Abschnitt aufgeführten Properties können Sie die Erfassung eines oder mehrerer verfügbarer Spark-Messwerte deaktivieren oder überschreiben.
Attribut | Beschreibung |
---|---|
spark.dataproc.driver.metrics |
Mit diesem Parameter können Sie Spark-Fahrermesswerte deaktivieren oder überschreiben. |
spark.dataproc.executor.metrics |
Mit diesem Parameter können Sie Spark-Executor-Messwerte deaktivieren oder überschreiben. |
spark.dataproc.system.metrics |
Damit können Sie Spark-Systemmesswerte deaktivieren. |
Beispiele für die gcloud CLI:
Erfassung von Spark-Treibermesswerten deaktivieren:
gcloud dataproc batches submit spark \ --properties spark.dataproc.driver.metrics="" \ --region=region \ other args ...
Überschreiben Sie die standardmäßige Erfassung von Spark-Treibermesswerten, um nur
BlockManager:disk.diskSpaceUsed_MB
- undDAGScheduler:stage.failedStages
-Messwerte zu erfassen:gcloud dataproc batches submit spark \ --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \ --region=region \ other args ...
Verfügbare Spark-Messwerte
In Dataproc Serverless werden die in diesem Abschnitt aufgeführten Spark-Messwerte erfasst, sofern Sie die Erfassung nicht mithilfe der Eigenschaften für die Erfassung von Spark-Messwerten deaktivieren oder überschreiben.
custom.googleapis.com/METRIC_EXPLORER_NAME
.
Messwerte für Spark-Treiber
Messwert | Name des Metrics Explorer |
---|---|
BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB |
BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB |
BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB |
DAGScheduler:job.activeJobs | spark/driver/DAGScheduler/job/activeJobs |
DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs |
DAGScheduler:messageProcessingTime | spark/driver/DAGScheduler/messageProcessingTime |
DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages |
DAGScheduler:stage.runningStages | spark/driver/DAGScheduler/stage/runningStages |
DAGScheduler:stage.waitingStages | spark/driver/DAGScheduler/stage/waitingStages |
Spark-Ausführer-Messwerte
Messwert | Name des Metrics Explorer |
---|---|
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished | spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished |
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly | spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly |
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned | spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned |
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver | spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver |
LiveListenerBus:queue.executorManagement.listenerProcessingTime | spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime |
executor:bytesRead | spark/executor/bytesRead |
executor:bytesWritten | spark/executor/bytesWritten |
executor:cpuTime | spark/executor/cpuTime |
executor:diskBytesSpilled | spark/executor/diskBytesSpilled |
executor:jvmGCTime | spark/executor/jvmGCTime |
executor:memoryBytesSpilled | spark/executor/memoryBytesSpilled |
executor:recordsRead | spark/executor/recordsRead |
executor:recordsWritten | spark/executor/recordsWritten |
executor:runTime | spark/executor/runTime |
executor:shuffleFetchWaitTime | spark/executor/shuffleFetchWaitTime |
executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead |
executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten |
executor:shuffleRemoteBytesReadToDisk | spark/executor/shuffleRemoteBytesReadToDisk |
executor:shuffleWriteTime | spark/executor/shuffleWriteTime |
executor:succeededTasks | spark/executor/succeededTasks |
ExecutorMetrics:MajorGCTime | spark/executor/ExecutorMetrics/MajorGCTime |
ExecutorMetrics:MinorGCTime | spark/executor/ExecutorMetrics/MinorGCTime |
Systemmesswerte
Messwert | Name des Metrics Explorer |
---|---|
agent:uptime | agent/uptime |
cpu:utilization | cpu/utilization |
disk:bytes_used | disk/bytes_used |
disk:percent_used | disk/percent_used |
memory:bytes_used | memory/bytes_used |
memory:percent_used | memory/percent_used |
network:tcp_connections | network/tcp_connections |
Spark-Messwerte aufrufen
Wenn Sie sich Batchmesswerte ansehen möchten, klicken Sie in der Google Cloud Console auf der Dataproc-Seite Batches auf eine Batch-ID, um die Seite Details des Batches zu öffnen. Auf dem Tab Monitoring wird ein Messwertdiagramm für die Batcharbeitslast angezeigt.
Weitere Informationen zum Ansehen erfasster Messwerte finden Sie unter Cloud Monitoring für Dataproc.