Spark 측정항목

기본적으로 서버리스 Dataproc은 Spark 측정항목 수집 속성을 사용하여 하나 이상의 Spark 측정항목 수집을 사용 중지하거나 재정의하지 않는 한 사용 가능한 Spark 측정항목 수집을 사용 설정합니다.

Spark 측정항목 수집 속성

이 섹션에 나열된 속성을 사용하여 하나 이상의 사용 가능한 Spark 측정항목의 수집을 사용 중지하거나 재정의할 수 있습니다.

속성	설명
`spark.dataproc.driver.metrics`	Spark 드라이버 측정항목을 사용 중지하거나 재정의하는 데 사용합니다.
`spark.dataproc.executor.metrics`	Spark 실행자 측정항목을 사용 중지하거나 재정의하는 데 사용합니다.
`spark.dataproc.system.metrics`	Spark 시스템 측정항목을 사용 중지하는 데 사용합니다.

gcloud CLI 예시:

Spark 드라이버 측정항목 수집 사용 중지:

gcloud dataproc batches submit spark \
    --properties spark.dataproc.driver.metrics="" \
    --region=region \
    other args ...

BlockManager:disk.diskSpaceUsed_MB 및 DAGScheduler:stage.failedStages 측정항목만 수집하도록 Spark 기본 드라이버 측정항목 수집을 재정의합니다.

gcloud dataproc batches submit spark \
    --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
    --region=region \
    other args ...

사용 가능한 Spark 측정항목

서버리스 Dataproc은 Spark 측정항목 수집 속성을 사용하여 수집을 사용 중지하거나 재정의하지 않는 한 이 섹션에 나열된 Spark 측정항목을 수집합니다.

custom.googleapis.com/METRIC_EXPLORER_NAME.

Spark 드라이버 측정항목

측정항목	측정항목 탐색기 이름
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Spark 실행자 측정항목

측정항목	측정항목 탐색기 이름
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

시스템 측정항목

측정항목	측정항목 탐색기 이름
agent:uptime	에이전트/업타임
cpu:utilization	CPU/사용률
disk:bytes_used	디스크/사용 바이트
disk:percent_used	디스크/사용량 백분율
memory:bytes_used	메모리/사용 바이트
memory:percent_used	메모리/사용량 백분율
network:tcp_connections	network/tcp_connections

Spark 측정항목 보기

배치 측정항목을 보려면 Google Cloud 콘솔의 Dataproc 배치 페이지에서 배치 ID를 클릭하여 배치 세부정보 페이지를 엽니다. 여기에는 모니터링 탭 아래에 배치 워크로드에 대한 측정항목 그래프가 표시됩니다.