Spark 측정항목

이 문서에서는 Spark 측정항목에 관한 정보를 제공합니다. 기본적으로 서버리스 Dataproc은 Spark 측정항목 수집 속성을 사용하여 하나 이상의 Spark 측정항목 수집을 사용 중지하거나 재정의하지 않는 한 사용 가능한 Spark 측정항목 수집을 사용 설정합니다.

Dataproc Serverless Spark 일괄 워크로드를 제출할 때 설정할 수 있는 추가 속성은 Spark 속성을 참고하세요.

Spark 측정항목 수집 속성

이 섹션에 나열된 속성을 사용하여 하나 이상의 사용 가능한 Spark 측정항목의 수집을 사용 중지하거나 재정의할 수 있습니다.

속성	설명
spark.dataproc.driver.metrics	Spark 드라이버 측정항목을 사용 중지하거나 재정의하는 데 사용합니다.
spark.dataproc.executor.metrics	Spark 실행자 측정항목을 사용 중지하거나 재정의하는 데 사용합니다.
spark.dataproc.system.metrics	Spark 시스템 측정항목을 사용 중지하는 데 사용합니다.

gcloud CLI 예시:

• Spark 드라이버 측정항목 수집 사용 중지:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• BlockManager:disk.diskSpaceUsed_MB 및 DAGScheduler:stage.failedStages 측정항목만 수집하도록 Spark 기본 드라이버 측정항목 수집을 재정의합니다.

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

참고: 이전 예시에서 spark.dataproc.driver.metrics 속성과 연결된 두 값을 구분하는 데 쉼표(,)가 사용되었으므로 ~ 문자가 기본 쉼표 구분 기호 대신 속성 구분 기호 문자로 지정됩니다. 자세한 내용은 클러스터 속성 형식 지정을 참조하세요.

사용 가능한 Spark 측정항목

서버리스 Dataproc은 Spark 측정항목 수집 속성을 사용하여 수집을 사용 중지하거나 재정의하지 않는 한 이 섹션에 나열된 Spark 측정항목을 수집합니다.

참고: 측정항목은 다음 형식으로 수집됩니다.

custom.googleapis.com/METRIC_EXPLORER_NAME.

Spark 드라이버 측정항목

측정항목	측정항목 탐색기 이름
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Spark 실행자 측정항목

측정항목	측정항목 탐색기 이름
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

시스템 측정항목

측정항목	측정항목 탐색기 이름
agent:uptime	에이전트/업타임
cpu:utilization	CPU/사용률
disk:bytes_used	디스크/사용 바이트
disk:percent_used	디스크/사용량 백분율
memory:bytes_used	메모리/사용 바이트
memory:percent_used	메모리/사용량 백분율
network:tcp_connections	network/tcp_connections

Spark 측정항목 보기

배치 측정항목을 보려면 Google Cloud 콘솔의 Dataproc 배치 페이지에서 배치 ID를 클릭하여 배치 세부정보 페이지를 엽니다. 여기에는 모니터링 탭 아래에 배치 워크로드에 대한 측정항목 그래프가 표시됩니다.

그림 1. 일괄 워크로드의 Spark 측정항목 그래프

수집된 측정항목을 보는 방법에 대한 자세한 내용은 Dataproc Cloud Monitoring을 참조하세요.