Cloud Monitoring

Cloud Monitoring은 클라우드 기반 애플리케이션의 성능, 업타임, 전반적인 상태에 관한 정보를 제공합니다. Google Cloud 운영 제품군은 Dataproc 클러스터에서 클러스터별 HDFS, YARN, 작업, 작업 측정항목 등의 측정항목, 이벤트, 메타데이터를 수집하여 대시보드와 차트를 통해 통계를 생성합니다(Cloud Monitoring Dataproc 측정항목 참조).

Cloud Monitoring 클러스터 측정항목을 사용하여 Dataproc 클러스터의 성능과 상태를 모니터링합니다.

Dataproc 클러스터 측정항목

Dataproc은 Monitoring에서 볼 수 있는 클러스터 리소스 측정항목을 수집합니다.

클러스터 측정항목 보기

Google Cloud 콘솔에서 또는 Monitoring API를 사용하여 Monitoring를 확인할 수 있습니다.

콘솔

  1. 클러스터를 만든 후 Google Cloud 콘솔의 Monitoring으로 이동하여 클러스터 모니터링 데이터를 확인합니다.

    Monitoring 콘솔이 표시되면 추가 설정 단계로 프로젝트의 VM에 Monitoring 에이전트를 설치할 수 있습니다. Dataproc 클러스터를 만들 때 이 단계가 수행되므로 Dataproc 클러스터의 VM에 에이전트를 설치할 필요가 없습니다.

  2. 측정항목 탐색기를 선택하고 '리소스 유형 및 측정항목 찾기' 드롭다운 목록에서 'Cloud Dataproc 클러스터' 리소스를 선택하거나 상자에 'cloud_dataproc_cluster'를 입력합니다.
  3. 입력 상자를 다시 클릭한 다음 드롭다운 목록에서 측정항목을 선택합니다. 다음 스크린샷에서 'YARN 메모리 크기'가 선택됩니다. 측정항목 이름에 마우스를 가져가면 측정항목에 대한 정보가 표시됩니다.

    필터를 선택하고, 측정항목 라벨별로 그룹화하고, 집계를 수행하고, 차트 보기 옵션을 선택합니다(Monitoring 문서 참조).

API

Monitoring timeSeries.list API를 사용하여 filter 표현식으로 정의된 측정항목을 캡처 및 나열합니다. API 페이지에서 API 사용해 보기 템플릿을 사용하여 API 요청을 전송하고 응답을 표시합니다.

: 다음은 아래의 Monitoring timeSeries.list 매개변수에 해당하는 템플릿 요청과 반환된 JSON 응답을 보여주는 스냅샷입니다.

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

OSS 측정항목

Dataproc을 사용 설정하여 Monitoring에서 볼 수 있도록 클러스터 OSS 구성요소 측정항목을 수집할 수 있습니다. Dataproc OSS 측정항목은 다음 형식으로 수집됩니다.

custom.googleapis.com/OSS_COMPONENT/METRIC

OSS 측정항목 예시:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

사용 가능한 OSS 측정항목

Dataproc을 사용 설정하여 다음 테이블에 나열된 OSS 측정항목을 수집할 수 있습니다. 연결된 측정항목 소스를 사용 설정할 때 Dataproc이 기본적으로 측정항목을 수집하면 기본적으로 수집 열이 'y'로 표시됩니다. 측정항목 소스의 기본 측정항목 수집을 재정의하는 경우 측정항목 소스에 나열된 모든 측정항목과 모든 Spark 측정항목을 수집에 사용 설정할 수 있습니다(OSS 측정항목 수집 사용 설정 참조).

Hadoop 측정항목

HDFS 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
hdfs:NameNode:FSNamesystem:CapacityTotalGB dfs/FSNamesystem/CapacityTotalGB y
hdfs:NameNode:FSNamesystem:CapacityUsedGB dfs/FSNamesystem/CapacityUsedGB y
hdfs:NameNode:FSNamesystem:CapacityRemainingGB dfs/FSNamesystem/CapacityRemainingGB y
hdfs:NameNode:FSNamesystem:FilesTotal dfs/FSNamesystem/FilesTotal y
hdfs:NameNode:FSNamesystem:MissingBlocks dfs/FSNamesystem/MissingBlocks n
hdfs:NameNode:FSNamesystem:ExpiredHeartbeats dfs/FSNamesystem/ExpiredHeartbeats n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastCheckpoint dfs/FSNamesystem/TransactionsSinceLastCheckpoint n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastLogRoll dfs/FSNamesystem/TransactionsSinceLastLogRoll n
hdfs:NameNode:FSNamesystem:LastWrittenTransactionId dfs/FSNamesystem/LastWrittenTransactionId n
hdfs:NameNode:FSNamesystem:CapacityTotal dfs/FSNamesystem/CapacityTotal n
hdfs:NameNode:FSNamesystem:CapacityUsed dfs/FSNamesystem/CapacityUsed n
hdfs:NameNode:FSNamesystem:CapacityRemaining dfs/FSNamesystem/CapacityRemaining n
hdfs:NameNode:FSNamesystem:CapacityUsedNonDFS dfs/FSNamesystem/CapacityUsedNonDFS n
hdfs:NameNode:FSNamesystem:TotalLoad dfs/FSNamesystem/TotalLoad n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories dfs/FSNamesystem/SnapshottableDirectories n
hdfs:NameNode:FSNamesystem:Snapshots dfs/FSNamesystem/Snapshots n
hdfs:NameNode:FSNamesystem:BlocksTotal dfs/FSNamesystem/BlocksTotal n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks dfs/FSNamesystem/PendingReplicationBlocks n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks dfs/FSNamesystem/UnderReplicatedBlocks n
hdfs:NameNode:FSNamesystem:CorruptBlocks dfs/FSNamesystem/CorruptBlocks n
hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks dfs/FSNamesystem/ScheduledReplicationBlocks n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks dfs/FSNamesystem/PendingDeletionBlocks n
hdfs:NameNode:FSNamesystem:ExcessBlocks dfs/FSNamesystem/ExcessBlocks n
hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks dfs/FSNamesystem/PostponedMisreplicatedBlocks n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt dfs/FSNamesystem/PendingDataNodeMessageCourt n
hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits dfs/FSNamesystem/MillisSinceLastLoadedEdits n
hdfs:NameNode:FSNamesystem:BlockCapacity dfs/FSNamesystem/BlockCapacity n
hdfs:NameNode:FSNamesystem:StaleDataNodes dfs/FSNamesystem/StaleDataNodes n
hdfs:NameNode:FSNamesystem:TotalFiles dfs/FSNamesystem/TotalFiles n
hdfs:NameNode:JvmMetrics:MemHeapUsedM dfs/jvm/MemHeapUsedM n
hdfs:NameNode:JvmMetrics:MemHeapCommittedM dfs/jvm/MemHeapCommittedM n
hdfs:NameNode:JvmMetrics:MemHeapMaxM dfs/jvm/MemHeapMaxM n
hdfs:NameNode:JvmMetrics:MemMaxM dfs/jvm/MemMaxM n

YARN 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
yarn:ResourceManager:ClusterMetrics:NumActiveNMs yarn/ClusterMetrics/NumActiveNMs y
yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs yarn/ClusterMetrics/NumDecommissionedNMs n
yarn:ResourceManager:ClusterMetrics:NumLostNMs yarn/ClusterMetrics/NumLostNMs n
yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs yarn/ClusterMetrics/NumUnhealthyNMs n
yarn:ResourceManager:ClusterMetrics:NumRebootedNMs yarn/ClusterMetrics/NumRebootedNMs n
yarn:ResourceManager:QueueMetrics:running_0 yarn/QueueMetrics/running_0 y
yarn:ResourceManager:QueueMetrics:running_60 yarn/QueueMetrics/running_60 y
yarn:ResourceManager:QueueMetrics:running_300 yarn/QueueMetrics/running_300 y
yarn:ResourceManager:QueueMetrics:running_1440 yarn/QueueMetrics/running_1440 y
yarn:ResourceManager:QueueMetrics:AppsSubmitted yarn/QueueMetrics/AppsSubmitted y
yarn:ResourceManager:QueueMetrics:AvailableMB yarn/QueueMetrics/AvailableMB y
yarn:ResourceManager:QueueMetrics:PendingContainers yarn/QueueMetrics/PendingContainers y
yarn:ResourceManager:QueueMetrics:AppsRunning yarn/QueueMetrics/AppsRunning n
yarn:ResourceManager:QueueMetrics:AppsPending yarn/QueueMetrics/AppsPending n
yarn:ResourceManager:QueueMetrics:AppsCompleted yarn/QueueMetrics/AppsCompleted n
yarn:ResourceManager:QueueMetrics:AppsKilled yarn/QueueMetrics/AppsKilled n
yarn:ResourceManager:QueueMetrics:AppsFailed yarn/QueueMetrics/AppsFailed n
yarn:ResourceManager:QueueMetrics:AllocatedMB yarn/QueueMetrics/AllocatedMB n
yarn:ResourceManager:QueueMetrics:AllocatedVCores yarn/QueueMetrics/AllocatedVCores n
yarn:ResourceManager:QueueMetrics:AllocatedContainers yarn/QueueMetrics/AllocatedContainers n
yarn:ResourceManager:QueueMetrics:AggregateContainersAllocated yarn/QueueMetrics/AggregateContainersAllocated n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased yarn/QueueMetrics/AggregateContainersReleased n
yarn:ResourceManager:QueueMetrics:AvailableVCores yarn/QueueMetrics/AvailableVCores n
yarn:ResourceManager:QueueMetrics:PendingMB yarn/QueueMetrics/PendingMB n
yarn:ResourceManager:QueueMetrics:PendingVCores yarn/QueueMetrics/PendingVCores n
yarn:ResourceManager:QueueMetrics:ReservedMB yarn/QueueMetrics/ReservedMB n
yarn:ResourceManager:QueueMetrics:ReservedVCores yarn/QueueMetrics/ReservedVCores n
yarn:ResourceManager:QueueMetrics:ReservedContainers yarn/QueueMetrics/ReservedContainers n
yarn:ResourceManager:QueueMetrics:ActiveUsers yarn/QueueMetrics/ActiveUsers n
yarn:ResourceManager:QueueMetrics:ActiveApplications yarn/QueueMetrics/ActiveApplications n
yarn:ResourceManager:QueueMetrics:FairShareMB yarn/QueueMetrics/FairShareMB n
yarn:ResourceManager:QueueMetrics:FairShareVCores yarn/QueueMetrics/FairShareVCores n
yarn:ResourceManager:QueueMetrics:MinShareMB yarn/QueueMetrics/MinShareMB n
yarn:ResourceManager:QueueMetrics:MinShareVCores yarn/QueueMetrics/MinShareVCores n
yarn:ResourceManager:QueueMetrics:MaxShareMB yarn/QueueMetrics/MaxShareMB n
yarn:ResourceManager:QueueMetrics:MaxShareVCores yarn/QueueMetrics/MaxShareVCores n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM yarn/jvm/MemHeapUsedM n
yarn:ResourceManager:JvmMetrics:MemHeapCommittedM yarn/jvm/MemHeapCommittedM n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM yarn/jvm/MemHeapMaxM n
yarn:ResourceManager:JvmMetrics:MemMaxM yarn/jvm/MemMaxM n

Spark 측정항목

Spark 드라이버 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
spark:driver:BlockManager:disk.diskSpaceUsed_MB spark/driver/BlockManager/disk/diskSpaceUsed_MB y
spark:driver:BlockManager:memory.maxMem_MB spark/driver/BlockManager/memory/maxMem_MB y
spark:driver:BlockManager:memory.memUsed_MB spark/driver/BlockManager/memory/memUsed_MB y
spark:driver:DAGScheduler:job.allJobs spark/driver/DAGScheduler/job/allJobs y
spark:driver:DAGScheduler:stage.failedStages spark/driver/DAGScheduler/stage/failedStages y
spark:driver:DAGScheduler:stage.waitingStages spark/driver/DAGScheduler/stage/waitingStages y

Spark 실행자 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
spark:executor:executor:bytesRead spark/executor/bytesRead y
spark:executor:executor:bytesWritten spark/executor/bytesWritten y
spark:executor:executor:cpuTime spark/executor/cpuTime y
spark:executor:executor:diskBytesSpilled spark/executor/diskBytesSpilled y
spark:executor:executor:recordsRead spark/executor/recordsRead y
spark:executor:executor:recordsWritten spark/executor/recordsWritten y
spark:executor:executor:runTime spark/executor/runTime y
spark:executor:executor:shuffleRecordsRead spark/executor/shuffleRecordsRead y
spark:executor:executor:shuffleRecordsWritten spark/executor/shuffleRecordsWritten y

Spark 기록 서버 측정항목

Dataproc은 다음 Spark 기록 서비스 JVM 메모리 측정항목을 수집합니다.

측정항목 측정항목 탐색기 이름 기본적으로 수집
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.committed sparkHistoryServer/memory/CommittedHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used sparkHistoryServer/memory/UsedHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max sparkHistoryServer/memory/MaxHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed sparkHistoryServer/memory/CommittedNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used sparkHistoryServer/memory/UsedNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max sparkHistoryServer/memory/MaxNonHeapMemory y

HiveServer 2 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
hiveserver2:JVM:Memory:HeapMemoryUsage.committed hiveserver2/memory/CommittedHeapMemory y
hiveserver2:JVM:Memory:HeapMemoryUsage.used hiveserver2/memory/UsedHeapMemory y
hiveserver2:JVM:Memory:HeapMemoryUsage.max hiveserver2/memory/MaxHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.committed hiveserver2/memory/CommittedNonHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.used hiveserver2/memory/UsedNonHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.max hiveserver2/memory/MaxNonHeapMemory y

Hive Metastore 측정항목

측정항목 측정항목 탐색기 이름 기본적으로 수집
hivemetastore:API:GetDatabase:Mean hivemetastore/get_database/mean y
hivemetastore:API:CreateDatabase:Mean hivemetastore/create_database/mean y
hivemetastore:API:DropDatabase:Mean hivemetastore/drop_database/mean y
hivemetastore:API:AlterDatabase:Mean hivemetastore/alter_database/mean y
hivemetastore:API:GetAllDatabases:Mean hivemetastore/get_all_databases/mean y
hivemetastore:API:CreateTable:Mean hivemetastore/create_table/mean y
hivemetastore:API:DropTable:Mean hivemetastore/drop_table/mean y
hivemetastore:API:AlterTable:Mean hivemetastore/alter_table/mean y
hivemetastore:API:GetTable:Mean hivemetastore/get_table/mean y
hivemetastore:API:GetAllTables:Mean hivemetastore/get_all_tables/mean y
hivemetastore:API:AddPartitionsReq:Mean hivemetastore/add_partitions_req/mean y
hivemetastore:API:DropPartition:Mean hivemetastore/drop_partition/mean y
hivemetastore:API:AlterPartition:Mean hivemetastore/alter_partition/mean y
hivemetastore:API:GetPartition:Mean hivemetastore/get_partition/mean y
hivemetastore:API:GetPartitionNames:Mean hivemetastore/get_partition_names/mean y
hivemetastore:API:GetPartitionsPs:Mean hivemetastore/get_partitions_ps/mean y
hivemetastore:API:GetPartitionsPsWithAuth:Mean hivemetastore/get_partitions_ps_with_auth/mean y
Hive Metastore 측정항목 측정
통계 척도 샘플 측정항목 샘플 측정항목 이름
최대 hivemetastore:API:GetDatabase:Max hivemetastore/get_database/max
최소 hivemetastore:API:GetDatabase:Min hivemetastore/get_database/min
평균 hivemetastore:API:GetDatabase:Mean hivemetastore/get_database/mean
개수 hivemetastore:API:GetDatabase:Count hivemetastore/get_database/count
50번째 백분위수 hivemetastore:API:GetDatabase:50thPercentile hivemetastore/get_database/median
75번째 백분위수 hivemetastore:API:GetDatabase:75thPercentile hivemetastore/get_database/75th_percentile
95번째 백분위수 hivemetastore:API:GetDatabase:95thPercentile hivemetastore/get_database/95th_percentile
98번째 백분위수 hivemetastore:API:GetDatabase:98thPercentile hivemetastore/get_database/98th_percentile
99번째 백분위수 hivemetastore:API:GetDatabase:99thPercentile hivemetastore/get_database/99th_percentile
999째 백분위수 hivemetastore:API:GetDatabase:999thPercentile hivemetastore/get_database/999th_percentile
표준 편차 hivemetastore:API:GetDatabase:StdDev hivemetastore/get_database/stddev
15분 요율 hivemetastore:API:GetDatabase:FifteenMinuteRate hivemetastore/get_database/15min_rate
5분 요율 hivemetastore:API:GetDatabase:FiveMinuteRate hivemetastore/get_database/5min_rate
1분 요율 hivemetastore:API:GetDatabase:OneMinuteRate hivemetastore/get_database/1min_rate
평균 요율 hivemetastore:API:GetDatabase:MeanRate hivemetastore/get_database/mean_rate

Dataproc 모니터링 에이전트 측정항목

기본적으로 Dataproc은 agent.googleapis.com 프리픽스와 함께 게시되는 다음 Dataproc 모니터링 에이전트 기본 측정항목을 수집합니다.

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

디스크
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

스왑
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

메모리
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

프로세스 - (몇 가지 속성에 대해 약간 다른 할당량 정책 준수)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

인터페이스
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

네트워크
agent.googleapis.com/network/tcp_connections

OSS 측정항목 수집 사용 설정

Dataproc 클러스터를 만들 때 gcloud CLI 또는 Dataproc API를 사용하여 두 가지 방법으로 OSS 측정항목 수집을 사용 설정할 수 있습니다(하나 또는 두 가지 수집 방법 모두 사용 가능).

  1. 하나 이상의 OSS 측정항목 소스에서 기본 측정항목만 수집 사용 설정
  2. 하나 이상의 OSS 측정항목 소스에서 지정된 ('재정의') 측정항목만 수집 사용 설정

gcloud 명령어

기본 측정항목 수집

gcloud dataproc clusters create --metric-sources 플래그를 사용하여 하나 이상의 측정항목 소스에서 기본 사용 가능한 OSS 측정항목 수집을 사용 설정합니다.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

참고:

  • --metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스 spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore, monitoring-agent-defaults 중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨).

측정항목 수집 재정의

원하는 경우 --metric-overrides 또는 --metric-overrides-file 플래그를 추가하여 하나 이상의 측정항목 소스에서 사용 가능한 OSS 측정항목을 하나 이상 수집하도록 사용 설정할 수 있습니다.

  • 사용 가능한 OSS 측정항목과 모든 Spark 측정항목은 측정항목 재정의로 수집에 나열될 수 있습니다. 재정의 측정항목 값은 대소문자를 구분하며 적절한 경우 CamelCase 형식으로 제공해야 합니다.

    • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
    • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
    • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

  • 지정된 측정항목 소스에서 재정의된 측정항목만 수집됩니다. 예를 들어 하나 이상의 spark:executive 측정항목이 측정항목 재정의로 나열되면 다른 SPARK 측정항목이 수집되지 않습니다. 다른 측정항목 소스의 기본 OSS 측정항목 수집은 영향을 받지 않습니다. 예를 들어 SPARKYARN 측정항목 소스가 모두 사용 설정되고 Spark 측정항목에 대해서만 재정의가 제공되는 경우 모든 기본 YARN 측정항목이 수집됩니다.
  • 지정된 측정항목 재정의 소스를 사용 설정해야 합니다. 예를 들어 하나 이상의 spark:driver 측정항목이 측정항목 재정의로 제공되는 경우 spark 측정항목 소스를 사용 설정해야 합니다(--metric-sources=spark).

측정항목 목록 재정의

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

참고:

  • --metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스 spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore, monitoring-agent-defaults 중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨).
  • --metric-overrides: 다음 형식의 측정항목 목록을 제공합니다.

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    예:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

  • 이 플래그는 --metric-overrides-file 플래그의 대안이며 함께 사용할 수 없습니다.

측정항목 파일 재정의

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

참고:

  • --metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스 spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore, monitoring-agent-defaults 중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨).
  • --metric-overrides-file: 다음 형식의 측정항목이 하나 이상 포함된 로컬 또는 Cloud Storage 파일(gs://bucket/filename)을 지정합니다.

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    camelcase 형식을 적절하게 사용합니다.

    Examples

    • --metric-overrides-file=gs://my-bucket/my-filename.txt
    • --metric-overrides-file=./local-directory/local-filename.txt

  • 이 플래그는 --metric-overrides 플래그의 대안이며 함께 사용할 수 없습니다.

REST API

clusters.create 요청의 일부로 DataprocMetricConfig를 사용하여 OSS 측정항목 수집을 사용 설정합니다.

Monitoring 대시보드 빌드

선택한 Cloud Dataproc 클러스터 측정항목의 차트를 표시하는 커스텀 Monitoring 대시보드를 빌드할 수 있습니다.

  1. Monitoring 대시보드 개요 페이지에서 + 대시보드 만들기를 선택합니다. 대시 보드의 이름을 입력한 다음 오른쪽 상단 메뉴에서 차트 추가를 클릭하여 차트 추가 창을 엽니다. 리소스 유형으로 'Cloud Dataproc 클러스터'를 선택합니다. 하나 이상의 측정항목과 측정항목 및 차트 속성을 선택합니다. 그런 다음 차트를 저장합니다.

  2. 추가 차트를 대시보드에 추가할 수 있습니다. 대시보드를 저장하면 해당 제목이 Monitoring 대시보드 개요 페이지에 표시됩니다. 대시보드 차트를 대시보드 표시 페이지에서 보고, 업데이트하고, 삭제할 수 있습니다.

다음 단계