Cloud Monitoring은 클라우드 기반 애플리케이션의 성능, 업타임, 전반적인 상태에 관한 정보를 제공합니다. Google Cloud 운영 제품군은 Dataproc 클러스터에서 클러스터별 HDFS, YARN, 작업, 작업 측정항목 등의 측정항목, 이벤트, 메타데이터를 수집하여 대시보드와 차트를 통해 통계를 생성합니다(Cloud Monitoring Dataproc 측정항목 참조).
Cloud Monitoring 클러스터 측정항목을 사용하여 Dataproc 클러스터의 성능과 상태를 모니터링합니다.
비용을 알아보려면 Cloud Monitoring 가격 책정을 참조하세요.
측정항목 데이터 보관에 대한 자세한 내용은 Monitoring 할당량 및 한도를 참조하세요.
Dataproc 클러스터 측정항목
Dataproc은 Monitoring에서 볼 수 있는 클러스터 리소스 측정항목을 수집합니다.
클러스터 측정항목 보기
Google Cloud 콘솔에서 또는 Monitoring API를 사용하여 Monitoring를 확인할 수 있습니다.
콘솔
-
클러스터를 만든 후 Google Cloud 콘솔의 Monitoring으로 이동하여 클러스터 모니터링 데이터를 확인합니다.
Monitoring 콘솔이 표시되면 추가 설정 단계로 프로젝트의 VM에 Monitoring 에이전트를 설치할 수 있습니다. Dataproc 클러스터를 만들 때 이 단계가 수행되므로 Dataproc 클러스터의 VM에 에이전트를 설치할 필요가 없습니다.
- 측정항목 탐색기를 선택하고 '리소스 유형 및 측정항목 찾기' 드롭다운 목록에서 'Cloud Dataproc 클러스터' 리소스를 선택하거나 상자에 'cloud_dataproc_cluster'를 입력합니다.
- 입력 상자를 다시 클릭한 다음 드롭다운 목록에서 측정항목을 선택합니다.
다음 스크린샷에서 'YARN 메모리 크기'가 선택됩니다. 측정항목 이름에 마우스를 가져가면 측정항목에 대한 정보가 표시됩니다.
필터를 선택하고, 측정항목 라벨별로 그룹화하고, 집계를 수행하고, 차트 보기 옵션을 선택합니다(Monitoring 문서 참조).
API
Monitoring timeSeries.list API를 사용하여 filter 표현식으로 정의된 측정항목을 캡처 및 나열합니다.
API 페이지에서 API 사용해 보기 템플릿을 사용하여 API 요청을 전송하고 응답을 표시합니다.
예: 다음은 아래의 Monitoring timeSeries.list 매개변수에 해당하는 템플릿 요청과 반환된 JSON 응답을 보여주는 스냅샷입니다.
- name: projects/example-project-id
- filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
- interval.endTime: 2018-02-27T11:54:00.000-08:00
- interval.startTime: 2018-02-20T00:00:00.000-08:00
OSS 측정항목
Dataproc을 사용 설정하여 Monitoring에서 볼 수 있도록 클러스터 OSS 구성요소 측정항목을 수집할 수 있습니다. Dataproc OSS 측정항목은 다음 형식으로 수집됩니다.
custom.googleapis.com/OSS_COMPONENT/METRIC
OSS 측정항목 예시:
custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory
사용 가능한 OSS 측정항목
Dataproc을 사용 설정하여 다음 테이블에 나열된 OSS 측정항목을 수집할 수 있습니다. 연결된 측정항목 소스를 사용 설정할 때 Dataproc이 기본적으로 측정항목을 수집하면 기본적으로 수집 열이 'y'로 표시됩니다. 측정항목 소스의 기본 측정항목 수집을 재정의하는 경우 측정항목 소스에 나열된 모든 측정항목과 모든 Spark 측정항목을 수집에 사용 설정할 수 있습니다(OSS 측정항목 수집 사용 설정 참조).
Hadoop 측정항목
HDFS 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| hdfs:NameNode:FSNamesystem:CapacityTotalGB | dfs/FSNamesystem/CapacityTotalGB | y |
| hdfs:NameNode:FSNamesystem:CapacityUsedGB | dfs/FSNamesystem/CapacityUsedGB | y |
| hdfs:NameNode:FSNamesystem:CapacityRemainingGB | dfs/FSNamesystem/CapacityRemainingGB | y |
| hdfs:NameNode:FSNamesystem:FilesTotal | dfs/FSNamesystem/FilesTotal | y |
| hdfs:NameNode:FSNamesystem:MissingBlocks | dfs/FSNamesystem/MissingBlocks | n |
| hdfs:NameNode:FSNamesystem:ExpiredHeartbeats | dfs/FSNamesystem/ExpiredHeartbeats | n |
| hdfs:NameNode:FSNamesystem:TransactionsSinceLastCheckpoint | dfs/FSNamesystem/TransactionsSinceLastCheckpoint | n |
| hdfs:NameNode:FSNamesystem:TransactionsSinceLastLogRoll | dfs/FSNamesystem/TransactionsSinceLastLogRoll | n |
| hdfs:NameNode:FSNamesystem:LastWrittenTransactionId | dfs/FSNamesystem/LastWrittenTransactionId | n |
| hdfs:NameNode:FSNamesystem:CapacityTotal | dfs/FSNamesystem/CapacityTotal | n |
| hdfs:NameNode:FSNamesystem:CapacityUsed | dfs/FSNamesystem/CapacityUsed | n |
| hdfs:NameNode:FSNamesystem:CapacityRemaining | dfs/FSNamesystem/CapacityRemaining | n |
| hdfs:NameNode:FSNamesystem:CapacityUsedNonDFS | dfs/FSNamesystem/CapacityUsedNonDFS | n |
| hdfs:NameNode:FSNamesystem:TotalLoad | dfs/FSNamesystem/TotalLoad | n |
| hdfs:NameNode:FSNamesystem:SnapshottableDirectories | dfs/FSNamesystem/SnapshottableDirectories | n |
| hdfs:NameNode:FSNamesystem:Snapshots | dfs/FSNamesystem/Snapshots | n |
| hdfs:NameNode:FSNamesystem:BlocksTotal | dfs/FSNamesystem/BlocksTotal | n |
| hdfs:NameNode:FSNamesystem:PendingReplicationBlocks | dfs/FSNamesystem/PendingReplicationBlocks | n |
| hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks | dfs/FSNamesystem/UnderReplicatedBlocks | n |
| hdfs:NameNode:FSNamesystem:CorruptBlocks | dfs/FSNamesystem/CorruptBlocks | n |
| hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks | dfs/FSNamesystem/ScheduledReplicationBlocks | n |
| hdfs:NameNode:FSNamesystem:PendingDeletionBlocks | dfs/FSNamesystem/PendingDeletionBlocks | n |
| hdfs:NameNode:FSNamesystem:ExcessBlocks | dfs/FSNamesystem/ExcessBlocks | n |
| hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks | dfs/FSNamesystem/PostponedMisreplicatedBlocks | n |
| hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt | dfs/FSNamesystem/PendingDataNodeMessageCourt | n |
| hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits | dfs/FSNamesystem/MillisSinceLastLoadedEdits | n |
| hdfs:NameNode:FSNamesystem:BlockCapacity | dfs/FSNamesystem/BlockCapacity | n |
| hdfs:NameNode:FSNamesystem:StaleDataNodes | dfs/FSNamesystem/StaleDataNodes | n |
| hdfs:NameNode:FSNamesystem:TotalFiles | dfs/FSNamesystem/TotalFiles | n |
| hdfs:NameNode:JvmMetrics:MemHeapUsedM | dfs/jvm/MemHeapUsedM | n |
| hdfs:NameNode:JvmMetrics:MemHeapCommittedM | dfs/jvm/MemHeapCommittedM | n |
| hdfs:NameNode:JvmMetrics:MemHeapMaxM | dfs/jvm/MemHeapMaxM | n |
| hdfs:NameNode:JvmMetrics:MemMaxM | dfs/jvm/MemMaxM | n |
YARN 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| yarn:ResourceManager:ClusterMetrics:NumActiveNMs | yarn/ClusterMetrics/NumActiveNMs | y |
| yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs | yarn/ClusterMetrics/NumDecommissionedNMs | n |
| yarn:ResourceManager:ClusterMetrics:NumLostNMs | yarn/ClusterMetrics/NumLostNMs | n |
| yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs | yarn/ClusterMetrics/NumUnhealthyNMs | n |
| yarn:ResourceManager:ClusterMetrics:NumRebootedNMs | yarn/ClusterMetrics/NumRebootedNMs | n |
| yarn:ResourceManager:QueueMetrics:running_0 | yarn/QueueMetrics/running_0 | y |
| yarn:ResourceManager:QueueMetrics:running_60 | yarn/QueueMetrics/running_60 | y |
| yarn:ResourceManager:QueueMetrics:running_300 | yarn/QueueMetrics/running_300 | y |
| yarn:ResourceManager:QueueMetrics:running_1440 | yarn/QueueMetrics/running_1440 | y |
| yarn:ResourceManager:QueueMetrics:AppsSubmitted | yarn/QueueMetrics/AppsSubmitted | y |
| yarn:ResourceManager:QueueMetrics:AvailableMB | yarn/QueueMetrics/AvailableMB | y |
| yarn:ResourceManager:QueueMetrics:PendingContainers | yarn/QueueMetrics/PendingContainers | y |
| yarn:ResourceManager:QueueMetrics:AppsRunning | yarn/QueueMetrics/AppsRunning | n |
| yarn:ResourceManager:QueueMetrics:AppsPending | yarn/QueueMetrics/AppsPending | n |
| yarn:ResourceManager:QueueMetrics:AppsCompleted | yarn/QueueMetrics/AppsCompleted | n |
| yarn:ResourceManager:QueueMetrics:AppsKilled | yarn/QueueMetrics/AppsKilled | n |
| yarn:ResourceManager:QueueMetrics:AppsFailed | yarn/QueueMetrics/AppsFailed | n |
| yarn:ResourceManager:QueueMetrics:AllocatedMB | yarn/QueueMetrics/AllocatedMB | n |
| yarn:ResourceManager:QueueMetrics:AllocatedVCores | yarn/QueueMetrics/AllocatedVCores | n |
| yarn:ResourceManager:QueueMetrics:AllocatedContainers | yarn/QueueMetrics/AllocatedContainers | n |
| yarn:ResourceManager:QueueMetrics:AggregateContainersAllocated | yarn/QueueMetrics/AggregateContainersAllocated | n |
| yarn:ResourceManager:QueueMetrics:AggregateContainersReleased | yarn/QueueMetrics/AggregateContainersReleased | n |
| yarn:ResourceManager:QueueMetrics:AvailableVCores | yarn/QueueMetrics/AvailableVCores | n |
| yarn:ResourceManager:QueueMetrics:PendingMB | yarn/QueueMetrics/PendingMB | n |
| yarn:ResourceManager:QueueMetrics:PendingVCores | yarn/QueueMetrics/PendingVCores | n |
| yarn:ResourceManager:QueueMetrics:ReservedMB | yarn/QueueMetrics/ReservedMB | n |
| yarn:ResourceManager:QueueMetrics:ReservedVCores | yarn/QueueMetrics/ReservedVCores | n |
| yarn:ResourceManager:QueueMetrics:ReservedContainers | yarn/QueueMetrics/ReservedContainers | n |
| yarn:ResourceManager:QueueMetrics:ActiveUsers | yarn/QueueMetrics/ActiveUsers | n |
| yarn:ResourceManager:QueueMetrics:ActiveApplications | yarn/QueueMetrics/ActiveApplications | n |
| yarn:ResourceManager:QueueMetrics:FairShareMB | yarn/QueueMetrics/FairShareMB | n |
| yarn:ResourceManager:QueueMetrics:FairShareVCores | yarn/QueueMetrics/FairShareVCores | n |
| yarn:ResourceManager:QueueMetrics:MinShareMB | yarn/QueueMetrics/MinShareMB | n |
| yarn:ResourceManager:QueueMetrics:MinShareVCores | yarn/QueueMetrics/MinShareVCores | n |
| yarn:ResourceManager:QueueMetrics:MaxShareMB | yarn/QueueMetrics/MaxShareMB | n |
| yarn:ResourceManager:QueueMetrics:MaxShareVCores | yarn/QueueMetrics/MaxShareVCores | n |
| yarn:ResourceManager:JvmMetrics:MemHeapUsedM | yarn/jvm/MemHeapUsedM | n |
| yarn:ResourceManager:JvmMetrics:MemHeapCommittedM | yarn/jvm/MemHeapCommittedM | n |
| yarn:ResourceManager:JvmMetrics:MemHeapMaxM | yarn/jvm/MemHeapMaxM | n |
| yarn:ResourceManager:JvmMetrics:MemMaxM | yarn/jvm/MemMaxM | n |
Spark 측정항목
Spark 드라이버 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| spark:driver:BlockManager:disk.diskSpaceUsed_MB | spark/driver/BlockManager/disk/diskSpaceUsed_MB | y |
| spark:driver:BlockManager:memory.maxMem_MB | spark/driver/BlockManager/memory/maxMem_MB | y |
| spark:driver:BlockManager:memory.memUsed_MB | spark/driver/BlockManager/memory/memUsed_MB | y |
| spark:driver:DAGScheduler:job.allJobs | spark/driver/DAGScheduler/job/allJobs | y |
| spark:driver:DAGScheduler:stage.failedStages | spark/driver/DAGScheduler/stage/failedStages | y |
| spark:driver:DAGScheduler:stage.waitingStages | spark/driver/DAGScheduler/stage/waitingStages | y |
Spark 실행자 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| spark:executor:executor:bytesRead | spark/executor/bytesRead | y |
| spark:executor:executor:bytesWritten | spark/executor/bytesWritten | y |
| spark:executor:executor:cpuTime | spark/executor/cpuTime | y |
| spark:executor:executor:diskBytesSpilled | spark/executor/diskBytesSpilled | y |
| spark:executor:executor:recordsRead | spark/executor/recordsRead | y |
| spark:executor:executor:recordsWritten | spark/executor/recordsWritten | y |
| spark:executor:executor:runTime | spark/executor/runTime | y |
| spark:executor:executor:shuffleRecordsRead | spark/executor/shuffleRecordsRead | y |
| spark:executor:executor:shuffleRecordsWritten | spark/executor/shuffleRecordsWritten | y |
Spark 기록 서버 측정항목
Dataproc은 다음 Spark 기록 서비스 JVM 메모리 측정항목을 수집합니다.
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| sparkHistoryServer:JVM:Memory:HeapMemoryUsage.committed | sparkHistoryServer/memory/CommittedHeapMemory | y |
| sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used | sparkHistoryServer/memory/UsedHeapMemory | y |
| sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max | sparkHistoryServer/memory/MaxHeapMemory | y |
| sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed | sparkHistoryServer/memory/CommittedNonHeapMemory | y |
| sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used | sparkHistoryServer/memory/UsedNonHeapMemory | y |
| sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max | sparkHistoryServer/memory/MaxNonHeapMemory | y |
HiveServer 2 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| hiveserver2:JVM:Memory:HeapMemoryUsage.committed | hiveserver2/memory/CommittedHeapMemory | y |
| hiveserver2:JVM:Memory:HeapMemoryUsage.used | hiveserver2/memory/UsedHeapMemory | y |
| hiveserver2:JVM:Memory:HeapMemoryUsage.max | hiveserver2/memory/MaxHeapMemory | y |
| hiveserver2:JVM:Memory:NonHeapMemoryUsage.committed | hiveserver2/memory/CommittedNonHeapMemory | y |
| hiveserver2:JVM:Memory:NonHeapMemoryUsage.used | hiveserver2/memory/UsedNonHeapMemory | y |
| hiveserver2:JVM:Memory:NonHeapMemoryUsage.max | hiveserver2/memory/MaxNonHeapMemory | y |
Hive Metastore 측정항목
| 측정항목 | 측정항목 탐색기 이름 | 기본적으로 수집 |
|---|---|---|
| hivemetastore:API:GetDatabase:Mean | hivemetastore/get_database/mean | y |
| hivemetastore:API:CreateDatabase:Mean | hivemetastore/create_database/mean | y |
| hivemetastore:API:DropDatabase:Mean | hivemetastore/drop_database/mean | y |
| hivemetastore:API:AlterDatabase:Mean | hivemetastore/alter_database/mean | y |
| hivemetastore:API:GetAllDatabases:Mean | hivemetastore/get_all_databases/mean | y |
| hivemetastore:API:CreateTable:Mean | hivemetastore/create_table/mean | y |
| hivemetastore:API:DropTable:Mean | hivemetastore/drop_table/mean | y |
| hivemetastore:API:AlterTable:Mean | hivemetastore/alter_table/mean | y |
| hivemetastore:API:GetTable:Mean | hivemetastore/get_table/mean | y |
| hivemetastore:API:GetAllTables:Mean | hivemetastore/get_all_tables/mean | y |
| hivemetastore:API:AddPartitionsReq:Mean | hivemetastore/add_partitions_req/mean | y |
| hivemetastore:API:DropPartition:Mean | hivemetastore/drop_partition/mean | y |
| hivemetastore:API:AlterPartition:Mean | hivemetastore/alter_partition/mean | y |
| hivemetastore:API:GetPartition:Mean | hivemetastore/get_partition/mean | y |
| hivemetastore:API:GetPartitionNames:Mean | hivemetastore/get_partition_names/mean | y |
| hivemetastore:API:GetPartitionsPs:Mean | hivemetastore/get_partitions_ps/mean | y |
| hivemetastore:API:GetPartitionsPsWithAuth:Mean | hivemetastore/get_partitions_ps_with_auth/mean | y |
Hive Metastore 측정항목 측정
| 통계 척도 | 샘플 측정항목 | 샘플 측정항목 이름 |
|---|---|---|
| 최대 | hivemetastore:API:GetDatabase:Max | hivemetastore/get_database/max |
| 최소 | hivemetastore:API:GetDatabase:Min | hivemetastore/get_database/min |
| 평균 | hivemetastore:API:GetDatabase:Mean | hivemetastore/get_database/mean |
| 개수 | hivemetastore:API:GetDatabase:Count | hivemetastore/get_database/count |
| 50번째 백분위수 | hivemetastore:API:GetDatabase:50thPercentile | hivemetastore/get_database/median |
| 75번째 백분위수 | hivemetastore:API:GetDatabase:75thPercentile | hivemetastore/get_database/75th_percentile |
| 95번째 백분위수 | hivemetastore:API:GetDatabase:95thPercentile | hivemetastore/get_database/95th_percentile |
| 98번째 백분위수 | hivemetastore:API:GetDatabase:98thPercentile | hivemetastore/get_database/98th_percentile |
| 99번째 백분위수 | hivemetastore:API:GetDatabase:99thPercentile | hivemetastore/get_database/99th_percentile |
| 999째 백분위수 | hivemetastore:API:GetDatabase:999thPercentile | hivemetastore/get_database/999th_percentile |
| 표준 편차 | hivemetastore:API:GetDatabase:StdDev | hivemetastore/get_database/stddev |
| 15분 요율 | hivemetastore:API:GetDatabase:FifteenMinuteRate | hivemetastore/get_database/15min_rate |
| 5분 요율 | hivemetastore:API:GetDatabase:FiveMinuteRate | hivemetastore/get_database/5min_rate |
| 1분 요율 | hivemetastore:API:GetDatabase:OneMinuteRate | hivemetastore/get_database/1min_rate |
| 평균 요율 | hivemetastore:API:GetDatabase:MeanRate | hivemetastore/get_database/mean_rate |
Dataproc 모니터링 에이전트 측정항목
기본적으로 Dataproc은 agent.googleapis.com 프리픽스와 함께 게시되는 다음 Dataproc 모니터링 에이전트 기본 측정항목을 수집합니다.
CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*
디스크
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count
스왑
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used
메모리
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used
프로세스 - (몇 가지 속성에 대해 약간 다른 할당량 정책 준수)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage
인터페이스
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic
네트워크
agent.googleapis.com/network/tcp_connections
OSS 측정항목 수집 사용 설정
Dataproc 클러스터를 만들 때 gcloud CLI 또는 Dataproc API를 사용하여 두 가지 방법으로 OSS 측정항목 수집을 사용 설정할 수 있습니다(하나 또는 두 가지 수집 방법 모두 사용 가능).
- 하나 이상의 OSS 측정항목 소스에서 기본 측정항목만 수집 사용 설정
- 하나 이상의 OSS 측정항목 소스에서 지정된 ('재정의') 측정항목만 수집 사용 설정
gcloud 명령어
기본 측정항목 수집
gcloud dataproc clusters create --metric-sources 플래그를 사용하여 하나 이상의 측정항목 소스에서 기본 사용 가능한 OSS 측정항목 수집을 사용 설정합니다.
gcloud dataproc clusters create cluster-name \ --metric-sources=METRIC_SOURCE(s) \ ... other flags
참고:
--metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스spark,hdfs,yarn,spark-history-server,hiveserver2,hivemetastore,monitoring-agent-defaults중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨).
측정항목 수집 재정의
원하는 경우 --metric-overrides 또는 --metric-overrides-file 플래그를 추가하여 하나 이상의 측정항목 소스에서 사용 가능한 OSS 측정항목을 하나 이상 수집하도록 사용 설정할 수 있습니다.
-
사용 가능한 OSS 측정항목과 모든 Spark 측정항목은 측정항목 재정의로 수집에 나열될 수 있습니다. 재정의 측정항목 값은 대소문자를 구분하며 적절한 경우 CamelCase 형식으로 제공해야 합니다.
예
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committedhiveserver2:JVM:Memory:NonHeapMemoryUsage.usedyarn:ResourceManager:JvmMetrics:MemHeapMaxM
-
지정된 측정항목 소스에서 재정의된 측정항목만 수집됩니다. 예를 들어 하나 이상의
spark:executive측정항목이 측정항목 재정의로 나열되면 다른SPARK측정항목이 수집되지 않습니다. 다른 측정항목 소스의 기본 OSS 측정항목 수집은 영향을 받지 않습니다. 예를 들어SPARK및YARN측정항목 소스가 모두 사용 설정되고 Spark 측정항목에 대해서만 재정의가 제공되는 경우 모든 기본 YARN 측정항목이 수집됩니다. -
지정된 측정항목 재정의 소스를 사용 설정해야 합니다. 예를 들어 하나 이상의
spark:driver측정항목이 측정항목 재정의로 제공되는 경우spark측정항목 소스를 사용 설정해야 합니다(--metric-sources=spark).
측정항목 목록 재정의
gcloud dataproc clusters create cluster-name \ --metric-sources=METRIC_SOURCE(s) \ --metric-overrides=LIST_OF_METRIC_OVERRIDES \ ... other flags
참고:
--metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스spark,hdfs,yarn,spark-history-server,hiveserver2,hivemetastore,monitoring-agent-defaults중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨).--metric-overrides: 다음 형식의 측정항목 목록을 제공합니다.METRIC_SOURCE:INSTANCE:GROUP:METRIC
예:
--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed- 이 플래그는
--metric-overrides-file플래그의 대안이며 함께 사용할 수 없습니다.
측정항목 파일 재정의
gcloud dataproc clusters create cluster-name \ --metric-sources=METRIC-SOURCE(s) \ --metric-overrides-file=METRIC_OVERRIDES_FILENAME \ ... other flags
참고:
-
--metric-sources: 기본 측정항목 수집을 사용 설정하는 데 필요합니다. 측정항목 소스spark,hdfs,yarn,spark-history-server,hiveserver2,hivemetastore,monitoring-agent-defaults중 하나 이상을 지정합니다. 측정항목 소스 이름은 대소문자를 구분하지 않습니다(예: 'yarn' 또는 'YARN'이 허용됨). -
--metric-overrides-file: 다음 형식의 측정항목이 하나 이상 포함된 로컬 또는 Cloud Storage 파일(gs://bucket/filename)을 지정합니다.METRIC_SOURCE:INSTANCE:GROUP:METRIC
camelcase 형식을 적절하게 사용합니다.Examples
--metric-overrides-file=gs://my-bucket/my-filename.txt--metric-overrides-file=./local-directory/local-filename.txt
- 이 플래그는
--metric-overrides플래그의 대안이며 함께 사용할 수 없습니다.
REST API
clusters.create 요청의 일부로 DataprocMetricConfig를 사용하여 OSS 측정항목 수집을 사용 설정합니다.
Monitoring 대시보드 빌드
선택한 Cloud Dataproc 클러스터 측정항목의 차트를 표시하는 커스텀 Monitoring 대시보드를 빌드할 수 있습니다.
Monitoring 대시보드 개요 페이지에서 + 대시보드 만들기를 선택합니다. 대시 보드의 이름을 입력한 다음 오른쪽 상단 메뉴에서 차트 추가를 클릭하여 차트 추가 창을 엽니다. 리소스 유형으로 'Cloud Dataproc 클러스터'를 선택합니다. 하나 이상의 측정항목과 측정항목 및 차트 속성을 선택합니다. 그런 다음 차트를 저장합니다.
추가 차트를 대시보드에 추가할 수 있습니다. 대시보드를 저장하면 해당 제목이 Monitoring 대시보드 개요 페이지에 표시됩니다. 대시보드 차트를 대시보드 표시 페이지에서 보고, 업데이트하고, 삭제할 수 있습니다.
