Cloud Monitoring

O Cloud Monitoring mostra o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O pacote de operações do Google Cloud coleta e ingere métricas, eventos e metadados de clusters do Dataproc, incluindo métricas HDFS, YARN, job e operação por cluster, para gerar insights por meio de painéis e gráficos (consulte Métricas do Dataproc do Cloud Monitoring).

Use as métricas do cluster do Cloud Monitoring para monitorar o desempenho e a integridade dos clusters do Dataproc.

Métricas do cluster do Dataproc

O Dataproc coleta métricas de recursos de clusters que podem ser visualizadas no Monitoring.

Ver métricas do cluster

É possível examinar o Monitoring no console do Google Cloud ou usando a API Monitoring.

Console

  1. Depois de criar um cluster, acesse Monitoramento no Console do Google Cloud para visualizar dados de monitoramento do cluster.

    Depois que o console do Monitoring aparecer, você poderá instalar o agente do Monitoring em VMs no seu projeto como uma etapa adicional de configuração. Não é necessário instalar o agente em VMs em clusters do Dataproc porque essa etapa é executada quando você cria um cluster do Dataproc.

  2. Selecione Metrics Explorer. Na lista suspensa "Encontrar tipo de recurso e métrica", selecione o recurso "Cluster do Cloud Dataproc" ou digite "cloud_dataproc_cluster" na caixa.
  3. Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Na próxima captura de tela, "YARN memory size" está selecionado. Passe o mouse sobre o nome da métrica para ver informações sobre ela.

    Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

Você pode usar a API timeSeries.list do Monitoring para capturar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Exemplo: veja o snapshot de uma solicitação de modelo e a resposta JSON retornada para os seguintes parâmetros timeSeries.list do Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Métricas de OSS

É possível ativar o Dataproc para coletar as métricas do componente OSS do cluster para visualização no Monitoring. As métricas do OSS do Dataproc são coletadas no seguinte formato:

custom.googleapis.com/OSS_COMPONENT/METRIC

Exemplos de métrica do OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Métricas de OSS disponíveis

É possível ativar o Dataproc para coletar as métricas do OSS listadas nas tabelas a seguir. A coluna Coletada por padrão será marcada com "y" se o Dataproc coletar a métrica por padrão quando você ativar a origem da métrica associada. Qualquer uma das métricas listadas para uma origem e todas as métricas do Spark) poderá ser ativada para coleta se você substituir a coleta de métricas padrão da fonte (consulte Ativar coleta de métricas do OSS).

Métricas do Hadoop

Métricas do HDFS

Métrica Nome do Metrics Explorer Coletado por padrão
hdfs:NomeNó:FSNamesistema:CapacidadeTotalGB dfs/FSNamesystem/capacityTotalGB y
hdfs:NameNode:FSNamesystem:capacityUsedGB dfs/FSNamesystem/capacityUsedGB y
hdfs:NomeNó:FSNamesistema:CapacidadeRemanescente dfs/FSNamesystem/capacityPersistentGB y
hdfs:NomeNode:FSNamesystem:FilesTotal dfs/FSNamesystem/FilesTotal y
hdfs:NameNode:FSNamesystem:MissingBlocks dfs/FSNamesystem/MissingBlocks n
hdfs:NomeNó:FSNamesistema:ExpiradoHeartbeats dfs/FSNamesystem/ExpirationHeartbeats n
hdfs:NameNode:FSNamesystem:transactionsSinceLastCheckpoint dfs/FSNamesystem/transactionsSinceLastCheckpoint n
hdfs:NameNode:FSNamesystem:transactionsSinceLastLogRoll dfs/FSNamesystem/transactionsSinceLastLogRoll n
hdfs:NameNode:FSNamesystem:LastWrittenTransactionId dfs/FSNamesystem/LastWrittenTransactionId n
hdfs:NomeNode:FSNamesystem:CapacidadeTotal dfs/FSNamesystem/CapacidadeTotal n
hdfs:NomeNó:FSNamesistema:CapacidadeUso dfs/FSNamesystem/capacityUsed n
hdfs:NomeNó:FSNamesystem:Capacidade restante dfs/FSNamesystem/Capacidade restante n
hdfs:NameNode:FSNamesystem:CapacidadeUsedNonDFS dfs/FSNamesystem/capacityUsedNonDFS n
hdfs:NomeNó:FSNamesystem:TotalLoad dfs/FSNamesystem/TotalLoad n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories dfs/FSNamesystem/SnapshottableDirectories n
hdfs:NameNode:FSNamesystem:Snapshots dfs/FSNamesystem/Snapshots n
hdfs:NameNode:FSNamesystem:BlocksTotal dfs/FSNamesystem/BlocksTotal n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks dfs/FSNamesystem/PendingReplicationBlocks n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks dfs/FSNamesystem/UnderReplicatedBlocks n
hdfs:NameNode:FSNamesystem:CorruptBlocks dfs/FSNamesystem/CorruptBlocks n
hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks dfs/FSNamesystem/ScheduledReplicationBlocks n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks dfs/FSNamesystem/PendingDeletionBlocks n
hdfs:NameNode:FSNamesystem:ExcessBlocks dfs/FSNamesystem/ExcessBlocks n
hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks dfs/FSNamesystem/PostponedMisreplicatedBlocks n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt dfs/FSNamesystem/PendingDataNodeMessageCourt n
hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits dfs/FSNamesystem/MillisSinceLastLoadedEdits n
hdfs:NameNode:FSNamesystem:Blockcapacity dfs/FSNamesystem/Blockcapacity n
hdfs:NomeNó:FSNamesystem:StaleDataNodes dfs/FSNamesystem/StaleDataNodes n
hdfs:NomeNó:FSNamesystem:TotalFiles dfs/FSNamesystem/TotalFiles n
hdfs:NomeNode:JvmMetrics:MemHeapUsedM dfs/jvm/MemHeapUsedM n
hdfs:NomeNó:JvmMetrics:MemHeapCompromissoM dfs/jvm/MemHeapCommitM n
hdfs:NomeNó:JvmMetrics:MemHeapMaxM dfs/jvm/MemHeapMaxM n
hdfs:NomeNó:JvmMetrics:MemMaxM dfs/jvm/MemMaxM n

Métricas YARN

Métrica Nome do Metrics Explorer Coletado por padrão
yarn:ResourceManager:ClusterMetrics:NumActiveNMs lã/ClusterMetrics/NumActiveNMs y
yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs lã/ClusterMetrics/NumDecommissionedNMs n
yarn:ResourceManager:ClusterMetrics:NumLostNMs lã/ClusterMetrics/NumLostNMs n
yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs lã/ClusterMetrics/NumUnhealthyNMs n
yarn:ResourceManager:ClusterMetrics:NumReiniciaredNMs lã/ClusterMetrics/NumRestartedNMs n
yarn:ResourceManager:QueueMetrics:running_0 lã/QueueMetrics/running_0 y
yarn:ResourceManager:QueueMetrics:running_60 lã/QueueMetrics/running_60 y
yarn:ResourceManager:QueueMetrics:running_300 lã/QueueMetrics/running_300 y
yarn:ResourceManager:QueueMetrics:running_1440 lã/QueueMetrics/running_1440 y
yarn:ResourceManager:QueueMetrics:AppsSubmit lã/QueueMetrics/AppsEnviados y
yarn:ResourceManager:QueueMetrics:Disponível MB lã/QueueMetrics/Disponível MB y
yarn:ResourceManager:QueueMetrics:PendingContainers lã/QueueMetrics/PendingContainers y
yarn:ResourceManager:QueueMetrics:AppsRunning lã/QueueMetrics/AppsRunning n
yarn:ResourceManager:QueueMetrics:AppsPending lã/QueueMetrics/AppsPending n
yarn:ResourceManager:QueueMetrics:AppsCompleted lã/QueueMetrics/AppsCompleted n
yarn:ResourceManager:QueueMetrics:AppsKilled lã/QueueMetrics/AppsKilled n
yarn:ResourceManager:QueueMetrics:AppsFailed yarn/QueueMetrics/AppsFailed n
yarn:ResourceManager:QueueMetrics:Alocado MB lã/QueueMetrics/Alocada MB n
yarn:ResourceManager:QueueMetrics:AlocadodVCores lã/QueueMetrics/AlocadoVCVCores n
yarn:ResourceManager:QueueMetrics:Alocou contêineres lã/fila/fila/alocação de contêineres n
yarn:ResourceManager:QueueMetrics:AggregateContainersusercontent lã/QueueMetrics/AggregateContainers consulte n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased lã/QueueMetrics/AggregateContainersReleased n
yarn:ResourceManager:QueueMetrics:AvailableVCores lã/QueueMetrics/AvailableVCores n
yarn:ResourceManager:QueueMetrics:PendingMB Yarn/QueueMetrics/PendingMB n
yarn:ResourceManager:QueueMetrics:PendingVCores lã/QueueMetrics/PendingVCores n
yarn:ResourceManager:QueueMetrics:Reservado lã/QueueMetrics/Reservado para MB n
yarn:ResourceManager:QueueMetrics:reservedVCores lã/QueueMetrics/ReservadoVCVCores n
yarn:ResourceManager:QueueMetrics:reservedContainers lã/QueueMetrics/ContainersReservados n
yarn:ResourceManager:QueueMetrics:ActiveUsers lã/QueueMetrics/ActiveUsers n
yarn:ResourceManager:QueueMetrics:ActiveApplications lã/QueueMetrics/ActiveApplications n
yarn:ResourceManager:QueueMetrics:FairShareMB lã/QueueMetrics/FairShareMB n
yarn:ResourceManager:QueueMetrics:FairShareVCores lã/QueueMetrics/FairShareVCores n
yarn:ResourceManager:QueueMetrics:MinShareMB lã/QueueMetrics/MinShareMB n
yarn:ResourceManager:QueueMetrics:MinShareVCores lã/QueueMetrics/MinShareVCores n
yarn:ResourceManager:QueueMetrics:MaxShareMB lã/QueueMetrics/MaxShareMB n
yarn:ResourceManager:QueueMetrics:MaxShareVCores lã/QueueMetrics/MaxShareVCores n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM Yarn/jvm/MemHeapUsedM n
yarn:ResourceManager:JvmMetrics:MemHeapCompromissoM yarn/jvm/MemHeapCommitM n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM yarn/jvm/MemHeapMaxM n
yarn:ResourceManager:JvmMetrics:MemMaxM Yarn/jvm/MemMaxM n

Métricas do Spark

Métricas do driver do Spark

Métrica Nome do Metrics Explorer Coletado por padrão
spark:driver:BlockManager:disk.diskSpaceUsed_MB spark/driver/BlockManager/disk/diskSpaceUsed_MB y
spark:driver:BlockManager:memory.maxMem_MB Spark/Driver/BlockManager/memory/maxMem_MB y
spark:driver:BlockManager:memory.memUsed_MB Spark/Driver/BlockManager/memory/memUsed_MB y
spark:driver:DAGScheduler:job.allJobs. spark/driver/DAGScheduler/job/allJobs y
spark:driver:DAGScheduler:stage.failedStages Spark/Driver/DAGScheduler/stage/failedStages y
spark:driver:DAGScheduler:stage.waitingStages Spark/Driver/DAGScheduler/stage/waitingStages y

Métricas do executor do Spark

Métrica Nome do Metrics Explorer Coletado por padrão
spark:executor:executor:bytesRead Spark/executor/bytesRead y
spark:executor:executor:bytesWritten Spark/executor/bytes escrito y
spark:executor:executor:cpuTime spark/executor/cpuTime y
spark:executor:executor:diskBytesSpilled spark/executor/diskBytesSpilled y
spark:executor:executor:registros Spark/executor/recordsRead y
spark:executor:executor:recordsWritten Spark/executor/records escrito y
spark:executor:executor:runTime spark/executor/runTime; y
spark:executor:executor:shuffleRecordsRead spark/executor/shuffleRecordsRead y
spark:executor:executor:shuffleRecordsWritten spark/executor/shuffleRecordsWritten y

Métricas do servidor de histórico do Spark

O Dataproc coleta as seguintes métricas de memória da JVM do serviço de histórico do Spark:

Métrica Nome do Metrics Explorer Coletado por padrão
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.comcommit sparkHistoryServer/memory/CommitHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used sparkHistoryServer/memory/UsedHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max sparkHistoryServer/memory/MaxHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.comcommit sparkHistoryServer/memory/CommitNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used sparkHistoryServer/memory/UsedNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max sparkHistoryServer/memory/MaxNonHeapMemory y

Métricas do HiveServer 2

Métrica Nome do Metrics Explorer Coletado por padrão
hiveserver2:JVM:Memory:HeapMemoryUsage.comcommit hiveserver2/memory/CompromissoHeapMemory y
hiveserver2:JVM:Memory:HeapMemoryUsage.used hiveserver2/memory/UsedHeapMemory y
hiveserver2:JVM:Memory:HeapMemoryUsage.max hiveserver2/memory/MaxHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.comcommit hiveserver2/memory/CompromissoNonHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.used hiveserver2/memory/UsedNonHeapMemory y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.max hiveserver2/memory/MaxNonHeapMemory y

Métricas do metastore Hive

Métrica Nome do Metrics Explorer Coletado por padrão
hivemetastore:API:GetDatabase:Mean hivemetastore/get_database/mean y
hivemetastore:API:CreateDatabase:Mean hivemetastore/create_database/mean y
hivemetastore:API:DropDatabase:Mean hivemetastore/drop_database/mean y
hivemetastore:API:AlterDatabase:Média hivemetastore/alter_database/mean y
hivemetastore:API:GetAllDatabases:Mean hivemetastore/get_all_databases/mean y
hivemetastore:API:CreateTable:Média hivemetastore/create_table/mean y
hivemetastore:API:DropTable:Média hivemetastore/drop_table/mean y
hivemetastore:API:AlterTable:Média hivemetastore/alter_table/mean y
hivemetastore:API:GetTable:Média hivemetastore/get_table/mean y
hivemetastore:API:GetAllTables:Média hivemetastore/get_all_tables/mean y
hivemetastore:API:AddPartitionsReq:Média hivemetastore/add_partitions_req/mean y
hivemetastore:API:DropPartition:Mean hivemetastore/drop_partition/mean y
hivemetastore:API:AlterPartition:Média hivemetastore/alter_partition/mean y
hivemetastore:API:GetPartition:Mean hivemetastore/get_partition/mean y
hivemetastore:API:GetPartitionNames:Mean hivemetastore/get_partition_names/mean y
hivemetastore:API:GetPartitionsPs:Média hivemetastore/get_partitions_ps/mean y
hivemetastore:API:GetPartitionsPsWithAuth:Mean hivemetastore/get_partitions_ps_with_auth/mean y
Medidas da métrica do metastore Hive
Medida estatística Exemplo de métrica Exemplo de nome de métrica
Máx. hivemetastore:API:GetDatabase:Max hivemetastore/get_database/max
Mín. hivemetastore:API:GetDatabase:Min hivemetastore/get_database/min
Média hivemetastore:API:GetDatabase:Mean hivemetastore/get_database/mean
Contagem hivemetastore:API:GetDatabase:Count hivemetastore/get_database/count
50.o percentil hivemetastore:API:GetDatabase:50thPercentile hivemetastore/get_database/median
75.o percentil hivemetastore:API:GetDatabase:75thPercentile hivemetastore/get_database/75th_percentile
95.o percentil hivemetastore:API:GetDatabase:95thPercentile hivemetastore/get_database/95th_percentile
98.o percentil hivemetastore:API:GetDatabase:98thPercentile hivemetastore/get_database/98th_percentile
99.o percentil hivemetastore:API:GetDatabase:99thPercentile hivemetastore/get_database/99th_percentile
999.o percentil hivemetastore:API:GetDatabase:999thPercentile hivemetastore/get_database/999th_percentile
Desvio padrão hivemetastore:API:GetDatabase:StdDev hivemetastore/get_database/stddev
Taxa de 15 minutos hivemetastore:API:GetDatabase:FifteenMinuteRate hivemetastore/get_database/15min_rate
Taxa de cinco minutos hivemetastore:API:GetDatabase:FiveMinuteRate hivemetastore/get_database/5min_rate
Taxa de um minuto hivemetastore:API:GetDatabase:OneMinuteRate hivemetastore/get_database/1min_rate
Taxa média hivemetastore:API:GetDatabase:MeanRate hivemetastore/get_database/mean_rate

Métricas do agente de monitoramento do Dataproc

Por padrão, o Dataproc coleta as seguintes métricas padrão do agente de monitoramento do Dataproc, que são publicadas com um prefixo agent.googleapis.com:

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disco
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used count

Trocar
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memória
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Processos: (segue uma política de cota um pouco diferente para alguns atributos)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/forkrs/process_br

Interface
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Rede
agent.googleapis.com/network/tcp_connections

Ativar a coleta de métricas de OSS

Ao criar um cluster do Dataproc, você pode usar a CLI gcloud ou a API Dataproc para ativar a coleta de métricas do OSS de duas maneiras. É possível usar um ou ambos os métodos de coleta:

  1. Ative a coleta apenas das métricas padrão de uma ou mais origens de métricas OSS
  2. Ativa a coleta de apenas métricas especificadas ("substituições") de uma ou mais fontes de métricas do OSS.

Comando gcloud

Coleta de métricas padrão

Use a sinalização gcloud dataproc clusters create --metric-sources para ativar a coleta das métricas padrão do OSS disponíveis de uma ou mais origens.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Observações:

  • --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas (por exemplo, "yarn" ou "YARN" é aceitável).

Substituir a coleta de métricas

Se quiser, adicione a sinalização --metric-overrides ou --metric-overrides-file para ativar a coleta de uma ou mais métricas de OSS disponíveis de uma ou mais origens.

  • Qualquer uma das métricas do OSS disponíveis e todas as métricas do Spark podem ser listadas para coleta como uma substituição de métrica. Os valores de métrica de substituição diferenciam maiúsculas de minúsculas e precisam ser fornecidos, se apropriado, no formato CamelCase.

    Examples

    • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
    • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
    • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

  • Somente as métricas substituídas especificadas serão coletadas de uma determinada origem de métricas. Por exemplo, se uma ou mais métricas spark:executive estiverem listadas como substituições, outras SPARK não serão coletadas. A coleta de métricas padrão de OSS de outras fontes não é afetada. Por exemplo, se as fontes de métricas SPARK e YARN estiverem ativadas e as substituições forem fornecidas apenas para métricas do Spark, todas as métricas padrão do YARN serão coletadas.
  • A origem da substituição da métrica especificada precisa estar ativada. Por exemplo, se uma ou mais métricas spark:driver forem fornecidas como substituições de métrica, a origem da métrica spark precisará ser ativada (--metric-sources=spark).

Substituir a lista de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Observações:

  • --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas. Por exemplo, "yarn" ou "YARN" são aceitáveis.
  • --metric-overrides: forneça uma lista de métricas no seguinte formato:

    METRIC_SOURCEhINSTANCEminGROUPsMETRIC

    Exemplo:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

  • Essa sinalização é uma alternativa e não pode ser usada com a sinalização --metric-overrides-file.

Substituir o arquivo de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Observações:

  • --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas. Por exemplo, "yarn" ou "YARN" são aceitáveis.
  • --metric-overrides-file: especifica um arquivo local ou do Cloud Storage (gs://bucket/filename) que contém uma ou mais métricas no seguinte formato:

    METRIC_SOURCEhINSTANCEminGROUPsMETRIC

    Use o formato CamelCase conforme apropriado.

    Examples

    • --metric-overrides-file=gs://my-bucket/my-filename.txt
    • --metric-overrides-file=./local-directory/local-filename.txt

  • Essa sinalização é uma alternativa e não pode ser usada com a sinalização --metric-overrides.

API REST

Use DataprocMetricConfig como parte de uma solicitação clusters.create para ativar a coleta de métricas do OSS.

Criar um painel do Monitoring

É possível criar um painel personalizado do Monitoring com gráficos de métricas do cluster do Cloud Dataproc selecionadas.

  1. Selecione + CREATE DASHBOARD na página Dashboards Overview do Monitoring. Forneça um nome para o painel e clique em Add Chart no menu superior direito para abrir a janela Add Chart. Selecione “Cloud Dataproc Cluster” como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Em seguida, salve o gráfico.

  2. É possível adicionar gráficos ao seu painel. Depois que você salvar o painel, seu título aparecerá na página Dashboards Overview do Monitoring. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

A seguir