Cloud Monitoring

O Cloud Monitoring mostra o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O pacote de operações do Google Cloud coleta e ingere métricas, eventos e metadados de clusters do Dataproc, incluindo métricas HDFS, YARN, job e operação por cluster, para gerar insights por meio de painéis e gráficos (consulte Métricas do Dataproc do Cloud Monitoring).

Use as métricas do cluster do Cloud Monitoring para monitorar o desempenho e a integridade dos clusters do Dataproc.

• Veja os preços do Cloud Monitoring para entender seus custos.

• Consulte Como monitorar cotas e limites para informações sobre retenção de dados de métricas.

Métricas do cluster do Dataproc

O Dataproc coleta métricas de recursos de clusters que podem ser visualizadas no Monitoring.

As métricas de cluster do Dataproc estão disponíveis no Monitoring ao usar a versão de imagem 1.2.22 e posteriores do Dataproc.

Ver métricas do cluster

É possível examinar o Monitoring no console do Google Cloud ou usando a API Monitoring.

Console

1. Depois de criar um cluster, acesse Monitoramento no Console do Google Cloud para visualizar dados de monitoramento do cluster.
   Também é possível acessar o console do Monitoring no menu do Console do Google Cloud.

   

   Depois que o console do Monitoring aparecer, você poderá instalar o agente do Monitoring em VMs no seu projeto como uma etapa adicional de configuração. Não é necessário instalar o agente em VMs em clusters do Dataproc porque essa etapa é executada quando você cria um cluster do Dataproc.

   

2. Selecione Metrics Explorer. Na lista suspensa "Encontrar tipo de recurso e métrica", selecione o recurso "Cluster do Cloud Dataproc" ou digite "cloud_dataproc_cluster" na caixa.

   

3. Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Na próxima captura de tela, "YARN memory size" está selecionado. Passe o mouse sobre o nome da métrica para ver informações sobre ela.

   

   Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

Você pode usar a API timeSeries.list do Monitoring para capturar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Expanda a página Teste esta API para ver o cURL e o JavaScript equivalentes para sua solicitação de modelo e a resposta JSON retornada pelo Monitoring.

Exemplo: veja o snapshot de uma solicitação de modelo e a resposta JSON retornada para os seguintes parâmetros timeSeries.list do Monitoring:

• name: projects/example-project-id
• filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
• interval.endTime: 2018-02-27T11:54:00.000-08:00
• interval.startTime: 2018-02-20T00:00:00.000-08:00

Métricas de OSS

É possível ativar o Dataproc para coletar as métricas do componente OSS do cluster para visualização no Monitoring. As métricas do OSS do Dataproc são coletadas no seguinte formato:

custom.googleapis.com/OSS_COMPONENT/METRIC

Exemplos de métrica do OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Métricas de OSS disponíveis

É possível ativar o Dataproc para coletar as métricas do OSS listadas nas tabelas a seguir. A coluna Coletada por padrão será marcada com "y" se o Dataproc coletar a métrica por padrão quando você ativar a origem da métrica associada. Qualquer uma das métricas listadas para uma origem e todas as métricas do Spark) poderá ser ativada para coleta se você substituir a coleta de métricas padrão da fonte (consulte Ativar coleta de métricas do OSS).

Observação: o Dataproc usa as métricas de coleta do agente de monitoramento. A ativação de uma origem de métrica permite a coleta de métricas de agente. Essas métricas não são faturadas para os usuários, mas o Dataproc as usa para diagnosticar problemas de coleta de métricas.

Métricas do Hadoop

Métricas do HDFS

Métrica	Nome do Metrics Explorer	Coletado por padrão
hdfs:NomeNó:FSNamesistema:CapacidadeTotalGB	dfs/FSNamesystem/capacityTotalGB	y
hdfs:NameNode:FSNamesystem:capacityUsedGB	dfs/FSNamesystem/capacityUsedGB	y
hdfs:NomeNó:FSNamesistema:CapacidadeRemanescente	dfs/FSNamesystem/capacityPersistentGB	y
hdfs:NomeNode:FSNamesystem:FilesTotal	dfs/FSNamesystem/FilesTotal	y
hdfs:NameNode:FSNamesystem:MissingBlocks	dfs/FSNamesystem/MissingBlocks	n
hdfs:NomeNó:FSNamesistema:ExpiradoHeartbeats	dfs/FSNamesystem/ExpirationHeartbeats	n
hdfs:NameNode:FSNamesystem:transactionsSinceLastCheckpoint	dfs/FSNamesystem/transactionsSinceLastCheckpoint	n
hdfs:NameNode:FSNamesystem:transactionsSinceLastLogRoll	dfs/FSNamesystem/transactionsSinceLastLogRoll	n
hdfs:NameNode:FSNamesystem:LastWrittenTransactionId	dfs/FSNamesystem/LastWrittenTransactionId	n
hdfs:NomeNode:FSNamesystem:CapacidadeTotal	dfs/FSNamesystem/CapacidadeTotal	n
hdfs:NomeNó:FSNamesistema:CapacidadeUso	dfs/FSNamesystem/capacityUsed	n
hdfs:NomeNó:FSNamesystem:Capacidade restante	dfs/FSNamesystem/Capacidade restante	n
hdfs:NameNode:FSNamesystem:CapacidadeUsedNonDFS	dfs/FSNamesystem/capacityUsedNonDFS	n
hdfs:NomeNó:FSNamesystem:TotalLoad	dfs/FSNamesystem/TotalLoad	n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories	dfs/FSNamesystem/SnapshottableDirectories	n
hdfs:NameNode:FSNamesystem:Snapshots	dfs/FSNamesystem/Snapshots	n
hdfs:NameNode:FSNamesystem:BlocksTotal	dfs/FSNamesystem/BlocksTotal	n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks	dfs/FSNamesystem/PendingReplicationBlocks	n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks	dfs/FSNamesystem/UnderReplicatedBlocks	n
hdfs:NameNode:FSNamesystem:CorruptBlocks	dfs/FSNamesystem/CorruptBlocks	n
hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks	dfs/FSNamesystem/ScheduledReplicationBlocks	n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks	dfs/FSNamesystem/PendingDeletionBlocks	n
hdfs:NameNode:FSNamesystem:ExcessBlocks	dfs/FSNamesystem/ExcessBlocks	n
hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks	dfs/FSNamesystem/PostponedMisreplicatedBlocks	n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt	dfs/FSNamesystem/PendingDataNodeMessageCourt	n
hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits	dfs/FSNamesystem/MillisSinceLastLoadedEdits	n
hdfs:NameNode:FSNamesystem:Blockcapacity	dfs/FSNamesystem/Blockcapacity	n
hdfs:NomeNó:FSNamesystem:StaleDataNodes	dfs/FSNamesystem/StaleDataNodes	n
hdfs:NomeNó:FSNamesystem:TotalFiles	dfs/FSNamesystem/TotalFiles	n
hdfs:NomeNode:JvmMetrics:MemHeapUsedM	dfs/jvm/MemHeapUsedM	n
hdfs:NomeNó:JvmMetrics:MemHeapCompromissoM	dfs/jvm/MemHeapCommitM	n
hdfs:NomeNó:JvmMetrics:MemHeapMaxM	dfs/jvm/MemHeapMaxM	n
hdfs:NomeNó:JvmMetrics:MemMaxM	dfs/jvm/MemMaxM	n

Métricas YARN

Métrica	Nome do Metrics Explorer	Coletado por padrão
yarn:ResourceManager:ClusterMetrics:NumActiveNMs	lã/ClusterMetrics/NumActiveNMs	y
yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs	lã/ClusterMetrics/NumDecommissionedNMs	n
yarn:ResourceManager:ClusterMetrics:NumLostNMs	lã/ClusterMetrics/NumLostNMs	n
yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs	lã/ClusterMetrics/NumUnhealthyNMs	n
yarn:ResourceManager:ClusterMetrics:NumReiniciaredNMs	lã/ClusterMetrics/NumRestartedNMs	n
yarn:ResourceManager:QueueMetrics:running_0	lã/QueueMetrics/running_0	y
yarn:ResourceManager:QueueMetrics:running_60	lã/QueueMetrics/running_60	y
yarn:ResourceManager:QueueMetrics:running_300	lã/QueueMetrics/running_300	y
yarn:ResourceManager:QueueMetrics:running_1440	lã/QueueMetrics/running_1440	y
yarn:ResourceManager:QueueMetrics:AppsSubmit	lã/QueueMetrics/AppsEnviados	y
yarn:ResourceManager:QueueMetrics:Disponível MB	lã/QueueMetrics/Disponível MB	y
yarn:ResourceManager:QueueMetrics:PendingContainers	lã/QueueMetrics/PendingContainers	y
yarn:ResourceManager:QueueMetrics:AppsRunning	lã/QueueMetrics/AppsRunning	n
yarn:ResourceManager:QueueMetrics:AppsPending	lã/QueueMetrics/AppsPending	n
yarn:ResourceManager:QueueMetrics:AppsCompleted	lã/QueueMetrics/AppsCompleted	n
yarn:ResourceManager:QueueMetrics:AppsKilled	lã/QueueMetrics/AppsKilled	n
yarn:ResourceManager:QueueMetrics:AppsFailed	yarn/QueueMetrics/AppsFailed	n
yarn:ResourceManager:QueueMetrics:Alocado MB	lã/QueueMetrics/Alocada MB	n
yarn:ResourceManager:QueueMetrics:AlocadodVCores	lã/QueueMetrics/AlocadoVCVCores	n
yarn:ResourceManager:QueueMetrics:Alocou contêineres	lã/fila/fila/alocação de contêineres	n
yarn:ResourceManager:QueueMetrics:AggregateContainersusercontent	lã/QueueMetrics/AggregateContainers consulte	n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased	lã/QueueMetrics/AggregateContainersReleased	n
yarn:ResourceManager:QueueMetrics:AvailableVCores	lã/QueueMetrics/AvailableVCores	n
yarn:ResourceManager:QueueMetrics:PendingMB	Yarn/QueueMetrics/PendingMB	n
yarn:ResourceManager:QueueMetrics:PendingVCores	lã/QueueMetrics/PendingVCores	n
yarn:ResourceManager:QueueMetrics:Reservado	lã/QueueMetrics/Reservado para MB	n
yarn:ResourceManager:QueueMetrics:reservedVCores	lã/QueueMetrics/ReservadoVCVCores	n
yarn:ResourceManager:QueueMetrics:reservedContainers	lã/QueueMetrics/ContainersReservados	n
yarn:ResourceManager:QueueMetrics:ActiveUsers	lã/QueueMetrics/ActiveUsers	n
yarn:ResourceManager:QueueMetrics:ActiveApplications	lã/QueueMetrics/ActiveApplications	n
yarn:ResourceManager:QueueMetrics:FairShareMB	lã/QueueMetrics/FairShareMB	n
yarn:ResourceManager:QueueMetrics:FairShareVCores	lã/QueueMetrics/FairShareVCores	n
yarn:ResourceManager:QueueMetrics:MinShareMB	lã/QueueMetrics/MinShareMB	n
yarn:ResourceManager:QueueMetrics:MinShareVCores	lã/QueueMetrics/MinShareVCores	n
yarn:ResourceManager:QueueMetrics:MaxShareMB	lã/QueueMetrics/MaxShareMB	n
yarn:ResourceManager:QueueMetrics:MaxShareVCores	lã/QueueMetrics/MaxShareVCores	n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM	Yarn/jvm/MemHeapUsedM	n
yarn:ResourceManager:JvmMetrics:MemHeapCompromissoM	yarn/jvm/MemHeapCommitM	n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM	yarn/jvm/MemHeapMaxM	n
yarn:ResourceManager:JvmMetrics:MemMaxM	Yarn/jvm/MemMaxM	n

Métricas do Spark

Observação:as métricas do Spark podem ser ativadas para coleta como substituições de métricas. Consulte Ativar a coleta de métricas do OSS.

Métricas do driver do Spark

Métrica	Nome do Metrics Explorer	Coletado por padrão
spark:driver:BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB	y
spark:driver:BlockManager:memory.maxMem_MB	Spark/Driver/BlockManager/memory/maxMem_MB	y
spark:driver:BlockManager:memory.memUsed_MB	Spark/Driver/BlockManager/memory/memUsed_MB	y
spark:driver:DAGScheduler:job.allJobs.	spark/driver/DAGScheduler/job/allJobs	y
spark:driver:DAGScheduler:stage.failedStages	Spark/Driver/DAGScheduler/stage/failedStages	y
spark:driver:DAGScheduler:stage.waitingStages	Spark/Driver/DAGScheduler/stage/waitingStages	y

Métricas do executor do Spark

Métrica	Nome do Metrics Explorer	Coletado por padrão
spark:executor:executor:bytesRead	Spark/executor/bytesRead	y
spark:executor:executor:bytesWritten	Spark/executor/bytes escrito	y
spark:executor:executor:cpuTime	spark/executor/cpuTime	y
spark:executor:executor:diskBytesSpilled	spark/executor/diskBytesSpilled	y
spark:executor:executor:registros	Spark/executor/recordsRead	y
spark:executor:executor:recordsWritten	Spark/executor/records escrito	y
spark:executor:executor:runTime	spark/executor/runTime;	y
spark:executor:executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead	y
spark:executor:executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten	y

Métricas do servidor de histórico do Spark

O Dataproc coleta as seguintes métricas de memória da JVM do serviço de histórico do Spark:

Métrica	Nome do Metrics Explorer	Coletado por padrão
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.comcommit	sparkHistoryServer/memory/CommitHeapMemory	y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used	sparkHistoryServer/memory/UsedHeapMemory	y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max	sparkHistoryServer/memory/MaxHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.comcommit	sparkHistoryServer/memory/CommitNonHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used	sparkHistoryServer/memory/UsedNonHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max	sparkHistoryServer/memory/MaxNonHeapMemory	y

Métricas do HiveServer 2

Métrica	Nome do Metrics Explorer	Coletado por padrão
hiveserver2:JVM:Memory:HeapMemoryUsage.comcommit	hiveserver2/memory/CompromissoHeapMemory	y
hiveserver2:JVM:Memory:HeapMemoryUsage.used	hiveserver2/memory/UsedHeapMemory	y
hiveserver2:JVM:Memory:HeapMemoryUsage.max	hiveserver2/memory/MaxHeapMemory	y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.comcommit	hiveserver2/memory/CompromissoNonHeapMemory	y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.used	hiveserver2/memory/UsedNonHeapMemory	y
hiveserver2:JVM:Memory:NonHeapMemoryUsage.max	hiveserver2/memory/MaxNonHeapMemory	y

Métricas do metastore Hive

Métrica	Nome do Metrics Explorer	Coletado por padrão
hivemetastore:API:GetDatabase:Mean	hivemetastore/get_database/mean	y
hivemetastore:API:CreateDatabase:Mean	hivemetastore/create_database/mean	y
hivemetastore:API:DropDatabase:Mean	hivemetastore/drop_database/mean	y
hivemetastore:API:AlterDatabase:Média	hivemetastore/alter_database/mean	y
hivemetastore:API:GetAllDatabases:Mean	hivemetastore/get_all_databases/mean	y
hivemetastore:API:CreateTable:Média	hivemetastore/create_table/mean	y
hivemetastore:API:DropTable:Média	hivemetastore/drop_table/mean	y
hivemetastore:API:AlterTable:Média	hivemetastore/alter_table/mean	y
hivemetastore:API:GetTable:Média	hivemetastore/get_table/mean	y
hivemetastore:API:GetAllTables:Média	hivemetastore/get_all_tables/mean	y
hivemetastore:API:AddPartitionsReq:Média	hivemetastore/add_partitions_req/mean	y
hivemetastore:API:DropPartition:Mean	hivemetastore/drop_partition/mean	y
hivemetastore:API:AlterPartition:Média	hivemetastore/alter_partition/mean	y
hivemetastore:API:GetPartition:Mean	hivemetastore/get_partition/mean	y
hivemetastore:API:GetPartitionNames:Mean	hivemetastore/get_partition_names/mean	y
hivemetastore:API:GetPartitionsPs:Média	hivemetastore/get_partitions_ps/mean	y
hivemetastore:API:GetPartitionsPsWithAuth:Mean	hivemetastore/get_partitions_ps_with_auth/mean	y

Medidas da métrica do metastore Hive

Observação: por padrão, as métricas de valor médio são coletadas para as APIs Metastore do Hive listadas anteriormente. Também é possível ativar a coleta das seguintes medidas estatísticas. Uma amostra de métrica e o nome do explorador de métrica são mostrados para cada medida estatística.

Medida estatística	Exemplo de métrica	Exemplo de nome de métrica
Máx.	hivemetastore:API:GetDatabase:Max	hivemetastore/get_database/max
Mín.	hivemetastore:API:GetDatabase:Min	hivemetastore/get_database/min
Média	hivemetastore:API:GetDatabase:Mean	hivemetastore/get_database/mean
Contagem	hivemetastore:API:GetDatabase:Count	hivemetastore/get_database/count
50.o percentil	hivemetastore:API:GetDatabase:50thPercentile	hivemetastore/get_database/median
75.o percentil	hivemetastore:API:GetDatabase:75thPercentile	hivemetastore/get_database/75th_percentile
95.o percentil	hivemetastore:API:GetDatabase:95thPercentile	hivemetastore/get_database/95th_percentile
98.o percentil	hivemetastore:API:GetDatabase:98thPercentile	hivemetastore/get_database/98th_percentile
99.o percentil	hivemetastore:API:GetDatabase:99thPercentile	hivemetastore/get_database/99th_percentile
999.o percentil	hivemetastore:API:GetDatabase:999thPercentile	hivemetastore/get_database/999th_percentile
Desvio padrão	hivemetastore:API:GetDatabase:StdDev	hivemetastore/get_database/stddev
Taxa de 15 minutos	hivemetastore:API:GetDatabase:FifteenMinuteRate	hivemetastore/get_database/15min_rate
Taxa de cinco minutos	hivemetastore:API:GetDatabase:FiveMinuteRate	hivemetastore/get_database/5min_rate
Taxa de um minuto	hivemetastore:API:GetDatabase:OneMinuteRate	hivemetastore/get_database/1min_rate
Taxa média	hivemetastore:API:GetDatabase:MeanRate	hivemetastore/get_database/mean_rate

Métricas do agente de monitoramento do Dataproc

Por padrão, o Dataproc coleta as seguintes métricas padrão do agente de monitoramento do Dataproc, que são publicadas com um prefixo agent.googleapis.com:

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Observação: cpu/utilization e cpu/usage_time são métricas mutuamente exclusivas. Por padrão, o Dataproc coleta cpu/utilization. Consulte Como configurar métricas de CPU informadas para ativar cpu/usage_time.

Disco
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used count

Trocar
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memória
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Processos: (segue uma política de cota um pouco diferente para alguns atributos)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/forkrs/process_br

Interface
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Rede
agent.googleapis.com/network/tcp_connections

Ativar a coleta de métricas de OSS

Ao criar um cluster do Dataproc, você pode usar a CLI gcloud ou a API Dataproc para ativar a coleta de métricas do OSS de duas maneiras. É possível usar um ou ambos os métodos de coleta:

1. Ative a coleta apenas das métricas padrão de uma ou mais origens de métricas OSS
2. Ativa a coleta de apenas métricas especificadas ("substituições") de uma ou mais fontes de métricas do OSS.

Comando gcloud

Coleta de métricas padrão

Use a sinalização gcloud dataproc clusters create --metric-sources para ativar a coleta das métricas padrão do OSS disponíveis de uma ou mais origens.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Observações:

• --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas (por exemplo, "yarn" ou "YARN" é aceitável).

Substituir a coleta de métricas

Se quiser, adicione a sinalização --metric-overrides ou --metric-overrides-file para ativar a coleta de uma ou mais métricas de OSS disponíveis de uma ou mais origens.

• Qualquer uma das métricas do OSS disponíveis e todas as métricas do Spark podem ser listadas para coleta como uma substituição de métrica. Os valores de métrica de substituição diferenciam maiúsculas de minúsculas e precisam ser fornecidos, se apropriado, no formato CamelCase.

  Examples

  • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
  • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
  • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

• Somente as métricas substituídas especificadas serão coletadas de uma determinada origem de métricas. Por exemplo, se uma ou mais métricas spark:executive estiverem listadas como substituições, outras SPARK não serão coletadas. A coleta de métricas padrão de OSS de outras fontes não é afetada. Por exemplo, se as fontes de métricas SPARK e YARN estiverem ativadas e as substituições forem fornecidas apenas para métricas do Spark, todas as métricas padrão do YARN serão coletadas.
• A origem da substituição da métrica especificada precisa estar ativada. Por exemplo, se uma ou mais métricas spark:driver forem fornecidas como substituições de métrica, a origem da métrica spark precisará ser ativada (--metric-sources=spark).

Substituir a lista de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Observações:

• --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas. Por exemplo, "yarn" ou "YARN" são aceitáveis.
• --metric-overrides: forneça uma lista de métricas no seguinte formato:

  METRIC_SOURCEhINSTANCEminGROUPsMETRIC

  Exemplo:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

• Essa sinalização é uma alternativa e não pode ser usada com a sinalização --metric-overrides-file.

Substituir o arquivo de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Observações:

• --metric-sources: obrigatório para ativar a coleta de métricas padrão. Especifique uma ou mais das seguintes fontes de métrica: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. O nome da origem da métrica não diferencia maiúsculas de minúsculas. Por exemplo, "yarn" ou "YARN" são aceitáveis.
• --metric-overrides-file: especifica um arquivo local ou do Cloud Storage (gs://bucket/filename) que contém uma ou mais métricas no seguinte formato:

  METRIC_SOURCEhINSTANCEminGROUPsMETRIC

  Use o formato CamelCase conforme apropriado.

  Examples

  • --metric-overrides-file=gs://my-bucket/my-filename.txt
  • --metric-overrides-file=./local-directory/local-filename.txt

• Essa sinalização é uma alternativa e não pode ser usada com a sinalização --metric-overrides.

API REST

Use DataprocMetricConfig como parte de uma solicitação clusters.create para ativar a coleta de métricas do OSS.

Criar um painel do Monitoring

É possível criar um painel personalizado do Monitoring com gráficos de métricas do cluster do Cloud Dataproc selecionadas.

1. Selecione + CREATE DASHBOARD na página Dashboards Overview do Monitoring. Forneça um nome para o painel e clique em Add Chart no menu superior direito para abrir a janela Add Chart. Selecione “Cloud Dataproc Cluster” como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Em seguida, salve o gráfico.

   

2. É possível adicionar gráficos ao seu painel. Depois que você salvar o painel, seu título aparecerá na página Dashboards Overview do Monitoring. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

   

A seguir

• Consulte a documentação do Cloud Monitoring
• Saiba como criar alertas de métrica do Dataproc