Cloud Monitoring

O Cloud Monitoring fornece visibilidade o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O Google Cloud Observability coleta e ingere métricas, eventos e metadados de Serviços do Dataproc Metastore para gerar insights usando painéis e gráficos.

Acessar métricas de serviço no Monitoring

As métricas do recurso de serviço do metastore do Dataproc são ativadas automaticamente nos serviços do metastore do Dataproc. Use o Monitoring para ver essas métricas.

Você pode acessar o Monitoring no console do Google Cloud ou usando a API Monitoring.

Console

  1. No console do Google Cloud, acesse Cloud Monitoring > Página "Metrics Explorer":

    Acessar a página do Metrics Explorer

  2. Na lista suspensa "Encontre o tipo de recurso e métrica", selecione o recurso Dataproc Metastore Service.

  3. Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Passe o cursor do mouse sobre o nome da métrica para ver informações sobre ela.

Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos.

REST

Você pode usar a API timeSeries.list do Monitoring para capturar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Métricas de serviço do metastore do Dataproc no Monitoring

Métricas do metastore do Dataproc. Fases de lançamento dessas métricas: Beta GA

As strings "tipo de métrica" nesta tabela precisam ser prefixadas com metastore.googleapis.com/. Esse prefixo foi omitido das entradas na tabela. Ao consultar um rótulo, use o prefixo metric.labels.. por exemplo, metric.labels.LABEL="VALUE".

Tipo de métrica Etapa do lançamento (níveis da hierarquia de recursos)
Nome de exibição
Classe, Tipo, Unidade
Recursos monitorados		 Descrição
Rótulos
federation/health BETA  (project)
Saúde do serviço de federação
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		A integridade do serviço do metastore federado do Dataproc.
version: A versão do metastore do Hive do serviço.
federation/server/request_count BETA  (project)
Contagem de solicitações de serviço de federação
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		O número de solicitações enviadas ao serviço do metastore federado do Dataproc.
method_name: O nome do método de solicitação.
status: Status de término da solicitação, [success, client_error, server_error].
version: A versão do metastore do Hive do serviço.
service/grpc/finished_requests_count BETA  (project)
Contagem de solicitações gRPC concluídas
DELTA, INT64, 1
metastore.googleapis.com/Service 		O número de solicitações concluídas pelo serviço do metastore do Dataproc GRPC.
tier: Nível de serviço ou tamanho da instância do serviço, como ENTERPRISE.
version: A versão do metastore Hive do serviço.
status: O status da solicitação, como "BAD_REQUEST".
method_name: O nome do método da solicitação.
service/grpc/received_bytes_count BETA (projeto)
Bytes de gRPC recebidos
DELTA, INT64, By
metastore.googleapis.com/Service 		Número de bytes recebidos pelo serviço Metastore do Dataproc.
tier: Nível de serviço ou tamanho da instância do serviço.
version: A versão do metastore Hive do serviço.
service/grpc/request_latencies BETA  (project)
Latências de solicitação do gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribuição de latências de solicitação gRPC para um serviço Metastore do Dataproc.
tier: nível de serviço ou tamanho da instância do serviço.
version: A versão do metastore do Hive do serviço.
status: O status da solicitação, como "BAD_REQUEST".
method_name: O nome do método da solicitação.
service/grpc/sent_bytes_count BETA (projeto)
Bytes de gRPC enviados
DELTA, INT64, By
metastore.googleapis.com/Service 		Número de bytes enviados pelo serviço Metastore do Dataproc.
tier: Nível de serviço ou tamanho da instância do serviço.
version: A versão do metastore Hive do serviço.
service/grpc/started_requests_count BETA  (project)
Contagem de solicitações gRPC iniciadas
DELTA, INT64, 1
metastore.googleapis.com/Service 		O número de solicitações recebidas e iniciadas pelo serviço do metastore do Dataproc do GRPC.
tier: nível de serviço ou tamanho da instância do serviço.
version: A versão do metastore Hive do serviço.
method_name: O nome do método da solicitação.
service/grpc_client/finished_requests_count BETA  (project)
Contagem de solicitações de cliente gRPC concluídas
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Número total de RPCs concluídas no cliente, independentemente de sucesso ou falha.
status: O status da solicitação, como "BAD_REQUEST".
method_name: O nome do método da solicitação.
service/grpc_client/received_bytes_count BETA (projeto)
Bytes do cliente gRPC recebidos
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Número de bytes recebidos pelo cliente gRPC.
service/grpc_client/request_latencies BETA  (project)
Latências de solicitação do cliente gRPC
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribuição de latências de solicitação gRPC para um serviço Metastore do Dataproc.
status: O status da solicitação, como "BAD_REQUEST".
method_name: O nome do método de solicitação.
service/grpc_client/sent_bytes_count BETA  (project)
Bytes do cliente gRPC enviados
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Número de bytes enviados pelo cliente gRPC.
service/grpc_client/started_requests_count BETA (projeto)
Contagem de solicitações do cliente gRPC iniciadas
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		O número de solicitações iniciadas pelo cliente gRPC.
method_name: O nome do método da solicitação.
service/health GA  (project)
Saúde do serviço
GAUGE, INT64, 1
metastore.googleapis.com/Service 		A integridade do serviço Metastore do Dataproc.
tier: Nível de serviço ou tamanho da instância do serviço, como ENTERPRISE.
version: A versão do metastore do Hive do serviço.
release_tag: Tag de versão do Dataproc Metastore, preenchida pelo back-end do serviço e pode mudar ao longo do ciclo de vida do serviço.
service/metadata/bytes_used BETA (projeto)
Tamanho dos metadados armazenados no serviço Metastore do Dataproc.
GAUGE, INT64, By
metastore.googleapis.com/Service 		A quantidade de dados armazenada no banco de dados de back-end do serviço.
version: A versão do metastore do Hive do serviço.
database_type: O tipo de banco de dados, um de [SQL, Spanner].
service/migration/replication_lag BETA (projeto)
Latência de processamento do pipeline de replicação em segundos.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		Duração máxima atual em segundos para replicar dados para o Dataproc Metastore.
migration_id: O ID da migração.
service/migration/write_throughput BETA  (project)
Taxa de transferência de gravação do banco de dados de destino.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		Taxa de transferência de gravação atual no banco de dados do Metastore do Dataproc, para onde os dados estão sendo copiados durante a fase de replicação.
migration_id: O ID da migração.
service/multi_region/health GA (projeto)
Integridade do serviço multirregional
GAUGE, INT64, 1
metastore.googleapis.com/Service 		A integridade do serviço Metastore multirregional do Dataproc.
version: A versão do metastore do Hive do serviço.
release_tag: Tag de versão do Dataproc Metastore, preenchida pelo back-end do serviço e pode mudar ao longo do ciclo de vida do serviço.
service_region: A região constituinte em que o serviço do metastore do Dataproc está hospedado.
scaling_factor: Fator de escalonamento do serviço, um de [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_count GA  (project)
Contagem de solicitações de serviço multirregional
DELTA, INT64, {request}
metastore.googleapis.com/Service 		O número de solicitações enviadas ao serviço multirregional do metastore do Dataproc.
method_name: O nome do método de solicitação.
version: A versão do metastore do Hive do serviço.
service_region: A região constituinte em que o serviço Metastore do Dataproc está hospedado.
scaling_factor: Fator de escalonamento do serviço, um de [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies GA  (project)
Latências de solicitação de serviço multirregional
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		As latências das solicitações enviadas ao serviço multirregional do metastore do Dataproc.
method_name: O nome do método de solicitação.
version: A versão do metastore do Hive do serviço.
service_region: A região constituinte em que o serviço Metastore do Dataproc está hospedado.
scaling_factor: Fator de escalonamento do serviço, um de [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/query_metadata/request_count BETA (projeto)
Contagem de solicitações para a interface do administrador
DELTA, INT64, {request}
metastore.googleapis.com/Service 		O número de solicitações da interface do administrador.
database_type: O tipo de banco de dados, um de [SQL, Spanner].
code: O código de status do gRPC.
service/query_metadata/request_latencies BETA (projeto)
Latência da solicitação da interface do administrador
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		A latência de ponta a ponta das solicitações da interface de administrador.
database_type: O tipo de banco de dados, um de [SQL, Spanner].
code: O código de status do gRPC.
service/request_count GA  (project)
Contagem de solicitações
DELTA, INT64, {request}
metastore.googleapis.com/Service 		O número de solicitações enviadas ao serviço Metastore do Dataproc.
method_name: O nome do método de solicitação.
version: A versão do metastore do Hive do serviço.
service/scheduled_backups/backup_count BETA  (project)
Contagem de backups programados
DELTA, INT64, 1
metastore.googleapis.com/Service 		O número de backups programados atualmente armazenados para o serviço.
state: Estado do backup, um de [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: O tipo de banco de dados, um de [SQL, Spanner].
version: A versão do metastore Hive do serviço.
service/scheduled_backups/last_backup_duration BETA (projeto)
Backups programados – Duração do último backup
GAUGE, INT64, s
metastore.googleapis.com/Service 		A duração do último backup programado com sucesso em segundos. Amostras coletadas a cada 60 segundos. Após a amostragem, os dados não são visíveis por até 120 segundos.
state: O estado do backup, [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: O tipo de banco de dados, um de [SQL, Spanner].
version: A versão do metastore Hive do serviço.
service/scheduled_backups/last_backup_size BETA (projeto)
Solicitação de backups programados: tamanho do último backup
GAUGE, INT64, By
metastore.googleapis.com/Service 		O tamanho do último backup programado bem-sucedido em bytes. Amostras coletadas a cada 60 segundos. Após a amostragem, os dados não são visíveis por até 120 segundos.
state: O estado do backup, [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: O tipo de banco de dados, um de [SQL, Spanner].
version: A versão do metastore do Hive do serviço.

Tabela gerada em 10-10-2024 16:45:27 UTC.

Criar um painel personalizado do Monitoring

É possível criar um painel personalizado do Monitoring com gráficos de métricas do serviço Metastore do Dataproc selecionadas.

  1. Selecione + CREATE DASHBOARD na página Dashboards Overview do Monitoring.

  2. Dê um nome ao painel.

  3. No menu superior direito, clique em Adicionar gráfico para abrir a janela "Adicionar gráfico".

  4. Para o tipo de recurso, selecione Dataproc Metastore Service.

  5. Selecione uma ou mais métricas e propriedades. Depois clique em Salvar para salvar o gráfico.

  6. Se quiser, adicione outros gráficos ao seu painel.

  7. Para salvar o dashboard, clique em Salvar . O título é exibido na página Visão geral dos painéis do Monitoring.

É possível visualizar, atualizar e excluir gráficos do painel na página de exibição do painel.

Usar alertas do Monitoring

É possível criar um alerta do Monitoring para notificar você quando um serviço ou armazenamento de job do metastore do Dataproc ultrapassar um limite especificado.

Criar um alerta

  1. No console do Google Cloud, abra Alertas do Monitoring.

  2. Para abrir o formulário Criar nova política de alertas, clique em + CRIAR POLÍTICA.

  3. Para definir um alerta, adicione condições de alerta, acionadores de política, canais de notificação e documentação.

  4. Selecione ADD CONDITION para abrir o formulário de condição de alerta com a guia "Metric" selecionada.

  5. Preencha os campos para definir uma condição de alerta e clique em Adicionar.

  6. Depois de adicionar a condição de alerta, preencha a política de alerta configurando canais de notificação, acionadores de política, documentação e o nome da política de alerta.

Ver alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente. É possível visualizar incidentes do Alertas de monitoramento no console do Google Cloud. O Monitoring também envia uma notificação do incidente se tiver sido definido na política de alerta algum mecanismo de notificação, como notificações por e-mail ou por SMS.

A seguir