Este guia explica como monitorizar instâncias e pipelines do Cloud Data Fusion. Pode ver as principais métricas no painel de controlo de monitorização do Cloud Data Fusion. Para agregação ou filtragem adicionais, pode ver as métricas no Cloud Monitoring.
Antes de começar
Antes de começar a monitorizar instâncias e pipelines do Cloud Data Fusion, reveja os preços e conceda as funções necessárias.
Preços
A utilização do Cloud Monitoring incorre em custos. Para mais informações, consulte os preços da observabilidade do Google Cloud.
Funções necessárias
Para obter as autorizações de que
precisa para ver as métricas,
peça ao seu administrador para lhe conceder a
função de IAM Leitor de monitorização (roles/monitoring.viewer)
no seu projeto.
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.
Monitorize no Cloud Data Fusion
Veja e filtre as métricas das suas instâncias e pipelines diretamente no Cloud Data Fusion através do painel de controlo de monitorização:
Na Google Cloud consola, aceda à página do Cloud Data Fusion.
Clique em Instâncias e, de seguida, clique no nome da instância para aceder à página Detalhes da instância.
Clique no separador Monitorização. É apresentado um painel de controlo com gráficos para a sua instância e respetivos pipelines.
O painel de controlo apresenta as seguintes vistas:
- Vista geral: monitoriza as métricas do sistema do Cloud Data Fusion.
- Instância: monitoriza todas as instâncias do Cloud Data Fusion no projeto.
- Pipeline: fornece informações sobre as execuções e o desempenho da pipeline.
Para ver informações detalhadas sobre as métricas em qualquer vista, passe o cursor do rato sobre o widget e clique em Mais > Ver no Explorador de métricas.
Widgets no painel de controlo de monitorização
As secções seguintes descrevem os widgets disponíveis nas vistas Vista geral, Instância e Pipeline.
Widgets da vista geral
Esta tabela descreve os widgets na vista Vista geral:
| Widget | Descrição |
|---|---|
| Estado do serviço Appfabric | Disponibilidade do serviço para o Appfabric |
| Estado de funcionamento dos serviços de métricas | Disponibilidade do serviço para métricas |
| Qualidade do serviço Wrangler | Disponibilidade do serviço para o Wrangler |
| Estado do executor do conjunto de dados | Disponibilidade do serviço para o conjunto de dados |
| Estado do estúdio de pipeline | Disponibilidade do serviço para o Pipeline Studio |
| Estado do serviço de tempo de execução | Disponibilidade do serviço para o tempo de execução |
| Estado do serviço de poupança de registos | Disponibilidade do serviço para o poupador de registos |
| Estado de funcionamento do serviço de metadados | Disponibilidade do serviço para metadados |
Widgets da vista de pipeline
Esta tabela descreve os widgets na vista Pipeline:
| Widget | Descrição |
|---|---|
| Execuções de pipelines bem-sucedidas | Contagem cumulativa de execuções de pipelines bem-sucedidas. |
| Execuções de pipelines com falhas | Contagem cumulativa de execuções de pipelines com falhas. |
| Execuções de pipelines terminadas | Contagem cumulativa de execuções de pipelines terminadas. |
| Execuções de pipeline rejeitadas | Contagem cumulativa de execuções de pipelines rejeitadas. |
| Tempo de execução do pipeline bem-sucedido | Tempo necessário para a conclusão das execuções de pipelines bem-sucedidas. |
| Latência de início do pipeline | Tempo necessário para uma execução do pipeline atingir o estado "Em execução". |
| Latência de aprovisionamento do Dataproc | Tempo necessário para aprovisionar o cluster do Dataproc. |
| Número de pedidos da API Dataproc | Contagem cumulativa de pedidos de API feitos ao Dataproc. |
| Tempo de execução da pré-visualização bem-sucedido | Tempo necessário para a conclusão das execuções de pré-visualização bem-sucedidas. |
| Pré-visualizar execuções | Número de execuções de pré-visualização. |
| Bytes de pipeline lidos | Contagem cumulativa de bytes lidos por um pipeline. |
| Bytes de pipeline escritos | Contagem cumulativa de bytes escritos por um pipeline. |
| Bytes de pipeline aleatórios | Contagem cumulativa de bytes aleatorizados num pipeline. |
| Registos de plug-ins processados em | Contagem cumulativa de registos que entram num plug-in. |
| Registos de plugins processados | Contagem cumulativa de registos que saem de um plug-in. |
Widgets de visualização de instâncias
Esta tabela descreve os widgets na vista Instância:
| Widget | Descrição |
|---|---|
| Pipelines em execução em simultâneo | Número de pipelines em execução em simultâneo. |
| Pipelines simultâneos lançados | Número de pipelines num estado de aprovisionamento ou de início. |
| Pedidos de API recebidos | Contagem cumulativa de pedidos de API recebidos. |
| Número de respostas da API | Contagem cumulativa de respostas da API enviadas. |
| Número de verificações de autorização | Contagem cumulativa de verificações de autorização. |
| Hora da verificação da autorização | Latência das verificações de autorização. |
| Contagem de pipelines implementadas | Número de pipelines implementadas. |
| Número de pipelines de rascunho | Número de pipelines de rascunho. |
| Contagem de espaços de nomes | Número de espaços de nomes. |
Veja métricas para análise avançada no Cloud Monitoring
Para opções de filtragem e agregação adicionais, veja as suas métricas no Cloud Monitoring:
Na Google Cloud consola, aceda à página Explorador de métricas do Cloud Monitoring.
Selecione o recurso monitorizado do Cloud Data Fusion.
Escolha uma métrica.
Selecione filtros e agregação.
O que se segue?
- Para saber mais sobre filtros e métricas, consulte a vista geral das métricas do Cloud Data Fusion.