Neste guia, explicamos como monitorar instâncias e pipelines do Cloud Data Fusion. É possível conferir as principais métricas no painel de monitoramento do Cloud Data Fusion. Para mais agregação ou filtragem, consulte as métricas no Cloud Monitoring.
Antes de começar
Antes de começar a monitorar instâncias e pipelines do Cloud Data Fusion, confira os preços e conceda os papéis necessários.
Preços
O uso do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços do Google Cloud Observability.
Funções exigidas
Para receber as permissões necessárias
para visualizar métricas,
peça ao administrador para conceder a você o
papel Leitor do Monitoring (roles/monitoring.viewer)
do IAM no seu projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Monitorar no Cloud Data Fusion
Veja e filtre métricas das suas instâncias e pipelines diretamente no Cloud Data Fusion usando o painel de monitoramento:
No Google Cloud console, acesse a página do Cloud Data Fusion.
Clique em Instâncias e depois no nome da instância para acessar a página Detalhes da instância.
Clique na guia Monitoramento. Isso mostra um painel com gráficos da sua instância e dos pipelines dela.
O painel mostra as seguintes visualizações:
- Visão geral:monitora métricas do sistema do Cloud Data Fusion.
- Instância:monitora todas as instâncias do Cloud Data Fusion no projeto.
- Pipeline:fornece informações sobre execuções e desempenho de pipelines.
Para informações detalhadas sobre as métricas em qualquer visualização, passe o cursor sobre o widget e clique em Mais > Ver no Metrics Explorer.
Widgets no painel de monitoramento
As seções a seguir descrevem os widgets disponíveis nas visualizações Visão geral, Instância e Pipeline.
Widgets da visão geral
Esta tabela descreve os widgets na visualização Visão geral:
| Widget | Descrição |
|---|---|
| Integridade do serviço AppFabric | Disponibilidade do serviço para o Appfabric |
| Integridade dos serviços de métricas | Disponibilidade do serviço para métricas |
| Integridade do serviço Wrangler | Disponibilidade do serviço Wrangler |
| Integridade do executor de conjuntos de dados | Disponibilidade do serviço para o conjunto de dados |
| Integridade do Pipeline Studio | Disponibilidade do serviço para o Pipeline Studio |
| Integridade do serviço do ambiente de execução | Disponibilidade do serviço para o ambiente de execução |
| Integridade do serviço Log Saver | Disponibilidade do serviço Log Saver |
| Integridade do serviço de metadados | Disponibilidade do serviço para metadados |
Widgets da visualização de pipeline
Esta tabela descreve os widgets na visualização Pipeline:
| Widget | Descrição |
|---|---|
| Execuções de pipeline concluídas | Contagem cumulativa de execuções de pipeline bem-sucedidas. |
| Execuções de pipeline com falha | Contagem cumulativa de execuções de pipeline com falha. |
| Execuções de pipeline interrompidas | Contagem cumulativa de execuções de pipeline interrompidas. |
| Execuções de pipeline rejeitadas | Contagem cumulativa de execuções de pipeline rejeitadas. |
| Tempo de execução do pipeline | Tempo gasto para concluir as execuções de pipeline. |
| Latência de início do pipeline | Tempo necessário para que uma execução de pipeline atinja o estado "Em execução". |
| Latência de provisionamento do Dataproc | Tempo gasto para provisionar o cluster do Dataproc. |
| Contagem de solicitações da API Dataproc | Contagem cumulativa de solicitações de API feitas ao Dataproc. |
| Ambiente de execução da visualização com êxito | Tempo necessário para concluir as execuções de prévia bem-sucedidas. |
| Visualizar execuções | Número de execuções de prévia. |
| Bytes de pipeline lidos | Contagem cumulativa de bytes lidos por um pipeline. |
| Bytes de pipeline gravados | Contagem cumulativa de bytes gravados por um pipeline. |
| Bytes de pipeline embaralhados | Contagem cumulativa de bytes embaralhados em um pipeline. |
| Registros de plug-in processados em | Contagem cumulativa de registros que entram em um plug-in. |
| Registros de plug-in processados | Contagem cumulativa de registros que saem de um plug-in. |
Widgets de visualização de instância
Esta tabela descreve os widgets na visualização Instância:
| Widget | Descrição |
|---|---|
| Pipelines simultâneos em execução | Número de pipelines em execução simultânea. |
| Pipelines simultâneos iniciados | Número de pipelines em estado de provisionamento ou inicialização. |
| Solicitações de API recebidas | Contagem cumulativa de solicitações de API recebidas. |
| Contagem de respostas da API | Contagem cumulativa de respostas da API enviadas. |
| Contagem de verificação de autorização | Contagem cumulativa de verificações de autorização. |
| Tempo de verificação de autorização | Latência das verificações de autorização. |
| Número de pipelines implantados | Número de pipelines implantados. |
| Contagem de pipelines de rascunho | Número de pipelines em rascunho. |
| Contagem de namespaces | Número de namespaces. |
Ver métricas para análise avançada no Cloud Monitoring
Para outras opções de filtragem e agregação, consulte suas métricas no Cloud Monitoring:
No console do Google Cloud , acesse a página Metrics Explorer do Cloud Monitoring.
Selecione o recurso monitorado Cloud Data Fusion.
Escolha uma métrica.
Selecione filtros e agregação.
A seguir
- Para saber mais sobre filtros e métricas, consulte a visão geral das métricas do Cloud Data Fusion.