Esta página foi traduzida pela API Cloud Translation.
Switch to English

Como monitorar ambientes com o Cloud Monitoring

É possível usar o Cloud Monitoring e o Cloud Logging com o Cloud Composer.

Com o Monitoring, você visualiza o desempenho, o tempo de atividade e a integridade geral dos aplicativos com tecnologia de nuvem. O Cloud Monitoring coleta e ingere métricas, eventos e metadados do Cloud Composer para gerar insights com painéis e gráficos. Use o Monitoring para saber mais sobre o desempenho e a integridade dos ambientes do Cloud Composer e das métricas do Airflow.

O Logging coleta os registros gerados pelos contêineres do worker e do programador. Eles incluem informações úteis sobre a dependência do Airflow e o nível do sistema para ajudar você na depuração. Para mais informações sobre como ver registros, consulte Como ver registros do Airflow.

Antes de começar

  • As permissões a seguir são necessárias para acessar os registros e as métricas do ambiente do Cloud Composer:

    • Acesso somente leitura a registros e métricas: logging.viewer e monitoring.viewer
    • Acesso somente leitura a registros, incluindo registros particulares: logging.privateLogViewer
    • Acesso de leitura/gravação a métricas: monitoring.editor

    Para mais informações, consulte Controle de acesso do Cloud Composer.

  • Para evitar a geração de registros duplicada, o Cloud Logging para o Google Kubernetes Engine está desativado.

  • O Cloud Logging gera uma entrada para cada status e evento que ocorre no projeto do Google Cloud. Use filtros de exclusão para reduzir o volume de registros, incluindo os registros que o Cloud Logging produz para o Cloud Composer. A exclusão de registros de jobs.py pode causar falhas na verificação de integridade e erros CrashLoopBackOff. Você precisa incluir -jobs.py nos filtros de exclusão para evitar que ele seja excluído.

  • O Monitoring não registra os valores de contagem dos fluxos de trabalho e tarefas que são executados mais de uma vez por minuto. No momento, ele também não registra métricas de tarefas com falha.

Métricas e tipos de recursos

É possível examinar métricas do Airflow no Monitoring relacionadas a fluxos de trabalho (DAGs) e ao Celery Executor.

Ambiente

Integridade do ambiente

Para verificar a integridade do ambiente, use a seguinte métrica de status de integridade: composer.googleapis.com/environment/healthy

O Cloud Composer executa um DAG de atividade chamado airflow_monitoring a cada cinco minutos e informa a integridade do ambiente da seguinte forma:

  • Quando a execução do DAG termina, o status de integridade é True.
  • Se a execução do DAG falhar, o status de integridade será False.
  • Se a execução do DAG não for concluída, o Cloud Composer pesquisará o estado do DAG a cada cinco minutos e informará False se o tempo limite atingir uma hora.

O DAG de atividade é armazenado na pasta dags/ e fica visível na IU da Web do Airflow. A frequência e o conteúdo do DAG de atividade são imutáveis e não podem ser modificados, já que as alterações não serão mantidas.

Integridade do banco de dados

Para verificar a integridade do seu banco de dados, use a seguinte métrica de status de integridade: composer.googleapis.com/environment/database_health

O pod de monitoramento do Airflow para Cloud Composer dá um ping no banco de dados a cada minuto e informa o status de integridade como True se uma conexão SQL puder ser estabelecida ou False se não.

Fluxos de trabalho

As métricas a seguir estão disponíveis para você monitorar o desempenho das execuções de fluxo de trabalho e identificar tarefas lentas que gerem muita latência:

Métrica de fluxo de trabalho API
Número de execuções de fluxo de trabalho composer.googleapis.com/workflow/run_count
Duração de cada execução de fluxo de trabalho composer.googleapis.com/workflow/run_duration
Número de execuções da tarefa composer.googleapis.com/workflow/task/run_count
Duração de cada tarefa composer.googleapis.com/workflow/task/run_duration

O Cloud Monitoring mostra apenas as métricas das execuções de tarefas e fluxos de trabalho concluídas com sucesso ou falha. Nenhum dado é exibido quando o fluxo de trabalho não está em atividade ou quando ele e as tarefas estão em andamento.

Celery Executor

As métricas do Celery Executor a seguir estão disponíveis. Com elas, você determina se há recursos suficientes de worker no ambiente.

Métrica do Celery Executor API
Número de tarefas na fila composer.googleapis.com/environment/task_queue_length
Número de workers on-line do Celery composer.googleapis.com/environment/num_celery_workers

A documentação do Cloud Monitoring também inclui as seguintes informações sobre métricas e recursos do Cloud Composer:

  • Para ver a lista de métricas de uso que o Cloud Composer informa ao Cloud Monitoring, consulte Lista de métricas.
  • Para detalhes sobre o tipo de recurso cloud_composer_environment, consulte Tipos de recursos monitorados na documentação do Cloud Monitoring.

Como usar o Monitoring nos ambientes do Cloud Composer

É possível acessar o Monitoring no console do Monitoring ou usando a API do Monitoring.

Console

  1. Depois de criar um ambiente do Cloud Composer, acesse o console do Monitoring para ver os dados de monitoramento do ambiente.
  2. No primeiro acesso ao Monitoring, você precisa criar um espaço de trabalho e selecionar um projeto.

    3. O console do Monitoring é exibido depois que o espaço de trabalho é configurado.

  3. Selecione Recursos > Metrics Explorer e escolha o Cloud Composer:
    1. Clique na caixa de entrada Find resource type and metric para exibir a lista suspensa de recursos.
    2. Selecione o recurso Cloud Composer Environment ou Cloud Composer Workflow. Outra opção é inserir cloud_composer_environment ou cloud_composer_workflow na caixa.
  4. Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Passe o cursor do mouse sobre o nome da métrica para ver informações sobre ela.
  5. As informações do ambiente do Cloud Composer estão contidas no rótulo workflow_name: workflow_name=environment.workflow. Para visualizar métricas de fluxo de trabalho de um ambiente específico, adicione um filtro:
    1. Crie um filtro para workflow_name.
    2. Filtre o prefixo usando a expressão regular =~ "your-environment-name.*" com o nome do ambiente para o qual você quer visualizar as métricas do fluxo de trabalho. Para mais informações sobre como usar a expressão regular em rótulos de filtragem, consulte Como usar filtros.
  6. Clique em Salvar gráfico.

    Também é possível agrupar por rótulos de métrica, realizar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

Você pode usar a API timeSeries.list do Monitoring para capturar e listar métricas definidas por uma expressão filter. Use o modelo Teste esta API na página da API para enviar uma solicitação de API e exibir a resposta.

Como criar um painel personalizado do Monitoring

É possível criar um painel personalizado do Monitoring com gráficos de métricas selecionadas do ambiente do Cloud Composer.

  1. No Console do Google Cloud, selecione Monitoring ou use este botão:

    Acessar Monitoring

  2. Selecione Painéis > Criar painel.

  3. No "Untitled Dashboard", clique em Add Chart e crie o gráfico:

    1. Na janela "Add Chart", selecione Cloud Composer Environment como o tipo de recurso.
    2. Selecione uma ou mais métricas e propriedades de gráfico.
    3. Confirme ou insira um novo título do gráfico e clique em Save.
    4. Adicione mais gráficos ao painel conforme necessário e clique em Salvar.

    O exemplo a seguir mostra a métrica Task Duration. Ela registra a duração de tarefas ativas nos fluxos de trabalho, o que é útil para ajustar o desempenho.

  4. Para visualizar o painel, clique no título no menu Dashboards do Monitoring.

  5. Na página de exibição do painel, é possível visualizar, atualizar e excluir gráficos.

Como usar os alertas do Monitoring

É possível criar políticas de alertas para monitorar os valores das métricas e ser notificado quando elas violarem uma condição.

Para criar uma política de alertas que monitore um ou mais recursos do ambiente do Cloud Composer ou do fluxo de trabalho do Cloud Composer, siga estas etapas:

  1. No Console do Google Cloud, acesse o Monitoring.

    Acessar Monitoring

    Se você nunca tiver usado o Cloud Monitoring, no primeiro acesso ao Monitoring no Console do Google Cloud, um espaço de trabalho será criado automaticamente, e seu projeto será associado a ele. Caso contrário, se o seu projeto não estiver associado a um espaço de trabalho, uma caixa de diálogo será exibida, e será possível criar um espaço de trabalho ou adicionar seu projeto a um espaço de trabalho atual. Recomendamos que você crie um espaço de trabalho. Depois de fazer a seleção, clique em Adicionar.

  2. No painel de navegação do Monitoring, selecione Alertas e depois Criar política.
  3. Clique em Adicionar condição:
    1. As configurações no painel Destino especificam o recurso e a métrica a serem monitorados. No campo Find resource type and metric, selecione o recurso Cloud Composer Environment ou Cloud Composer Workflow. Em seguida, selecione uma métrica da lista.
    2. As configurações da política de alertas no painel Configuração determinam quando o alerta é acionado. A maioria dos campos nesse painel é preenchida com valores padrão. Para mais informações sobre os campos no painel, consulte Configuração na documentação das políticas de alertas.
    3. Clique em Adicionar.
  4. Para acessar a seção de notificações, clique em Próxima.
  5. Opcional: para adicionar notificações à sua política de alertas, clique em Canais de notificação. Na caixa de diálogo, selecione um ou mais canais de notificação no menu e clique em OK.

    Se um canal que você quer adicionar não estiver listado, clique em Gerenciar canais de notificação. Você será direcionado para a página Canais de notificação em uma nova guia do navegador. Nessa seção, é possível atualizar os canais de notificação configurados. Depois de concluir as atualizações, retorne à guia original, clique em Atualizar e selecione os canais de notificação que serão adicionados à política de alertas.

  6. Para avançar à seção de documentação, clique em Próxima.
  7. Clique em Nome e digite um nome para a política de alertas.
  8. Opcional: clique em Documentação e adicione as informações que quer incluir em uma mensagem de notificação.
  9. Clique em Salvar.
Saiba mais em Políticas de alertas.

Como visualizar alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente.

É possível analisar incidentes na página "Alertas > Incidentes" do Monitoring.

O Monitoring também envia uma notificação do incidente se algum mecanismo relacionado tiver sido definido na política de alertas, como notificações por e-mail ou por SMS.

A seguir