Devido à arquitetura de microsserviços do Cloud Composer, o monitoramento de atividade de ponta a ponta da configuração do Airflow envolve várias métricas. Este tutorial mostra uma abordagem para o uso das métricas com base em registros do pacote de operações do Google Cloud para configurar o monitoramento e os alertas com base em uma métrica personalizada.
Objetivos
- Implantar um DAG simples executado em um intervalos de minutos no ambiente do Cloud Composer.
- Aproveitar os registros que o conjunto de operações do Google Cloud produz para o Cloud Composer, usando as métricas com base em registros para criar uma métrica personalizada.
- Configurar o monitoramento e os alertas com base na métrica personalizada
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
- Cloud Composer
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Antes de começar
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
- Crie um ambiente do Cloud Composer..
- Garantir as permissões adequadas. As permissões a seguir são necessárias para acessar os registros e as métricas do ambiente do Cloud Composer:
- Monitoramento e geração de registros somente leitura:
logging.viewer
emonitoring.viewer
- Geração de registros somente leitura incluindo registros particulares:
logging.privateLogViewer
- Monitoramento de leitura e gravação:
monitoring.editor
Para mais informações, consulte Controle de acesso.
- Monitoramento e geração de registros somente leitura:
Como adicionar o DAG ao seu ambiente
Faça o upload deste DAG para o bucket do Cloud Storage para o ambiente:
import airflow from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import timedelta default_args = { 'retries': 1, 'retry_delay': timedelta(minutes=5), 'start_date': airflow.utils.dates.days_ago(0) } dag = DAG( 'liveness', default_args=default_args, description='liveness monitoring dag', schedule_interval=timedelta(minutes=1)) t1 = BashOperator( task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
Aguarde até que o Airflow programe o DAG. É possível verificar o status na interface da Web do Airflow.
Como criar a métrica de contador baseada em registros no conjunto de operações do Google Cloud
Acessar o Explorador de registros
Verifique se o projeto correto está selecionado na parte superior da página ou use o menu suspenso na mesma parte da página para selecionar um projeto.
No campo do recurso, selecione Ambiente do Cloud Composer e, em seguida, selecione o nome do local e do ambiente.
No campo de tipo de registro, selecione o airflow-worker.
Na barra de filtro, crie um filtro para mostrar somente os registros que o DAG de atividade emite, inserindo o seguinte rótulo: label:workflow:liveness.
Na parte superior da página, clique em Criar métrica. O Editor de métrica é exibido no lado direito da página e o painel do visualizador, que exibe seus registros, é exibido no lado esquerdo.
No painel Editor de métricas, defina os seguintes campos:
- Nome: escolha um nome exclusivo entre as métricas do seu projeto que sejam baseadas em registros. Por exemplo, liveness-logs-cnt.
- Descrição: descreva a métrica.
- Tipo: contador.
Clique em Criar métrica. A página "métricas com base em registros" é exibida.
Como criar a política de alertas
Na página "Métricas com base em registros", marque a métrica em que você quer criar uma política e, no menu à direita da listagem da métrica, selecione Criar alerta a partir da métrica. A página Criar nova política de alertas é exibida.
Na página Criar nova política de alertas, na seção Condições, clique em Editar. Uma janela pré-preenchida Criar MÉTRICA é exibida.
(Opcional) Insira um nome para a condição.
Na seção Meta, para Agregador, escolha contagem.
Na seção Configuração, para Limite, defina o valor, conforme necessário.
Clique em Save. O painel Criar nova política de alertas exibe a condição concluída.
Preencha as seções Notificações, Documentação e Nome da política de alertas.
Clique em Save.
Limpeza
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
- No Console do Google Cloud, acesse a página Gerenciar recursos.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
A seguir
Para saber como usar um painel personalizado para visualizar as métricas do ambiente do Cloud Composer, consulte Como monitorar ambientes e fluxos de trabalho no conjunto de operações do Google Cloud.