Verificação de integridade do ambiente do Cloud Composer


Devido à arquitetura de microsserviços do Cloud Composer, o monitoramento de atividade de ponta a ponta da configuração do Airflow envolve várias métricas. Este tutorial mostra uma abordagem para o uso das métricas com base em registros do pacote de operações do Google Cloud para configurar o monitoramento e os alertas com base em uma métrica personalizada.

Objetivos

  • Implantar um DAG simples executado em um intervalos de minutos no ambiente do Cloud Composer.
  • Aproveitar os registros que o conjunto de operações do Google Cloud produz para o Cloud Composer, usando as métricas com base em registros para criar uma métrica personalizada.
  • Configurar o monitoramento e os alertas com base na métrica personalizada

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

  • Cloud Composer

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  6. Crie um ambiente do Cloud Composer..
  7. Garantir as permissões adequadas. As permissões a seguir são necessárias para acessar os registros e as métricas do ambiente do Cloud Composer:
    • Monitoramento e geração de registros somente leitura: logging.viewer e monitoring.viewer
    • Geração de registros somente leitura incluindo registros particulares: logging.privateLogViewer
    • Monitoramento de leitura e gravação: monitoring.editor

    Para mais informações, consulte Controle de acesso.

Como adicionar o DAG ao seu ambiente

  1. Faça o upload deste DAG para o bucket do Cloud Storage para o ambiente:

    import airflow
    from airflow import DAG
    from airflow.operators.bash_operator import BashOperator
    from datetime import timedelta
    
    default_args = {
        'retries': 1,
        'retry_delay': timedelta(minutes=5),
        'start_date': airflow.utils.dates.days_ago(0)
    }
    
    dag = DAG(
        'liveness',
        default_args=default_args,
        description='liveness monitoring dag',
        schedule_interval=timedelta(minutes=1))
    
    t1 = BashOperator(
        task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
    
  2. Aguarde até que o Airflow programe o DAG. É possível verificar o status na interface da Web do Airflow.

    Interface da Web do Airflow

Como criar a métrica de contador baseada em registros no conjunto de operações do Google Cloud

  1. Acessar o Explorador de registros

    Acesse o Explorador de registros

  2. Verifique se o projeto correto está selecionado na parte superior da página ou use o menu suspenso na mesma parte da página para selecionar um projeto.

  3. No campo do recurso, selecione Ambiente do Cloud Composer e, em seguida, selecione o nome do local e do ambiente.

  4. No campo de tipo de registro, selecione o airflow-worker.

  5. Na barra de filtro, crie um filtro para mostrar somente os registros que o DAG de atividade emite, inserindo o seguinte rótulo: label:workflow:liveness.

  6. Na parte superior da página, clique em Criar métrica. O Editor de métrica é exibido no lado direito da página e o painel do visualizador, que exibe seus registros, é exibido no lado esquerdo.

    Criar métrica

  7. No painel Editor de métricas, defina os seguintes campos:

    1. Nome: escolha um nome exclusivo entre as métricas do seu projeto que sejam baseadas em registros. Por exemplo, liveness-logs-cnt.
    2. Descrição: descreva a métrica.
    3. Tipo: contador.
  8. Clique em Criar métrica. A página "métricas com base em registros" é exibida.

Como criar a política de alertas

  1. Na página "Métricas com base em registros", marque a métrica em que você quer criar uma política e, no menu à direita da listagem da métrica, selecione Criar alerta a partir da métrica. A página Criar nova política de alertas é exibida.

    Criar alerta

  2. Na página Criar nova política de alertas, na seção Condições, clique em Editar. Uma janela pré-preenchida Criar MÉTRICA é exibida.

  3. (Opcional) Insira um nome para a condição.

  4. Na seção Meta, para Agregador, escolha contagem.

  5. Na seção Configuração, para Limite, defina o valor, conforme necessário.

    Política de alertas

  6. Clique em Save. O painel Criar nova política de alertas exibe a condição concluída.

  7. Preencha as seções Notificações, Documentação e Nome da política de alertas.

  8. Clique em Save.

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

  1. No Console do Google Cloud, acesse a página Gerenciar recursos.

    Acessar "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir

Para saber como usar um painel personalizado para visualizar as métricas do ambiente do Cloud Composer, consulte Como monitorar ambientes e fluxos de trabalho no conjunto de operações do Google Cloud.