Verificação de integridade do ambiente do Cloud Composer

Devido à arquitetura de microsserviços do Cloud Composer, o monitoramento de atividade de ponta a ponta da configuração do Airflow envolve várias métricas. Este tutorial mostra uma abordagem para o uso das métricas com base em registros do pacote de operações do Google Cloud para configurar o monitoramento e os alertas com base em uma métrica personalizada.

Objetivos

  • Implantar um DAG simples executado em um intervalos de minutos no ambiente do Cloud Composer.
  • Aproveitar os registros que o conjunto de operações do Google Cloud produz para o Cloud Composer, usando as métricas com base em registros para criar uma métrica personalizada.
  • Configurar o monitoramento e os alertas com base na métrica personalizada

Custos

O Cloud Composer é um produto pago. Portanto, você incorrerá em custos de uso neste tutorial. Para mais informações, consulte Preços. Também é possível usar a calculadora de preços para gerar uma estimativa de custo com base no uso previsto. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

  1. Faça login na sua conta do Google.

    Se você ainda não tiver uma, inscreva-se.

  2. No Console do Cloud, na página do seletor de projetos, selecione ou crie um projeto do Cloud.

    Acessar a página do seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud. Saiba como confirmar se a cobrança está ativada para o seu projeto.

  4. Crie um ambiente do Cloud Composer..
  5. Garantir as permissões adequadas. As permissões a seguir são necessárias para acessar os registros e as métricas do ambiente do Cloud Composer:
    • Monitoramento e geração de registros somente leitura: logging.viewer e monitoring.viewer
    • Geração de registros somente leitura incluindo registros particulares: logging.privateLogViewer
    • Monitoramento de leitura e gravação: monitoring.editor

    Para mais informações, consulte Controle de acesso do Cloud Composer.

Como adicionar o DAG ao seu ambiente

  1. Faça o upload deste DAG para o bucket do Cloud Storage para o ambiente:

    import airflow
    from airflow import DAG
    from airflow.operators.bash_operator import BashOperator
    from datetime import timedelta
    
    default_args = {
        'retries': 1,
        'retry_delay': timedelta(minutes=5),
        'start_date': airflow.utils.dates.days_ago(0)
    }
    
    dag = DAG(
        'liveness',
        default_args=default_args,
        description='liveness monitoring dag',
        schedule_interval=timedelta(minutes=1))
    
    t1 = BashOperator(
        task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
    
  2. Aguarde até que o Airflow programe o DAG. É possível verificar o status na interface da Web do Airflow.

    Interface da Web do Airflow

Como criar a métrica de contador baseada em registros no conjunto de operações do Google Cloud

  1. Acesse o visualizador de registros

    Acessar o Visualizador de registros

  2. Verifique se o projeto correto está selecionado na parte superior da página ou use o menu suspenso na mesma parte da página para selecionar um projeto.

  3. No campo do recurso, selecione Ambiente do Cloud Composer e, em seguida, selecione o nome do local e do ambiente.

  4. No campo de tipo de registro, selecione o airflow-worker.

  5. Na barra de filtro, crie um filtro para mostrar somente os registros que o DAG de atividade emite, inserindo o seguinte rótulo: label:workflow:liveness.

  6. Na parte superior da página, clique em Criar métrica. O Editor de métrica é exibido no lado direito da página e o painel do visualizador, que exibe seus registros, é exibido no lado esquerdo.

    Criar métrica

  7. No painel Editor de métricas, defina os seguintes campos:

    1. Nome: escolha um nome exclusivo entre as métricas do seu projeto que sejam baseadas em registros. Por exemplo, liveness-logs-cnt.
    2. Descrição: descreva a métrica.
    3. Tipo: contador.
  8. Clique em Criar métrica. A página "métricas com base em registros" é exibida.

Como criar a política de alertas

  1. Na página "Métricas com base em registros", marque a métrica em que você quer criar uma política e, no menu à direita da listagem da métrica, selecione Criar alerta a partir da métrica. A página Criar nova política de alertas é exibida.

    Criar alerta

  2. Na página Criar nova política de alertas, na seção Condições, clique em Editar. Uma janela pré-preenchida Criar MÉTRICA é exibida.

  3. (Opcional) Insira um nome para a condição.

  4. Na seção Meta, para Agregador, escolha contagem.

  5. Na seção Configuração, para Limite, defina o valor, conforme necessário.

    Política de alertas

  6. Clique em Save. O painel Criar nova política de alertas exibe a condição concluída.

  7. Preencha as seções Notificações, Documentação e Nome da política de alertas.

  8. Clique em Save.

Limpar

Para evitar cobranças na conta do Google Cloud Platform, referentes aos recursos usados neste tutorial:

  1. No Console do Cloud, acesse a página Gerenciar recursos:

    Acessar a página "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir

Para saber como usar um painel personalizado para visualizar as métricas do ambiente do Cloud Composer, consulte Como monitorar ambientes e fluxos de trabalho no conjunto de operações do Google Cloud.