Conferir os registros do Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Esta página mostra como acessar e visualizar os registros do Apache Airflow para o Cloud Composer.

Tipos de registro

O Cloud Composer inclui estes registros do Airflow:

  • Registros do Airflow: esses registros são associados a tarefas únicas do DAG. É possível ver os registros de tarefas na pasta logs do Cloud Storage associada ao ambiente do Cloud Composer. Também é possível visualizar os registros na interface da Web do Airflow.

  • Registros de streaming: esses registros são um superconjunto dos registros no Airflow. Para acessar registros de streaming, você pode ir para a guia de registros de detalhes do ambiente no console do Google Cloud, use o Cloud Logging ou o Cloud Monitoring.

    As cotas do Logging e do Monitoring são aplicáveis.

    Para saber mais sobre o Cloud Logging e o Cloud Monitoring no ambiente do Cloud Composer, consulte Ambientes do Monitoring.

Registros no Cloud Storage

Quando você cria um ambiente, um bucket do Cloud Storage gerado pelo Cloud Composer é associado a ele. O Cloud Composer armazena registros para tarefas únicas do DAG na pasta logs no bucket.

Estrutura de diretórios da pasta de registro

A pasta logs inclui pastas para cada fluxo de trabalho executado no ambiente. Cada pasta de fluxo de trabalho inclui uma pasta para os DAGs e sub-DAGs. Cada pasta contém os arquivos de registro de cada tarefa. O nome do arquivo da tarefa indica quando a tarefa foi iniciada.

O exemplo a seguir mostra a estrutura de diretórios de registros de um ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retenção de registro

Para evitar a perda de dados, os registros salvos no bucket do ambiente não são excluídos após você excluir seu ambiente. É preciso excluir manualmente os registros no bucket do seu ambiente.

Os registros armazenados no bucket do ambiente usam a política dele. O Cloud Composer cria buckets com a política padrão que mantém os dados para sempre.

Para registros armazenados no Cloud Logging, o Cloud Composer usa _Default e definidos pelo usuário períodos de armazenamento de registros.

Antes de começar

Você precisa ter um papel que possa visualizar objetos em buckets do ambiente. Consulte Controle de acesso para mais informações.

Como ver registros de tarefas no Cloud Storage

Para visualizar os arquivos de registro das tarefas do DAG:

  1. Para ver os arquivos de registro, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gcloud storage ls gs://BUCKET/logs --recursive

  2. (Opcional) Para copiar um único registro ou uma subpasta, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gcloud storage cp gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY --recursive

Como visualizar registros de streaming no console do Google Cloud

O Cloud Composer produz estes registros:

  • airflow: os registros sem categorização que os pods do Airflow geram.
  • airflow-upgrade-db: os registros gerados pelo job de inicialização do banco de dados do Airflow (anteriormente airflow-database-init-job).
  • airflow-scheduler: os registros que o programador do Airflow gera.
  • dag-processor-manager: os registros do gerenciador de processador DAG (a parte do programador que processa arquivos DAG).
  • airflow-triggerer: os registros que o acionador do Airflow gera.
  • airflow-webserver: os registros que a interface da Web do Airflow gera.
  • airflow-worker: os registros gerados como parte do fluxo de trabalho e da execução do DAG.
  • cloudaudit.googleapis.com/activity: os registros de Atividade do administrador gerados.
  • composer-agent: os registros gerados como parte das operações de criação e atualização do ambiente.
  • gcs-syncd: os registros gerados pelos processos de sincronização do arquivo.
  • build-log-worker-scheduler: os registros da versão local da imagem de worker do Airflow (durante os upgrades e a instalação do pacote Python).
  • build-log-webserver: os registros da versão da imagem do servidor da Web do Airflow (durante os upgrades e a instalação do pacote python).
  • airflow-monitoring: os registros que o monitoramento do Airflow gera.

Esses registros podem ser visualizados na guia "Registros" da página "Detalhes do ambiente" ou no Cloud Logging.

Para visualizar os registros de streaming na página "Detalhes do ambiente":

  1. No console do Google Cloud, acesse a página Ambientes.

    Acessar "Ambientes"

  2. Encontre o nome do ambiente que você quer inspecionar na lista. Clique no nome do ambiente para abrir a página Detalhes do ambiente e selecione a guia Registros.

  3. Selecione a subcategoria dos registros que você quer ver e escolha o intervalo de tempo a ser inspecionado usando o seletor de intervalo de tempo no canto superior esquerdo.

Para visualizar os registros de streaming no Cloud Logging:

  1. Acesse o Explorador de registros no console do Google Cloud.

    Acessar o Explorador de registros

  2. Selecione os registros que você quer ver.

    É possível filtrar por propriedades como nível e arquivo de registro, rótulo predefinido, nome da tarefa, fluxo de trabalho e data de execução. Para mais informações sobre selecione e filtre registros, consulte Como usar a Análise de registros.

    Para saber mais sobre a exportação de registros, consulte Configurar e gerenciar coletores.

A seguir