Como ver registros do Airflow

Esta página mostra como acessar e visualizar os registros do Apache Airflow para o Cloud Composer.

Tipos de registro

O Cloud Composer inclui estes registros do Airflow:

Registros no Cloud Storage

Quando você cria um ambiente, um bucket do Cloud Storage gerado pelo Cloud Composer é associado a ele. O Cloud Composer armazena os registros de tarefas únicas do DAG na pasta logs no bucket. Para o nome do bucket, consulte Como determinar o nome do bucket de armazenamento.

Estrutura de diretórios da pasta de registro

A pasta logs inclui pastas para cada fluxo de trabalho executado no ambiente. Cada pasta de fluxo de trabalho inclui uma pasta para os DAGs e sub-DAGs. Cada pasta contém os arquivos de registro de cada tarefa. O nome do arquivo da tarefa indica quando a tarefa foi iniciada.

O exemplo a seguir mostra a estrutura de diretórios de registros de um ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retenção de registro

Para evitar a perda de dados, os registros salvos no Cloud Storage permanecem no armazenamento mesmo após a exclusão do ambiente. Exclua manualmente os registros do Cloud Storage.

Antes de começar

A seguinte permissão é necessária para acessar os registros do Airflow no bucket do Cloud Storage para o ambiente do Cloud Composer: storage.objectAdmin. Para mais informações, consulte Controle de acesso do Cloud Composer.

Como ver registros de tarefas no Cloud Storage

Para visualizar os arquivos de registro das tarefas do DAG:

  1. Para ver os arquivos de registro, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gsutil ls -r gs://BUCKET/logs

  2. (Opcional) Para copiar um único registro ou uma subpasta, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Como visualizar registros de streaming no Console do Cloud

O Cloud Composer produz estes registros:

  • airflow: os registros sem categorização que os pods do Airflow geram.
  • airflow-database-init-job: os registros que o job de inicialização do banco de dados do Airflow gera.
  • airflow-scheduler: os registros que o programador do Airflow gera.
  • airflow-webserver: os registros que a interface da Web do Airflow gera.
  • airflow-worker: os registros gerados como parte do fluxo de trabalho e da execução do DAG.
  • cloudaudit.googleapis.com/activity: os registros de Atividade do administrador gerados.
  • composer-agent: os registros gerados como parte das operações de criação e atualização do ambiente.
  • airflow-monitoring: os registros que o monitoramento do Airflow gera.

Para visualizar os arquivos de registro de streaming:

  1. Acesse o visualizador de registros do conjunto de operações do Google Cloud no Console do Cloud.
    IR PARA A PÁGINA DO VISUALIZADOR DE REGISTROS

  2. Selecione os registros que você quer ver.

    É possível filtrar por propriedades, como nível e arquivo de registro, rótulo predefinido, nome da tarefa, fluxo de trabalho e data de execução. Para mais informações sobre como selecionar e filtrar registros, consulte Exibir registros. Para saber mais sobre a exportação de registros, consulte Como exportar com o Visualizador de registros.

A seguir