Como ver registros do Airflow

Esta página mostra como acessar e visualizar os registros do Apache Airflow para o Cloud Composer.

Tipos de registro

O Cloud Composer inclui estes registros do Airflow:

  • Registros do Airflow: esses registros são associados a tarefas únicas do DAG. É possível ver os registros de tarefas na pasta logs do Cloud Storage associada ao ambiente do Cloud Composer. Também é possível visualizar os registros na interface da Web do Airflow.
  • Registros de streaming: esses registros são um superconjunto dos registros no Airflow. Para acessar os registros de streaming, acesse a guia "Registros" da página "Detalhes do ambiente" no Console do Google Cloud, use o visualizador de registros do Cloud Logging ou use o Cloud Monitoring.

    Também é possível usar métricas com base em registros no Monitoring para configurar políticas de alertas para, por exemplo, verificar a integridade do ambiente do Cloud Composer. As cotas do Logging e do Monitoring são aplicáveis. Para saber sobre o Cloud Logging e o Cloud Monitoring no ambiente do Cloud Composer, consulte Como monitorar ambientes com o Cloud Monitoring.

Registros no Cloud Storage

Quando você cria um ambiente, um bucket do Cloud Storage gerado pelo Cloud Composer é associado a ele. O Cloud Composer armazena os registros de tarefas únicas do DAG na pasta logs no bucket. Para o nome do bucket, consulte Como determinar o nome do bucket de armazenamento.

Estrutura de diretórios da pasta de registro

A pasta logs inclui pastas para cada fluxo de trabalho executado no ambiente. Cada pasta de fluxo de trabalho inclui uma pasta para os DAGs e sub-DAGs. Cada pasta contém os arquivos de registro de cada tarefa. O nome do arquivo da tarefa indica quando a tarefa foi iniciada.

O exemplo a seguir mostra a estrutura de diretórios de registros de um ambiente.

us-central1-my-environment-60839224-bucket
   └───dags
   |   │
   |   |   dag_1
   |   |   dag_2
   |   |   ...
   |
   └───logs
       │
       └───dag_1
       |   │
       |   └───task_1
       |   |   │   datefile_1
       |   |   │   datefile_2
       |   |   │   ...
       |   |
       |   └───task_2
       |       │   datefile_1
       |       │   datefile_2
       |       │   ...
       |
       └───dag_2
           │   ...

Retenção de registro

Para evitar a perda de dados, os registros salvos no Cloud Storage permanecem no armazenamento mesmo após a exclusão do ambiente. Exclua manualmente os registros do Cloud Storage.

Antes de começar

É necessário ter um papel que possa ver objetos em buckets do ambiente. Consulte Controle de acesso para mais informações.

Como ver registros de tarefas no Cloud Storage

Para visualizar os arquivos de registro das tarefas do DAG:

  1. Para ver os arquivos de registro, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gsutil ls -r gs://BUCKET/logs

  2. (Opcional) Para copiar um único registro ou uma subpasta, digite o seguinte comando, substituindo VARIABLES pelos valores apropriados:

    gsutil cp -r gs://BUCKET/logs/PATH_TO_LOG_FILE LOCAL_FILE_OR_DIRECTORY

Como visualizar registros de streaming no Console do Cloud

O Cloud Composer produz estes registros:

  • airflow: os registros sem categorização que os pods do Airflow geram.
  • airflow-upgrade-db: os registros do job de inicialização do banco de dados do Airflow gerados anteriormente (airflow-database-init-job).
  • airflow-scheduler: os registros que o programador do Airflow gera.
  • dag-processor-manager: os registros do gerenciador de processador DAG (a parte do programador que processa arquivos DAG).
  • airflow-webserver: os registros que a interface da Web do Airflow gera.
  • airflow-worker: os registros gerados como parte do fluxo de trabalho e da execução do DAG.
  • cloudaudit.googleapis.com/activity: os registros de Atividade do administrador gerados.
  • composer-agent: os registros gerados como parte das operações de criação e atualização do ambiente.
  • gcs-syncd: os registros gerados pelos processos de sincronização do arquivo.
  • build-log-worker-scheduler: os registros da versão local da imagem de worker do Airflow (durante os upgrades e a instalação do pacote Python).
  • build-log-webserver: os registros da versão da imagem do servidor da Web do Airflow (durante os upgrades e a instalação do pacote python).
  • airflow-monitoring: os registros que o monitoramento do Airflow gera.

Esses registros podem ser visualizados na guia "Registros" da página "Detalhes do ambiente" ou no Cloud Logging.

Para visualizar os registros de streaming na página "Detalhes do ambiente":

  1. Abra a página Ambientes no Console do Cloud.

    ACESSAR A PÁGINA "AMBIENTES"

  2. Encontre o nome do ambiente que você quer inspecionar na lista. Clique no nome do ambiente para abrir a página Detalhes do ambiente e selecione a guia Registros.

  3. Selecione a subcategoria dos registros que você quer ver e escolha o intervalo de tempo a ser inspecionado usando o seletor de intervalo de tempo no canto superior esquerdo.

    É possível navegar até o visualizador de registros do pacote de operações do Google Cloud com o filtro de registros pré-preenchido. Basta clicar no botão direito na parte superior com a dica "Ir para o visualizador de registros".

Para visualizar os registros de streaming no Cloud Logging:

  1. Acesse o visualizador de registros do conjunto de operações do Google Cloud no Console do Cloud.
    IR PARA A PÁGINA DO VISUALIZADOR DE REGISTROS

  2. Selecione os registros que você quer ver.

    É possível filtrar por propriedades, como nível e arquivo de registro, rótulo predefinido, nome da tarefa, fluxo de trabalho e data de execução. Para mais informações sobre como selecionar e filtrar registros, consulte Exibir registros. Para saber mais sobre a exportação de registros, consulte Como exportar com o Visualizador de registros.

A seguir