Interface de linha de comando do Airflow

O Apache Airflow inclui uma interface de linha de comando (CLI, na sigla em inglês) [página em inglês] que pode ser usada para gerenciar os ambientes do Airflow. A CLI é útil para realizar tarefas como o gerenciamento de fluxos de trabalho, a alteração do ambiente do Airflow e a coleta de informações de registro.

O Cloud Composer simplifica os comandos da CLI do Airflow com o SDK do Google Cloud. Depois da instalação, é possível usar a ferramenta de linha de comando gcloud para utilizar o comando gcloud composer environments run e executar os subcomandos da CLI do Airflow (em inglês).

Antes de começar

As permissões a seguir são necessárias para acessar a ferramenta de linha de comando gcloud (CLI do Airflow) no ambiente do Cloud Composer:

  • composer.environments.get
  • container.clusters.get
  • container.clusters.list
  • container.clusters.getCredentials

Para mais informações, consulte Controle de acesso do Cloud Composer.

Limitações

Não use o comando resetdb do Airflow. Ele limpa o banco de dados, incluindo as conexões definidas pelo Cloud Composer.

Como executar comandos da CLI do Airflow

Para executar comandos da CLI do Airflow em um ambiente do Cloud Composer, use o seguinte:

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION SUBCOMMAND

A maioria dos comandos gcloud composer requer um local. Para especificá-lo, use a sinalização --location ou defina o local padrão.

Por exemplo, para acionar um DAG denominado sample_quickstart com o ID 5077 no ambiente do Cloud Composer, execute o seguinte:

gcloud composer environments run test-environment \
    --location us-central1 trigger_dag -- sample_quickstart \
    --run_id=1234

Por exemplo, para verificar erros de sintaxe nos DAGs de um diretório test/, execute o seguinte:

gcloud composer environments run test-environment \
     --location us-central1 \
     list_dags -- -sd /home/airflow/gcs/data/test
Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…