Airflow 命令行界面

Apache Airflow 有一个命令行界面 (CLI),可用于管理 Airflow 环境。此 CLI 非常适用于管理工作流、更改 Airflow 环境以及获取日志信息等任务。

Cloud Composer 可以通过 Google Cloud SDK 简化 Airflow CLI 命令。安装 Google Cloud SDK 后,您可以使用 gcloud 命令行工具运行 gcloud composer environments run 命令,以执行 Airflow CLI 子命令

准备工作

要在 Cloud Composer 环境中访问 gcloud 命令行工具 (Airflow CLI),您需要具备以下权限:

  • composer.environments.get
  • container.clusters.get
  • container.clusters.list
  • container.clusters.getCredentials

如需了解详情,请参阅 Cloud Composer 访问权限控制

限制

请勿使用 Airflow resetdb 命令。该命令会清除数据库,包括 Cloud Composer 设置的连接。

运行 Airflow CLI 命令

您可以使用以下命令在 Cloud Composer 环境中运行 Airflow CLI 命令:

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION SUBCOMMAND

大多数 gcloud composer 命令都需要指定一个位置。要指定此位置,您可以使用 --location 标志,也可以设置默认位置

例如,要在 Cloud Composer 环境中触发名为 sample_quickstart 且 ID 为 5077 的 DAG,请使用以下命令:

gcloud composer environments run test-environment \
    --location us-central1 trigger_dag -- sample_quickstart \
    --run_id=1234

例如,要检查 test/ 目录下的 DAG 中是否存在语法错误,请使用以下命令:

gcloud composer environments run test-environment \
     --location us-central1 \
     list_dags -- -sd /home/airflow/gcs/data/test
此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer