Airflow 网页界面

Apache Airflow 有一个网页界面,可用于管理工作流 (DAG)、管理 Airflow 环境以及执行管理操作。例如,您可以使用该网页界面来查看 DAG 的进度,设置新的数据连接,或查看来自先前 DAG 运行的日志。

每个 Cloud Composer 环境都有一个 Web 服务器,用于运行 Airflow 网页界面。该 Web 服务器独立于您的环境的 GKE 集群,并且在采用固定机器类型的 App Engine 实例上运行。该 Web 服务器会解析 dags/ 文件夹中的 DAG 定义文件,因此必须能够访问 DAG 的数据和资源。

准备工作

  • 要访问 Cloud Composer 环境中的 Airflow Web 服务器,您需要具备 composer.environments.get 权限。如需了解详情,请参阅 Cloud Composer 访问权限控制

  • 在环境创建期间,Cloud Composer 会为运行 Airflow 网页界面的 Web 服务器配置网址。该网址不可自定义。

  • 对于运行 Airflow 1.10 的 Cloud Composer 环境,Airflow 网页界面不支持基于角色的访问权限控制 (RBAC) 功能。

访问网页界面

Airflow Web 服务器服务会部署到 appspot.com 网域,并提供访问 Airflow 网页界面的方式。该界面由 Cloud Identity-Aware Proxy 提供安全保障,从而可根据用户身份提供访问保护。

创建新的 Cloud Composer 环境后,该网页界面最多需要一个小时才能完成托管并变为可访问状态。

通过 Google Cloud Platform Console 访问网页界面

要从 Google Cloud Platform Console 访问 Airflow 网页界面,请执行以下操作:

  1. 要查看现有的 Cloud Composer 环境,请打开环境页面。

    打开“环境”页面

  2. Airflow Web 服务器列中,点击您想要查看其 Airflow 网页界面的环境所对应的新窗口图标。
  3. 使用具有相应权限的 Google 帐号登录。

通过 gcloud 命令行工具检索网页界面网址

您可以通过任何网络浏览器访问 Airflow 网页界面。要获取该网页界面的网址,请输入以下 gcloud 命令:

gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION

其中:

  • ENVIRONMENT_NAME 是环境的名称。
  • LOCATION 是环境所在的 Compute Engine 区域。

gcloud 命令显示了 Cloud Composer 环境的属性,包括该网页界面的网址。该网址被列为 airflowUri

airflowUri: https://uexamplebcd3fff-tp.appspot.com/
  dagGcsPrefix: gs://us-central1-example-environment-00a47695-bucket/dags
  gkeCluster: projects/example-project/zones/us-central1-a/clusters/us-central1-example-environment-00a47695-gke
  nodeConfig:
    diskSizeGb: 100
    location: projects/example-project/zones/us-central1-a
    machineType: projects/example-project/zones/us-central1-a/machineTypes/n1-standard-1
    network: projects/example-project/global/networks/default
    oauthScopes:
    - https://www.googleapis.com/auth/cloud-platform
    serviceAccount: N13597NNN465-compute@developer.gserviceaccount.com
  nodeCount: 3
  softwareConfig:
    imageVersion: composer-0.5.1-airflow-1.9.0
createTime: '2018-05-19T02:13:36.749Z'
name: projects/example-project/locations/us-central1/environments/example-environment
state: RUNNING
updateTime: '2018-05-19T02:30:21.387Z'
uuid: 66bd6a28-5b48-4da3-a0aa-898199b569da
此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer