Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
本页介绍了 Airflow 界面和 DAG 界面的不同访问权限控制机制。除了访问权限控制之外,您还可以使用这些机制 使用 IAM 提供的功能来分隔 您的环境的 Airflow 界面和 DAG 界面。
Cloud Composer 中 Airflow 界面访问权限控制概览
访问 Airflow 界面和 DAG 界面,以及 数据和操作在界面中的可见性有两个级别, Cloud Composer:
对 Cloud Composer 中的 Airflow 界面和 DAG 界面的访问权限由 IAM 控制。
如果账号不具有可 查看 Cloud Composer 环境 项目,则 Airflow 界面和 DAG 界面将不可用。
IAM 在 Airflow 界面或 DAG 界面中不会提供任何其他精细的权限控制。
Apache Airflow 访问权限控制模型允许 根据用户角色降低 Airflow 界面和 DAG 界面中的可见性。
Apache Airflow 访问控制是 Airflow 的一项功能,它拥有自己的用户、角色、权限模型,与 IAM 不同。
Apache Airflow 访问权限控制使用基于资源的权限。具有特定 Airflow 角色的所有 Airflow 用户都会获得此角色的权限。例如:
拥有具有 can delete on Connections
权限的角色的 Airflow 用户
可以在 Airflow 界面的“连接”页面上删除连接。
您还可以为个别 DAG 分配 DAG 级权限。例如,您可以通过此功能实现以下目的:只有具有特定 Airflow 角色的用户才能在 Airflow 界面中看到特定 DAG。在 Cloud Composer 中,您可以 自动分配 DAG 级权限; (根据 DAG 文件在环境的 存储分区。
准备工作
具有访问权限控制功能的 Airflow 界面适用于 Cloud Composer 版本 1.13.4 或更高版本,以及 Airflow 1.10.10 及更高版本。该环境还必须运行 Python 3。
可在以下位置进行每个文件夹的角色注册: Cloud Composer 1.18.12 及更高版本,适用于 Airflow 2 和 Airflow 1 中的 Cloud Composer 1.13.4 及更高版本。
启用 Airflow 界面访问权限控制
Airflow 2
在 Airflow 2 中,启用访问控制功能的 Airflow 界面始终处于启用状态。
Airflow 1
如需启用带有访问权限控制的 Airflow 界面,请替换 以下 Airflow 配置选项:
段 | 键 | 值 |
---|---|---|
webserver |
rbac |
True |
您可以为现有环境或在创建新环境时执行此操作。
使用这种配置时,您的环境将运行具有访问控制功能的 Airflow 界面,而不是经典版 Airflow 界面。
管理 Airflow 角色和访问权限控制设置
拥有“管理员”角色(或同等角色)的用户可以查看和修改访问权限控制 Airflow 界面中的设置。
在 Airflow 界面中,您可以从以下位置配置访问权限控制设置: 安全性菜单。如需详细了解 Airflow 访问权限控制模型、可用权限和默认角色,请参阅 Airflow 界面访问权限控制文档。
Airflow 1 会将“用户”角色视为所有自定义角色的模板。Airflow 会不断将“用户角色”中的权限复制到所有自定义角色,all_dags
的权限除外。
Airflow 维护自己的用户列表。具有管理员角色(或等效角色)的用户可以查看已打开某个环境的 Airflow 界面,并且已在 Airflow 中注册的用户列表。此列表还包括由管理员手动预注册的用户,如以下部分所述。
在 Airflow 界面中注册用户
当新用户首次打开 Cloud Composer 环境的 Airflow 界面时,系统会自动注册新用户。
用户注册时会被授予
[webserver]rbac_user_registration_role
Airflow 配置选项。您可以通过使用其他值替换此 Airflow 配置选项来控制新注册用户的角色。
如果未指定,则在具有 Airflow 2 的环境中,默认注册角色为 Op
。
在提供 Airflow 1.10.* 的环境中,默认注册角色为 Admin
。
如需为 Airflow 界面创建基本角色配置,建议执行以下步骤:
Airflow 2
环境管理员会打开新创建的 Airflow 界面 环境
为管理员账号授予
Admin
角色。在具有 Airflow 2 的环境中,新账号的默认角色为Op
。要分配Admin
角色,请运行以下命令 将 Airflow CLI 命令替换为 gcloud CLI:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users add-role -- -e USER_EMAIL -r Admin
您需要将其中的:
ENVIRONMENT_NAME
替换为环境的名称。LOCATION
替换为环境所在的区域。- 将
USER_EMAIL
替换为用户账号的电子邮件地址。
管理员现在可以为新用户配置访问权限控制,包括向其他用户授予
Admin
角色。
Airflow 1
环境管理员打开新创建的环境的 Airflow 界面,他们会在界面中自动注册
Admin
角色。将以下 Airflow 配置选项替换为新用户所需的角色。例如,替换为
User
。部分 键 值 webserver
rbac_user_registration_role
User
或其他非管理员角色管理员现在可以为新用户配置 Airflow 界面访问权限控制,包括向其他用户授予
Admin
角色。
预注册用户
用户会自动注册由 Google 用户账号的数字 ID(而非电子邮件地址)作为其用户名。您也可以手动预注册用户 然后添加名为“用户名”字段的用户记录,为他们分配角色 用户的主电子邮件地址。如果电子邮件地址与预注册的用户记录匹配的用户首次登录 Airflow 界面,则该用户的用户名会被替换为目前(首次登录时)通过其电子邮件地址识别的用户 ID。关系 介于 Google 身份(电子邮件地址)和用户账号(用户 ID) 不是固定的无法预注册 Google 群组。
如需预注册用户,您可以使用 Airflow 界面,也可以通过 Google Cloud CLI 运行 Airflow CLI 命令。
如需通过 Google Cloud CLI 预注册具有自定义角色的用户,请运行以下 Airflow CLI 命令:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
users create -- \
-r ROLE \
-e USER_EMAIL \
-u USER_EMAIL \
-f FIRST_NAME \
-l LAST_NAME \
--use-random-password # The password value is required, but is not used
替换以下内容:
ENVIRONMENT_NAME
:环境的名称LOCATION
:环境所在的区域ROLE
:用户的 Airflow 角色,例如Op
USER_EMAIL
:用户的电子邮件地址FIRST_NAME
和LAST_NAME
:用户的名字和姓氏
示例:
gcloud composer environments run example-environment \
--location us-central1 \
users create -- \
-r Op \
-e "example-user@example.com" \
-u "example-user@example.com" \
-f "Name" \
-l "Surname" \
--use-random-password
移除用户
从 Airflow 中删除用户不会撤消该用户的访问权限,因为他们在下次访问 Airflow 界面时会自动进行重新注册。接收者
撤消对整个 Airflow 界面的访问权限,移除composer.environments.get
从其针对您的项目的允许政策中获取的权限。
您还可以将用户的角色更改为“公开”,这将保留用户注册,但会移除 Airflow 界面的所有权限。
自动配置 DAG 级权限
每个文件夹的角色注册功能会自动创建一个
每个子文件夹的自定义 Airflow 角色
直接在 /dags
文件夹中授予此角色的 DAG 级访问权限,允许其访问
源文件存储在相应子文件夹中的 DAG。这个
可简化自定义 Airflow 角色及其对 DAG 的访问权限的管理。
文件夹角色注册的工作原理
按文件夹注册角色是一种自动配置角色及其 DAG 级权限的方法。因此,它可能会与授予 DAG 级权限的其他 Airflow 机制发生冲突:
为防止此类冲突,启用“按文件夹注册角色”功能还会更改这些机制的行为。
在 Airflow 1 中,启用“按文件夹注册角色”后,系统会停用使用这些机制的可能性。所有 DAG 级权限管理仅通过按文件夹注册角色进行。
在 Airflow 2 中:
- 您可以通过
access_control
属性向 DAG 授予角色访问权限 在 DAG 源代码中定义 - 通过 Airflow 界面或 gcloud CLI)可能会导致冲突。例如,如果您手动向按文件夹的角色授予 DAG 级权限,这些权限可能会在 DAG 处理器同步 DAG 时被移除或覆盖。我们建议您不要手动授予 DAG 权限。
- 角色拥有通过“按文件夹”注册的 DAG 访问权限的集合
角色注册,并在
access_control
DAG
直接位于顶层 /dags
文件夹中的 DAG 不会被自动分配给
任何文件夹级角色这些文件夹无法使用任何文件夹级角色进行访问。其他角色(例如“管理员”“操作员”“用户”或已获授权的任何自定义角色)都可以通过 Airflow 界面和 DAG 界面访问这些权限。
如果您将 DAG 上传到名称与内置 Airflow 角色和 Cloud Composer 创建的角色匹配的子文件夹,则这些子文件夹中 DAG 的权限仍会分配给这些角色。例如,将 DAG 上传到 /dags/Admin
文件夹会向“管理员”角色授予对此 DAG 的权限。Airflow 内置角色包括“管理员”“操作员”“用户”“查看者”和“公开”。Cloud Composer 会在每个文件夹之后创建 NoDag 和 UserNoDag
角色注册功能已启用。
Airflow 在处理 DAG 时执行每个文件夹的角色注册
Airflow 调度器中的如果您的数据库中的 DAG 超过 100 个,
您可能会看到
DAG 解析时间增加。
如果是这种情况,我们建议提高 [scheduler]max_threads
参数(对于 Airflow 1 环境)或 [scheduler]parsing_processes
(对于 Airflow 1 环境)
Airflow 2.
自动将 DAG 分配给每个文件夹的角色
如需将 DAG 自动分配给每个文件夹的角色,请执行以下操作:
替换以下 Airflow 配置选项:
部分 键 值 webserver
rbac_autoregister_per_folder_roles
True
将新的用户注册角色更改为无权访问任何 DAG 的角色。 这样一来,新用户将无法访问任何 DAG,除非管理员向其账号分配了具有特定 DAG 权限的角色。
UserNoDags 和 NoDags 是仅在启用“按文件夹注册角色”功能时由 Cloud Composer 创建的角色。它们是 等同于 User 角色,但无权访问任何 DAG。UserNoDags 角色在 Airflow 2 中创建,NoDags 角色在 Airflow 1 中创建。
在 Airflow 2 中,替换以下 Airflow 配置选项:
段 键 值 webserver
rbac_user_registration_role
UserNoDags
在 Airflow 1 中,替换以下 Airflow 配置 选项:
段 键 值 webserver
rbac_user_registration_role
NoDags
确保用户已在 Airflow 中注册。
使用以下方法之一为用户分配角色:
- 让 Airflow 自动根据 DAG 子文件夹创建角色,然后将用户分配给这些角色。
- 为 DAG 子文件夹预先创建空角色,角色名称与
子文件夹的名称,然后将用户分配给这些角色。例如:
为
/dags/CustomFolder
文件夹创建一个名为CustomFolder
。
将 DAG 上传到其名称与分配给用户的角色匹配的子文件夹。 这些子文件夹必须位于环境存储桶的
/dags
文件夹中。Airflow 会向此类子文件夹中的 DAG 添加权限,以便只有具有相应角色的用户才能通过 Airflow 界面和 DAG 界面访问这些 DAG。
手动配置 DAG 级权限
您可以配置 DAG 级权限:可让自定义角色 指定对特定用户群组可见的 DAG。
如需在 Airflow 界面中配置 DAG 级权限,请执行以下操作:
- Admin 会创建空角色来对 DAG 进行分组。
- 管理员将用户分配到相应的角色。
- 管理员或用户为角色分配 DAG。
- 在 Airflow 界面中,用户只能看到分配给其所在群组的 DAG。
您可以通过 DAG 属性或 Airflow 界面。
在 Airflow 界面中为角色分配 DAG
管理员可以在 Airflow 界面中向相应角色分配所需的 DAG 级权限。
DAG 界面不支持此操作。
将 DAG 分配给 DAG 属性中的角色
您可以在 DAG 上设置 access_control
DAG 参数,指定 DAG 将为其分配的 DAG 分组角色。
Airflow 2
dag = DAG(
access_control={
'DagGroup': {'can_edit', 'can_read'},
},
...
)
Airflow 1
dag = DAG(
access_control={
'DagGroup': {'can_dag_edit', 'can_dag_read'},
},
...
)
将 Airflow 界面中的审核日志映射到用户
Airflow 界面中的审核日志会映射到 Google 用户账号的数字 ID。对于 例如,如果用户暂停某个 DAG,则系统会向日志中添加一个条目。
Airflow 2
在 Airflow 2 中,您可以在以下位置查看审核日志:浏览 > Airflow 界面中的审核日志页面。
Airflow 1
在 Airflow 1 中,您可以在浏览 > 日志页面上查看审核日志。
典型条目会在所有者字段中列出一个数字 ID:
accounts.google.com:NUMERIC_ID
。您可以将数字 ID 映射到
安全性 > 列出用户页面。此页面适用于
具有 Admin
角色的用户。
请注意,Google 身份(电子邮件地址)和用户账号(用户 ID)之间的关系不是固定的。