Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
本页面介绍了如何使用以下代码保存和加载环境状态: 环境快照
您可以将环境配置为自动保存快照。有关 相关信息,请参阅配置计划快照。
环境快照简介
环境快照会存储环境的状态。您可以按需保存和加载环境快照。
您可以使用快照执行以下操作:
将您的环境恢复到早期状态。创建备份 环境,然后加载其中一个快照 环境例如,即使环境成功更新,您也可以回滚安装 PyPI 软件包或替换 Airflow 配置选项的更新操作。
执行并排升级和复制环境。创建现有环境的快照,创建使用相同或更高版本 Cloud Composer 的新环境,然后将快照应用于此新环境。此过程类似于 迁移。请务必先暂停 DAG 截取快照,以避免重复的 DAG 运行。
快照的存储方式
环境快照是一组描述环境状态的文件,用于存储环境数据的备份。
您可以为环境创建多个快照。环境快照是非增量快照。您可以独立于其他快照使用任何快照。
在您删除实例时,Cloud Composer 不会删除快照, 环境
默认情况下,Cloud Composer 会将快照存储在环境存储桶的 snapshots/
文件夹中。您还可以指定自定义位置
手动创建快照
虽然 Cloud Storage 界面会出于方便起见将数据显示为文件夹,但存储桶采用的是平面文件结构。这不会改变您在 Google Cloud 控制台中保存和加载快照的方式,但请在直接对存储桶中的文件执行操作时注意这一点。如需更多信息 请参阅对象命名空间。
快照的安全注意事项
为了降低这种安全风险,您可以存储敏感信息 例如密钥或密码 Secret Manager如需了解详情,请参阅 为您的环境配置 Secret Manager。
请务必检查您环境的存储桶的安全权限。如果您将环境快照存储在自定义存储桶中,请确保在项目中正确配置了对该存储桶的访问权限。分配权限时,请确保环境服务 账号有足够的权限从 存储桶。
快照中会保存哪些数据
Cloud Composer 会将以下数据保存在快照中:
- Airflow 配置替换。
- 环境变量。
- 自定义 PyPI 软件包列表(作为要求)。
- Airflow 数据库的备份,包括已执行任务的状态和 DAG 运行历史记录。
/dags
、/data
和/plugins
文件夹(从 环境的存储桶中。- 环境的 fernet 密钥。
- 与环境配置相关的其他信息,例如环境的规模和性能参数。Cloud Composer 在加载时不使用此信息 快照。
从快照中加载哪些数据
Cloud Composer 会从快照加载以下数据:
- Airflow 配置替换。
- 环境变量。
自定义 PyPI 软件包(除非您选择跳过安装)。
Airflow 数据库的内容,包括已执行任务的状态和 DAG 运行历史记录。
快照中
/dags
、/data
和/plugins
文件夹的内容 会加载到环境的存储桶中。快照中的铁网络密钥用于重新加密 创建快照环境的 Fernet 密钥保持不变。
虽然 Cloud Composer 会存储一些 快照中的环境配置,加载时不使用 快照。您的环境的以下参数不会改变, 加载快照:
- 环境配置,例如环境规模和性能 参数。
- 环境的网络配置。
/dags
、/data
和/plugins
个文件夹。- 环境标签。
在加载快照时,您在 Cloud Composer 基础架构中应用的任何设置(而未使用 Cloud Composer API)都可能会丢失。
关于部分完成的操作
加载快照时,操作可能成功、失败或部分完成 已完成:
- 成功的操作会从快照中加载所有数据。
- 失败的操作不会带来任何变化。
- 部分完成的操作会从快照加载部分数据。此类 操作被报告为失败,但错误消息会指示 数据已成功加载。例如,如果 PyPI 软件包已安装,但 Airflow 配置选项替换未成功,错误消息会指明这一点。
对于部分完成的操作,您可以尝试重新加载同一快照。Cloud Composer 会跳过上次尝试成功完成的步骤。例如,如果某项操作因超时而失败,但 数据库已成功加载,则下一次尝试不会加载 数据库。
准备工作
Cloud Composer 2 2.0.9 版及更高版本支持快照。 Cloud Composer 1 支持保存 1.18.5 及更高版本的环境快照。
快照不会创建环境。如果您想从以下位置加载快照: 到另一个环境,首先需要创建一个新的 然后将快照加载到其中
您无法将快照加载到处于错误状态的环境。无法通过加载快照来修复此类环境。您仍然可以 将现有快照加载到新环境中。
您只能将快照加载到 Cloud Composer 或 Airflow。例如,您无法将 Cloud Composer 2.0.2 中的快照加载到使用 Cloud Composer 2.0.1 的环境中。再举一个例子,您无法将快照从 Airflow 2.2.3 加载到 Airflow 2.1.4。
快照不会更改 Cloud Composer 版本。如果您将环境升级到更高版本的 Cloud Composer,然后加载较低版本的快照,则环境仍会保留其当前版本的 Cloud Composer。例如,从 从 Cloud Composer 2.0.1 迁移到 Cloud Composer 2.0.2 时 将环境还原为 Cloud Composer 2.0.1。
支持快照的 Airflow 数据库大小上限为 20 GB。如果环境的数据库 超过 20 GB, 减小 Airflow 数据库的大小,然后再保存 快照。
若要创建快照,环境存储桶中的
/dags
、/plugins
和/data
文件夹中的对象总数必须少于 10 万。如果您使用 XCom 机制传输文件,请确保您 [请根据 Airflow 的指南使用它][ext-airflow-xcom-backend]。 使用 XCom 传输大型文件或大量文件会影响 Airflow 数据库的性能,并可能会导致加载快照或升级环境时发生失败。请考虑使用如下替代方案 Cloud Storage 来传输大量数据。
环境存储桶中对象名称的长度不得超过 1024 个字符。否则,无法创建快照。
如果您将快照保存在环境存储桶之外的位置,环境的服务账号必须对指定位置拥有读取和写入权限。例如,Storage Object Admin 角色具有此类权限。您 可以将其应用于项目或特定存储桶。
创建和存储快照会产生与 Cloud Storage 相关的额外费用。如需了解详情,请参阅价格。
保存环境快照
Cloud Composer 会将环境快照保存在相对于您指定的文件夹的子文件夹中。文件夹名称包含项目 ID、环境的位置、环境的名称以及快照保存的时间戳。例如:/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00
。
控制台
如需创建环境的快照,请执行以下操作:
在 Google Cloud 控制台中,前往环境页面。
在环境列表中,点击您的环境名称。环境详情页面会打开。
点击保存快照。
在保存快照对话框中,选择快照的存储位置:
如需将快照存储在环境
/snapshots
请选择在环境存储桶中使用快照文件夹 (默认)。如需将快照存储在自定义文件夹中,请选择 使用其他存储桶中的自定义文件夹,然后指定位置。
点击保存。
gcloud
gcloud beta composer environments snapshots save
命令会保存环境的快照。
snapshot-location
参数指定快照所在的文件夹 已保存。默认情况下,快照保存在您/snapshots
环境的存储桶中。例如gs://us-central1-example-916807e1-bucket/snapshots
。你还可以指定 任何其他文件夹中
如需保存环境的快照,请运行以下命令:
gcloud beta composer environments snapshots save \
ENVIRONMENT_NAME \
--location LOCATION \
--snapshot-location "SNAPSHOTS_FOLDER"
您需要将其中的:
ENVIRONMENT_NAME
替换为环境的名称。LOCATION
替换为环境所在的区域。- (可选)将
SNAPSHOTS_FOLDER
替换为用于存储的存储桶文件夹的 URI 快照。如果您省略此参数,则 Cloud Composer 会 环境存储桶的/snapshots
文件夹中的快照。
以下示例使用默认位置:
gcloud beta composer environments snapshots save \
example-environment \
--location us-central1
以下示例将保存到自定义文件夹:
gcloud beta composer environments snapshots save \
example-environment \
--location us-central1 \
--snapshot-location "gs://example-bucket/environment_snapshots"
API
构建
environments.saveSnapshot
API 请求。在请求正文的
snapshotLocation
字段中,指定 您要保存快照的文件夹。
{
"snapshotLocation": "SNAPSHOTS_FOLDER"
}
您需要将其中的:
- 将
SNAPSHOTS_FOLDER
替换为用于保存快照的存储桶文件夹的 URI。
示例:
// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:saveSnapshot
{
"snapshotLocation": "gs://us-central1-example-916807e1-bucket/snapshots"
}
Terraform
无法从 Terraform 保存和加载环境快照。
保存和加载快照是对环境执行的操作,生成的快照不属于环境的定义。开始时间 Terraform 只管理 Cloud Composer 环境的配置, 您将无法从中保存或加载环境快照。
加载环境快照
请考虑以下情况。例如: 启用 catch-up,且 Airflow 执行 DAG 按照从创建快照到创建快照的时间表 。在这种情况下,加载快照后,Airflow 没有任何信息 所以 Airflow 会再次运行该 DAG 相同的时间和数据
再举一个例子,假设有一个按每日时间表运行的 DAG。您可以先创建快照,然后 Airflow 会执行此 DAG,之后您可以在同一天加载快照。在这种情况下,即使停用了“赶上”功能,Airflow 也会重新运行 DAG。
控制台
如需将快照加载到 Cloud Composer 2 环境,请执行以下操作:
在 Google Cloud 控制台中,前往环境页面。
在环境列表中,点击 环境环境详情页面会打开。
点击加载快照。
在加载快照对话框中,点击浏览。
选择用于存储快照的文件夹。文件夹名称会列出 项目 ID、环境的位置以及 已保存快照。例如
/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00
。(可选)要跳过从 Google Cloud 控制台安装自定义 PyPI 软件包, 选择跳过 PyPI 软件包安装。如果您加载已安装自定义 PyPI 软件包的环境的快照,Cloud Composer 不会安装这些自定义软件包。
点击加载,然后等待 Cloud Composer 加载快照。
gcloud
gcloud beta composer environments snapshots load
命令会加载
您的环境
--snapshot-path
参数指定快照所在的文件夹 。文件夹名称列出了您的项目 ID、环境 位置和保存快照时的时间戳。例如
gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00
。(可选)
--skip-pypi-packages-installation
参数用于跳过从快照安装自定义 PyPI 软件包。如果您加载 已安装应用的环境的快照 自定义 PyPI 软件包中, 则 Cloud Composer 不会安装这些自定义软件包。
gcloud beta composer environments snapshots load \
DESTINATION_ENVIRONMENT_NAME \
--location LOCATION \
--snapshot-path "SNAPSHOT_PATH"
您需要将其中的:
- 将
DESTINATION_ENVIRONMENT_NAME
替换为您所在的环境的名称 加载快照 LOCATION
替换为环境所在的区域。- 将
SNAPSHOT_PATH
替换为存储桶的 URI,后跟快照的路径。
示例:
gcloud beta composer environments snapshots load \
example-environment \
--location us-central1 \
--snapshot-path "gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00"
API
构建
environments.loadSnapshot
API 请求。在请求正文的
snapshotPath
字段中,指定 存储桶的 URI,后跟快照的路径。文件夹的名称会列出项目的 ID、环境的位置以及快照的保存时间戳。例如gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00
。(可选)在请求正文的
skipPypiPackagesInstallation
字段中,指定 Cloud Composer 是否必须跳过从快照安装自定义 PyPI 软件包。如果您加载 已安装应用的环境的快照 自定义 PyPI 软件包中, 则 Cloud Composer 不会安装这些自定义软件包。此字段是可选字段。如果您省略此字段,则 Cloud Composer 通过快照安装 PyPI 软件包。
{
"snapshotPath": "SNAPSHOT_PATH"
}
您需要将其中的:
- 将
SNAPSHOT_PATH
替换为存储快照的存储桶文件夹的 URI。
示例:
// POST https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment:loadSnapshot
{
"snapshotPath": "gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00",
"skipPypiPackagesInstallation": "False"
}
Terraform
无法使用 Terraform 保存和加载环境快照。
保存和加载快照是对环境执行的操作, 生成的快照不属于环境定义的一部分。由于 Terraform 仅管理 Cloud Composer 环境的配置,因此您无法通过 Terraform 保存或加载环境快照。