工作流简介
如需针对此功能请求支持或提供反馈,请发送电子邮件至 bigquery-workflows-preview-feedback@google.com。
本文档介绍了 BigQuery 中的工作流。您可以使用工作流按计划顺序执行代码资产。
Workflows 由 Dataform 提供支持。
工作流由以下一个或多个代码资产组成:
您可以使用工作流来安排代码资产的执行。例如,您可以安排每天运行 SQL 查询,并使用最新的源数据更新表,然后以此为数据源来构建信息中心。
在包含多个代码资产的工作流中,您可以定义执行顺序。例如,如需训练机器学习模型,您可以创建一个工作流,其中 SQL 查询准备数据,然后后续的笔记本使用这些数据训练模型。
您可以安排工作流在指定的时间和频率自动运行。
限制
Workflows 受限于以下限制:
- 您无法向工作流添加现有笔记本或 SQL 查询。如需添加工作流任务,您需要在工作流中创建新的笔记本或 SQL 查询。
- 您无法向其他用户授予对所选工作流的访问权限。
- Workflows 仅在 Google Cloud 控制台中提供。
- 工作流创建后,您便无法更改其存储区域。如需了解详情,请参阅设置代码资源的默认区域。
支持的区域
所有代码资产都存储在代码资源的默认区域中。更新默认区域会更改此后创建的所有代码资产的区域。
下表列出了可使用工作流的区域:
区域说明 | 区域名称 | 详细信息 | |
---|---|---|---|
非洲 | |||
约翰内斯堡 | africa-south1 |
||
美洲 | |||
哥伦布 | us-east5 |
||
达拉斯 | us-south1 |
二氧化碳排放量低 | |
艾奥瓦 | us-central1 |
二氧化碳排放量低 | |
洛杉矶 | us-west2 |
||
拉斯维加斯 | us-west4 |
||
蒙特利尔 | northamerica-northeast1 |
二氧化碳排放量低 | |
北弗吉尼亚 | us-east4 |
||
俄勒冈 | us-west1 |
二氧化碳排放量低 | |
圣保罗 | southamerica-east1 |
二氧化碳排放量低 | |
南卡罗来纳 | us-east1 |
||
亚太地区 | |||
香港 | asia-east2 |
||
雅加达 | asia-southeast2 |
||
孟买 | asia-south1 |
||
首尔 | asia-northeast3 |
||
新加坡 | asia-southeast1 |
||
悉尼 | australia-southeast1 |
||
台湾 | asia-east1 |
||
东京 | asia-northeast1 |
||
欧洲 | |||
比利时 | europe-west1 |
二氧化碳排放量低 | |
法兰克福 | europe-west3 |
二氧化碳排放量低 | |
伦敦 | europe-west2 |
二氧化碳排放量低 | |
马德里 | europe-southwest1 |
二氧化碳排放量低 | |
荷兰 | europe-west4 |
二氧化碳排放量低 | |
都灵 | europe-west12 |
||
苏黎世 | europe-west6 |
二氧化碳排放量低 | |
中东 | |||
多哈 | me-central1 |
||
达曼 | me-central2 |
配额和限制
Workflows 受 Dataform 配额和限制的约束。
价格
执行工作流任务会产生 BigQuery 计算和存储费用。如需了解详情,请参阅 BigQuery 价格。
包含笔记本的 Workflows 会产生 Colab Enterprise 运行时费用,费用金额取决于默认机器类型。如需了解价格详情,请参阅 Colab Enterprise 价格。
每次 BigQuery 工作流运行都会通过 Cloud Logging 进行记录。系统会自动为 BigQuery 工作流运行启用日志记录功能,这可能会产生 Cloud Logging 结算费用。如需了解详情,请参阅 Cloud Logging 价格。