工作流简介

如需针对此功能请求支持或提供反馈,请发送电子邮件至 bigquery-workflows-preview-feedback@google.com

本文档介绍了 BigQuery 中的工作流。您可以使用工作流按计划顺序执行代码资产。

Workflows 由 Dataform 提供支持。

工作流由以下一个或多个代码资产组成:

您可以使用工作流来安排代码资产的执行。例如,您可以安排每天运行 SQL 查询,并使用最新的源数据更新表,然后以此为数据源来构建信息中心。

在包含多个代码资产的工作流中,您可以定义执行顺序。例如,如需训练机器学习模型,您可以创建一个工作流,其中 SQL 查询准备数据,然后后续的笔记本使用这些数据训练模型。

您可以安排工作流在指定的时间和频率自动运行。

限制

Workflows 受限于以下限制:

  • 您无法向工作流添加现有笔记本或 SQL 查询。如需添加工作流任务,您需要在工作流中创建新的笔记本或 SQL 查询。
  • 您无法向其他用户授予对所选工作流的访问权限。
  • Workflows 仅在 Google Cloud 控制台中提供。
  • 工作流创建后,您便无法更改其存储区域。如需了解详情,请参阅设置代码资源的默认区域

支持的区域

所有代码资产都存储在代码资源的默认区域中。更新默认区域会更改此后创建的所有代码资产的区域。

下表列出了可使用工作流的区域:

区域说明 区域名称 详细信息
非洲
约翰内斯堡 africa-south1
美洲
哥伦布 us-east5
达拉斯 us-south1 叶形图标 二氧化碳排放量低
艾奥瓦 us-central1 叶形图标 二氧化碳排放量低
洛杉矶 us-west2
拉斯维加斯 us-west4
蒙特利尔 northamerica-northeast1 叶形图标 二氧化碳排放量低
北弗吉尼亚 us-east4
俄勒冈 us-west1 叶形图标 二氧化碳排放量低
圣保罗 southamerica-east1 叶形图标 二氧化碳排放量低
南卡罗来纳 us-east1
亚太地区
香港 asia-east2
雅加达 asia-southeast2
孟买 asia-south1
首尔 asia-northeast3
新加坡 asia-southeast1
悉尼 australia-southeast1
台湾 asia-east1
东京 asia-northeast1
欧洲
比利时 europe-west1 叶形图标 二氧化碳排放量低
法兰克福 europe-west3 叶形图标 二氧化碳排放量低
伦敦 europe-west2 叶形图标 二氧化碳排放量低
马德里 europe-southwest1 叶形图标 二氧化碳排放量低
荷兰 europe-west4 叶形图标 二氧化碳排放量低
都灵 europe-west12
苏黎世 europe-west6 叶形图标 二氧化碳排放量低
中东
多哈 me-central1
达曼 me-central2

配额和限制

Workflows 受 Dataform 配额和限制的约束。

价格

执行工作流任务会产生 BigQuery 计算和存储费用。如需了解详情,请参阅 BigQuery 价格

包含笔记本的 Workflows 会产生 Colab Enterprise 运行时费用,费用金额取决于默认机器类型。如需了解价格详情,请参阅 Colab Enterprise 价格

每次 BigQuery 工作流运行都会通过 Cloud Logging 进行记录。系统会自动为 BigQuery 工作流运行启用日志记录功能,这可能会产生 Cloud Logging 结算费用。如需了解详情,请参阅 Cloud Logging 价格

后续步骤