本文档介绍了如何在 Dataform 中创建发布配置,以配置可按计划执行的编译设置模板。您可以使用版本配置来配置执行环境,例如预演环境和生产环境。
Dataform 版本配置简介
如需在 BigQuery 中执行 SQL 工作流,Dataform 会将 SQL 工作流代码编译为编译结果。当您在 Dataform 工作区中开发 SQL 工作流时,系统会自动执行此过程。
借助版本配置,您可以自定义编译结果。您可以使用它们创建执行环境,例如预演环境。
版本配置设置
在版本配置中,您可以配置工作流设置的编译替换项、设置编译变量,以及设置创建编译结果的频率。
Dataform 版本配置包含以下编译设置:
- 发布设置
- 版本的 ID、编译结果的 git commitish 和创建编译结果的频率。频次是可选设置。如果设置,则最小频率为 1 小时。
- 编译替换 工作流设置中定义的 Google Cloud项目、表前缀、架构后缀和编译变量的
- 替换项。
版本配置的运作方式
Dataform 会按照指定的频率或在您触发编译时,根据版本配置创建编译结果。频率是可选设置,创建发布配置时无需设置频率。如果设置,则最小频率为 1 小时。
您可以在版本配置详情页面上手动触发编译,也可以使用 Dataform API releaseConfigs
触发编译。
在编译期间,Dataform 会从代码库的指定 Git 提交版本中拉取代码。然后,Dataform 会使用应用的编译替换项(如果有)编译代码,并创建编译结果。为发布配置创建的最新编译结果就是实时编译结果。
您可以在工作流配置中安排从发布配置中执行编译结果。您还可以在任何时间表之外执行所选的发布配置。在工作流配置执行期间,Dataform 会执行所选版本配置中的实时编译结果。
准备工作
在 Google Cloud 控制台中,进入 Dataform 页面。
选择或创建代码库。
可选:如需替换版本配置中的默认 Google Cloud 项目,请向您的 Dataform 服务账号授予对您计划使用的 Google Cloud 项目的访问权限。
所需的角色
如需获得创建发布配置所需的权限,请让您的管理员向您授予代码库的 Dataform Editor (roles/dataform.editor
) IAM 角色。
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
创建版本配置
如需创建 Dataform 版本配置,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 在版本配置部分中,点击创建。
在创建版本配置窗格中,配置版本设置。
在版本 ID 字段中,输入版本配置的唯一 ID。
ID 只能包含数字、字母、连字符和下划线。
在 Git commitish 字段中,输入相应版本的 Git 分支或 Git 提交 SHA。
在未连接到远程代码库的 Dataform 代码库中,此值始终为
main
。可选:在频率下拉菜单中,选择创建编译结果的频率。
如果设置,最小频率为 1 小时。
可选:在编译替换项部分,配置编译设置。
- 在 Google Cloud 项目 ID 字段中,输入您要存储编译结果的 Google Cloud项目的 ID。
- 在架构后缀字段中,输入要附加到工作流设置中配置的架构的后缀。
- 在表前缀字段中,输入所有表名称的前缀。
可选:在编译变量部分中,设置编译变量。
- 点击添加变量。
- 在键字段中,输入编译变量。
- 在值字段中,输入编译变量的值。
- 如需添加其他编译变量,请点击添加变量。
点击创建。
如果您替换默认的 Google Cloud 项目,请确保您的 Dataform 服务账号有权访问发布配置中设置的 Google Cloud 项目。
例如,以下版本配置会每小时从 main
分支创建一个 production
编译结果,而不会进行任何编译替换:
- 版本 ID:
production
- Git 提交:
main
- 频率:每小时
- 无编译替换
查看版本配置的详细信息
您可以查看版本配置的以下详细信息:
- 发布设置
- Git Commitish
- 最新的编译结果时间戳
- Cron 时间表
- 编译替换
- 编译变量
- 实时编译结果
- 创建时间戳
- Git Commitish
- 提交 SHA
- 过往编译结果
如需查看版本配置的详细信息,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 选择一个版本配置。
- 在版本配置详细信息页面上,检查版本配置的详细信息。
已安排的编译结果表会显示版本配置自动创建的过往编译结果。
手动/API 编译结果表格会显示仓库中最新的 1,000 条编译结果中的手动创建或通过调用 Dataform API 创建的编译结果。
手动触发编译
如需根据所选的版本配置手动创建编译结果,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 选择一个版本配置。
- 在版本配置详情页面上,点击新建编译。
新创建的编译结果将成为该发布配置的实时结果。
手动编译结果会显示在版本配置详情页面的手动/API 编译结果表中。
触发发布配置的执行
如需触发在所选版本配置中将实时编译结果执行到 BigQuery,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 在版本配置部分,点击开始执行。
- 在执行手动工作流窗格的版本配置下拉菜单中,选择一个版本配置。
- 选择要执行的 SQL 工作流操作:
- 如需执行整个 SQL 工作流,请点击所有操作。
- 如需在 SQL 工作流中执行所选操作,请点击选择操作,然后选择操作。
- 如需针对所选代码执行操作,请点击代码选择,然后选择代码。
- 可选:如需执行所选操作或代码及其依赖项,请选择包含依赖项选项。
- 可选:如需执行所选操作或代码及其依赖项,请选择包含依赖项选项。
可选:如需从头开始重新构建所有表,请选择运行并完全刷新选项。
如果不使用此选项,Dataform 会更新增量表,而无需从头重建这些表。
点击开始执行。
修改版本配置
如需修改版本配置,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 在要修改的版本配置旁边,点击 更多菜单,然后点击修改。
- 在修改版本配置窗格中,修改版本配置设置,然后点击保存。
删除版本配置
如需删除版本配置,请按以下步骤操作:
- 在代码库中,前往版本和时间安排。
- 在要删除的版本配置旁边,点击 更多菜单,然后点击删除。
- 在删除版本配置对话框中,点击删除。
后续步骤
- 如需了解如何创建 Dataform 工作流配置,请参阅使用工作流配置安排执行作业。
- 如需详细了解 Dataform 中的代码生命周期,请参阅 Dataform 中代码生命周期简介。