本文档介绍了如何在 Dataform 中创建版本配置,以配置可按时间表执行的编译设置模板。您可以使用版本配置来配置执行环境,例如预演环境和生产环境。
Dataform 版本配置简介
为了在 BigQuery 中执行 SQL 工作流,Dataform 会将 SQL 工作流代码编译为编译结果。当您在 Dataform 工作区中开发 SQL 工作流时,系统会自动执行此过程。
利用版本配置,您可以自定义编译结果。您可以使用它们来创建执行环境,例如预演环境。
版本配置设置
在版本配置中,您可以配置工作流设置的编译替换、设置编译变量,以及设置创建编译结果的频率。
Dataform 版本配置包含以下编译设置:
- 发布版本设置
- 版本的 ID、编译结果的 git commitish,以及创建编译结果的频率。频次为可选设置。 如果已设置,则最低频率为 1 小时。
- 编译替换
- 替换工作流设置中定义的 Google Cloud 项目、表前缀、架构后缀和编译变量。
版本配置的运作方式
Dataform 会根据指定频率或在触发编译时根据版本配置创建编译结果。频率是一项可选设置,并非创建版本配置所必需的设置。如果已设置,则最低频率为 1 小时。您可以在版本配置详情页面上手动触发编译,也可以使用 Dataform API releaseConfigs
触发编译。
在编译期间,Dataform 会从代码库的指定 Git 提交代码库中拉取代码。 然后,Dataform 会使用已应用的编译替换项(如果有)编译代码,并创建编译结果。为版本配置创建的最新编译结果为实时编译结果。
您可以在工作流配置中安排执行发布配置中的编译结果。您也可以在任何时间表之外执行所选版本配置。在执行工作流配置期间,Dataform 会执行所选版本配置中的实时编译结果。
准备工作
在 Google Cloud 控制台中,前往 Dataform 页面。
选择或创建代码库。
可选:如需替换版本配置中的默认 Google Cloud 项目,请向您的 Dataform 服务帐号授予对计划使用的 Google Cloud 项目的访问权限。
所需的角色
如需获取创建版本配置所需的权限,请让管理员向您授予代码库的 Dataform Editor (roles/dataform.editor
) IAM 角色。如需详细了解如何授予角色,请参阅管理访问权限。
创建版本配置
如需创建 Dataform 版本配置,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 在版本配置部分中,点击创建。
在创建版本配置窗格中,配置版本设置。
在版本 ID 字段中,为版本配置输入唯一 ID。
ID 只能包含数字、字母、连字符和下划线。
在 Git commitish 字段中,为相应版本输入 Git 分支或 Git 提交 SHA。
在未连接到远程代码库的 Dataform 代码库中,该值始终为
main
。可选:在 Frequency(频率)下拉列表中,选择创建编译结果的频率。
如果已设置,则最低频率为 1 小时。
可选:在 Compilation override(编译替换)部分,配置编译设置。
- 在 Google Cloud 项目 ID 字段中,输入要在其中存储编译结果的 Google Cloud 项目的 ID。
- 在架构后缀字段中,输入要附加到工作流设置中配置的架构的后缀。
- 在表前缀字段中,为所有表名称输入一个前缀。
可选:在编译变量部分中,设置编译变量。
- 点击添加变量。
- 在 Key 字段中,输入编译变量。
- 在 Value(值)字段中,输入编译变量的值。
- 如需添加其他编译变量,请点击 Add variable。
点击创建。
如果要替换默认 Google Cloud 项目,请确保您的 Dataform 服务帐号有权访问版本配置中设置的 Google Cloud 项目。
例如,以下版本配置每小时从 main
分支创建一个 production
编译结果,而不进行任何编译替换:
- 版本 ID:
production
- Git Commitish:
main
- 频率:每小时一次
- 无编译替换
查看版本配置的详细信息
您可以查看版本配置的以下详细信息:
- 版本设置
- Git Commitish
- 最新编译结果时间戳
- Cron 时间表
- 编译替换
- 编译变量
- 实时编译结果
- 创建时间戳
- Git Commitish
- 提交 SHA
- 过去的编译结果
如需查看版本配置的详细信息,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 选择版本配置。
- 在版本配置详情页面上,检查版本配置的详细信息。
已安排的编译结果表会显示版本配置自动创建的过往编译结果。
手动/API 编译结果表显示存储库中的最新 1000 个编译结果中手动创建或通过调用 Dataform API 创建的编译结果。
手动触发编译
如需根据所选版本配置手动创建编译结果,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 选择版本配置。
- 在版本配置详情页面上,点击新建编译。
新创建的编译结果将成为该版本配置的实时结果。
手动编译结果显示在版本配置详情页面上的手动/API 编译结果表中。
触发版本配置的执行
如需触发实时编译的执行,从而将选定版本配置发送到 BigQuery,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 在版本配置部分中,点击开始执行。
- 在执行手动工作流窗格的版本配置下拉列表中,选择版本配置。
- 选择要执行的 SQL 工作流操作:
- 如需执行整个 SQL 工作流,请点击所有操作。
- 如需在 SQL 工作流中执行所选操作,请点击选择操作,然后选择操作。
- 如需使用所选标记执行操作,请点击选择标记,然后选择标记。
- 可选:如需执行所选操作或标记及其依赖项,请选择包含依赖项选项。
- 可选:如需执行所选操作或标记及其从属项,请选择包含从属项选项。
可选:如需从头开始重新构建所有表,请选择使用完全刷新运行选项。
如果没有此选项,Dataform 会更新增量表,而无需从头开始重新构建这些表。
点击开始执行。
修改版本配置
如需修改版本配置,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 在要修改的版本配置旁边,点击 更多菜单,然后点击修改。
- 在修改版本配置窗格中,修改版本配置设置,然后点击保存。
删除版本配置
如需删除版本配置,请按以下步骤操作:
- 在您的代码库中,前往发布和时间安排。
- 在要删除的版本配置旁边,点击 更多菜单,然后点击删除。
- 在删除版本配置对话框中,点击删除。
后续步骤
- 如需了解如何创建 Dataform 工作流配置,请参阅使用工作流配置安排执行。
- 如需详细了解代码生命周期 Dataform,请参阅 Dataform 中的代码生命周期简介。