本文档介绍了如何在 Dataform 来配置编译设置模板, 您可以安排执行这些任务您可以使用发布配置来 配置执行环境,例如预演环境和生产环境。
Dataform 版本配置简介
为了在 BigQuery 中执行 SQL 工作流,Dataform 会编译 SQL 将工作流代码转换为编译结果。 当您开发 SQL 工作流时,此过程会自动进行 Dataform 工作区中。
利用版本配置,您可以自定义编译结果。您可以使用它们 创建执行环境,例如预演环境
版本配置设置
在版本配置中,您可以配置 工作流程设置 设置编译变量,以及设置 创建编译结果的过程。
Dataform 版本配置包含以下内容 编译设置:
- 发布版本设置
- 版本的 ID,使用 git commitish 查看编译结果; 创建编译结果的频率以及生成编译结果的频率。频次为可选设置。 如果已设置,最低频率为 1 小时。
- 编译替换
- Google Cloud 的覆盖 项目、表前缀、架构后缀和编译变量 在工作流程设置中定义。
版本配置的运作方式
Dataform 根据版本配置创建编译结果(位于
指定的频率或在触发编译时。
频率是可选设置,
创建版本配置。如果已设置,则最低频率为 1 小时。
您可以
在版本配置详情页面上手动触发编译;
或使用 Dataform API releaseConfigs
触发编译。
在编译期间,Dataform 会从指定的 代码库的 Git Commitish。 然后,Dataform 会使用已应用的编译替换来编译代码 (如果有),并创建编译结果。 为此版本创建的最新编译结果 configuration 是实时编译结果。
您可以根据发布配置安排编译结果的执行 在工作流配置中。 您也可以执行所选的版本配置 时间表之外 在执行工作流配置期间,Dataform 会执行 所选版本配置的实时编译结果。
准备工作
在 Google Cloud 控制台中,前往 Dataform 页面。
选择或创建代码库。
可选:如需替换默认 Google Cloud 项目,请执行以下操作: 版本配置 向你的 Dataform 服务账号授予访问权限 关联到您计划使用的 Google Cloud 项目。
所需的角色
如需获取创建版本配置所需的权限,
请让管理员向您授予
Dataform Editor (roles/dataform.editor
) 代码库的 IAM 角色。
如需详细了解如何授予角色,请参阅管理访问权限。
创建版本配置
如需创建 Dataform 版本配置,请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 在版本配置部分中,点击创建。
在创建版本配置窗格中,配置版本设置。
在版本 ID 字段中,为版本配置输入唯一 ID。
ID 只能包含数字、字母、连字符和下划线。
在 Git commitish 字段中,输入 Git 分支或 Git 提交 该版本的 SHA。
在未连接到远程代码库的 Dataform 代码库中, 该值始终为
main
。可选:在频率下拉菜单中,选择 创建编译结果的频率。
如果已设置,则最低频率为 1 小时。
可选:在 Compilation override(编译替换)部分,配置编译设置。
- 在 Google Cloud 项目 ID 字段中,输入 Google Cloud 的 ID 您想在其中存储编译结果的项目。
- 在架构后缀字段中,输入要附加到 在工作流设置中配置的架构。
- 在表前缀字段中,为所有表名称输入一个前缀。
可选:在编译变量部分中,设置编译变量。
- 点击添加变量。
- 在 Key 字段中,输入编译变量。
- 在 Value(值)字段中,输入编译变量的值。
- 如需添加其他编译变量,请点击 Add variable。
点击创建。
如果您替换默认的 Google Cloud 项目,请确保 您的 Dataform 服务账号拥有访问权限 发布到版本配置中设置的 Google Cloud 项目。
例如,以下版本配置会创建一个 production
每小时从 main
分支获取编译结果,
没有任何编译替换:
- 版本 ID:
production
- Git Commitish:
main
- 频率:每小时一次
- 无编译替换
查看版本配置的详细信息
您可以查看版本配置的以下详细信息:
- 发布版本设置
<ph type="x-smartling-placeholder">
- </ph>
- Git Commitish
- 最新编译结果时间戳
- Cron 时间表
- 编译替换
- 编译变量
- 实时编译结果
<ph type="x-smartling-placeholder">
- </ph>
- 创建时间戳
- Git Commitish
- 提交 SHA
- 过去的编译结果
如需查看版本配置的详细信息,请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 选择版本配置。
- 在版本配置详情页面上,检查详情 。
预定的编译结果表显示过去的编译结果 由版本配置自动创建
手动/API 编译结果表显示编译结果 手动创建或通过调用 Dataform API 生成的 代码库中的 1000 个编译结果。
手动触发编译
如需根据所选版本配置手动创建编译结果,请执行以下操作: 请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 选择版本配置。
- 在版本配置详情页面上,点击新建编译。
新创建的编译结果将成为实时结果 。
手动编译结果会显示在 手动/API 编译结果表 版本配置详情页面。
触发版本配置的执行
为了触发实时编译的执行, 版本配置导出到 BigQuery,请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 在版本配置部分中,点击开始执行。
- 在版本配置的执行手动工作流窗格中 下拉菜单中选择一个版本配置。
- 选择要执行的 SQL 工作流操作:
<ph type="x-smartling-placeholder">
- </ph>
- 如需执行整个 SQL 工作流,请点击所有操作。
- 如需在 SQL 工作流中执行所选操作,请执行以下操作: 点击选择操作,然后选择相应操作。
- 要使用所选代码执行操作,请点击 选择标记,然后选择标记。
- 可选:要执行所选操作或标记及其依赖项, 选择包含依赖项选项。
- 可选:要执行所选操作或标记及其依赖项, 选择包含依赖项选项。
可选:要从头开始重新构建所有表,请选择 Run with full refresh 选项。
如果没有此选项,Dataform 会在不启用此选项的情况下更新增量表, 从头开始重新构建它们。
点击开始执行。
修改版本配置
如需修改版本配置,请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 在要修改的版本配置旁边,点击 更多菜单,然后点击修改。
- 在修改版本配置窗格中,修改版本配置 设置,然后点击保存。
删除版本配置
如需删除版本配置,请按以下步骤操作:
- 在您的代码库中,前往版本和时间安排。
- 在要删除的版本配置旁边,点击 更多菜单,然后点击删除。
- 在删除版本配置对话框中,点击删除。
后续步骤
- 如需了解如何创建 Dataform 工作流配置,请参阅 使用工作流配置安排执行。
- 如需详细了解代码生命周期 Dataform,请参阅 Dataform 中的代码生命周期简介。