创建版本配置

本文档介绍了如何在 Dataform 中创建版本配置,以配置可按计划执行的编译设置模板。您可以使用版本配置来配置执行环境,例如预演环境和生产环境。

Dataform 版本配置简介

为了在 BigQuery 中执行 SQL 工作流,Dataform 会将 SQL 工作流代码编译为编译结果。当您在 Dataform 工作区中开发 SQL 工作流时,此过程会自动发生。

版本配置允许您自定义编译结果。您可以使用它们创建执行环境,例如预演环境。

版本配置设置

在版本配置中,您可以配置 dataform.json 设置的编译替换、设置编译变量,以及设置创建编译结果的频率。

Dataform 版本配置包含以下编译设置:

版本设置
版本的 ID、编译结果的 git commitish,以及创建编译结果的频率。频率是一项可选设置。 如果设置此参数,则最低频率为 1 小时。
编译替换
替换 dataform.json 中定义的 Google Cloud 项目、表前缀、架构后缀和编译变量

版本配置的运作方式

Dataform 会以指定频率或在触发编译时根据版本配置创建编译结果。频率是一项可选设置,创建版本配置不需要设置。如果设置,则最低频率为 1 小时。 您可以版本配置详情页面上手动触发编译,也可以使用 Dataform API releaseConfigs 触发编译。

在编译期间,Dataform 会从代码库的指定 Git 提交中提取代码。然后,Dataform 会使用所应用的编译替换(如果有)来编译代码,并创建编译结果。为发布配置创建的最新编译结果是实时编译结果。

您可以在工作流配置中安排执行版本配置中的编译结果。您还可以在任何时间表之外执行所选的版本配置。在工作流配置执行期间,Dataform 会执行所选版本配置的实时编译结果。

准备工作

  1. 在 Google Cloud 控制台中,转到 Dataform 页面。

    转到 Dataform 页面

  2. 选择或创建代码库

  3. 可选:如需替换版本配置中的默认 Google Cloud 项目,请向您的 Dataform 服务帐号授予对您计划使用的 Google Cloud 项目的访问权限

所需的角色

如需获取创建版本配置所需的权限,请让管理员向您授予对代码库的 Dataform Editor (roles/dataform.editor) IAM 角色。如需详细了解如何授予角色,请参阅管理访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建版本配置

如需创建 Dataform 版本配置,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 版本配置部分,点击创建
  3. 创建版本配置窗格中,配置版本设置。

    1. 版本 ID 字段中,输入版本配置的唯一 ID。

      ID 只能包含数字、字母、连字符和下划线。

    2. Git commitish 字段中,输入版本的 Git 分支或 Git 提交 SHA。

    在未连接到远程代码库的 Dataform 代码库中,该值始终为 main

    1. 可选:在频率下拉列表中,选择创建编译结果的频率。

      如果设置,则最低频率为 1 小时。

  4. 可选:在编译替换部分中,配置编译设置。

    1. Google Cloud 项目 ID 字段中,输入要在其中存储编译结果的 Google Cloud 项目的 ID。
    2. 架构后缀字段中,输入要附加到 dataform.json 中配置的架构的后缀。
    3. 表前缀字段中,为所有表名称输入一个前缀。
  5. 可选:在 Compilation variables 部分中,设置编译变量。

    1. 点击添加变量
    2. Key 字段中,输入编译变量。
    3. 字段中,输入编译变量的值。
    4. 如需添加其他编译变量,请点击 Add variable
  6. 点击创建

如果您要替换默认的 Google Cloud 项目,请确保您的 Dataform 服务帐号有权访问发布配置中设置的 Google Cloud 项目。



例如,以下版本配置每小时从 main 分支创建一个 production 编译结果,而不会替换任何编译替换:

  • 发布版本 IDproduction
  • Git commitishmain
  • 频率:每小时
  • 无编译替换

查看版本配置的详细信息

您可以查看版本配置的以下详细信息:

  • 版本设置
    • Git Commitish
    • 上次编译结果时间戳
    • Cron 时间表
    • 编译替换
    • 编译变量
  • 实时编译结果
    • 创建时间戳
    • Git Commitish
    • 提交 SHA
  • 过往编译结果

如需查看某个版本配置的详细信息,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 选择版本配置。
  3. 版本配置详情页面上,检查版本配置的详细信息。

手动触发编译

如需根据所选版本配置手动创建编译结果,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 选择版本配置。
  3. 版本配置详情页面上,点击新建编译

新创建的编译结果将成为该版本配置的实际结果。

触发版本配置的执行

如需触发实时编译的执行,从而将所选版本配置发布到 BigQuery,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 版本配置部分中,点击开始执行
  3. 执行手动工作流窗格的版本配置下拉列表中,选择一个版本配置。
  4. 选择要执行的 SQL 工作流操作:
    1. 如需执行整个 SQL 工作流,请点击所有操作
    2. 如需在 SQL 工作流中执行所选操作,请点击选择操作,然后选择操作。
    3. 如需使用所选标记执行操作,请点击选择标记,然后选择标记。
  5. 可选:如需执行选定的操作或标记及其依赖项,请选择包含依赖项选项。
  6. 可选:如需执行选定的操作或标记及其从属项,请选择 Includedependents 选项。
  7. 可选:如需从头开始重新构建所有表,请选择在完全刷新的情况下运行选项。

    如果没有此选项,Dataform 会更新增量表,而无需从头开始重新构建。

  8. 点击开始执行

修改版本配置

如需修改版本配置,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 按要修改的版本配置,点击 更多菜单,然后点击修改
  3. 修改版本配置窗格中,修改版本配置设置,然后点击保存

删除版本配置

如需删除版本配置,请按以下步骤操作:

  1. 在您的代码库中,前往发布和安排
  2. 按要删除的版本配置,点击 更多菜单,然后点击删除
  3. 删除版本配置对话框中,点击删除

后续步骤