创建版本配置

本文档介绍了如何在 Dataform 来配置编译设置模板， 您可以安排执行这些任务您可以使用发布配置来 配置执行环境，例如预演环境和生产环境。

Dataform 版本配置简介

为了在 BigQuery 中执行 SQL 工作流，Dataform 会编译 SQL 将工作流代码转换为编译结果。 当您开发 SQL 工作流时，此过程会自动进行 Dataform 工作区中。

利用版本配置，您可以自定义编译结果。您可以使用它们 创建执行环境，例如预演环境

版本配置设置

在版本配置中，您可以配置 工作流程设置 设置编译变量，以及设置 创建编译结果的过程。

Dataform 版本配置包含以下内容 编译设置：

发布版本设置
版本的 ID，使用 git commitish 查看编译结果； 创建编译结果的频率以及生成编译结果的频率。频次为可选设置。 如果已设置，最低频率为 1 小时。
编译替换
Google Cloud 的覆盖 项目、表前缀、架构后缀和编译变量 在工作流程设置中定义。

版本配置的运作方式

Dataform 根据版本配置创建编译结果（位于 指定的频率或在触发编译时。 频率是可选设置， 创建版本配置。如果已设置，则最低频率为 1 小时。 您可以 在版本配置详情页面上手动触发编译； 或使用 Dataform API releaseConfigs 触发编译。

在编译期间，Dataform 会从指定的 代码库的 Git Commitish。 然后，Dataform 会使用已应用的编译替换来编译代码 （如果有），并创建编译结果。 为此版本创建的最新编译结果 configuration 是实时编译结果。

您可以根据发布配置安排编译结果的执行 在工作流配置中。 您也可以执行所选的版本配置 时间表之外 在执行工作流配置期间，Dataform 会执行 选定版本配置的实时编译结果。

准备工作

  1. 在 Google Cloud 控制台中，前往 Dataform 页面。

    转到 Dataform 页面

  2. 选择或创建代码库。

  3. 可选：如需替换默认 Google Cloud 项目，请执行以下操作： 版本配置 向你的 Dataform 服务账号授予访问权限 关联到您计划使用的 Google Cloud 项目。

所需的角色

如需获取创建版本配置所需的权限， 请让管理员向您授予 Dataform Editor (roles/dataform.editor) 代码库的 IAM 角色。 如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建版本配置

如需创建 Dataform 版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 在版本配置部分中，点击创建。

  3. 在创建版本配置窗格中，配置版本设置。

    1. 在版本 ID 字段中，为版本配置输入唯一 ID。

      ID 只能包含数字、字母、连字符和下划线。

    2. 在 Git commitish 字段中，输入 Git 分支或 Git 提交 该版本的 SHA。

    在未连接到远程代码库的 Dataform 代码库中， 该值始终为 main。

    1. 可选：在频率下拉菜单中，选择 创建编译结果的频率。

      如果已设置，则最低频率为 1 小时。

  4. 可选：在 Compilation override（编译替换）部分，配置编译设置。

    1. 在 Google Cloud 项目 ID 字段中，输入 Google Cloud 的 ID 您想在其中存储编译结果的项目。
    2. 在架构后缀字段中，输入要附加到 在工作流设置中配置的架构。
    3. 在表前缀字段中，为所有表名称输入一个前缀。

  5. 可选：在编译变量部分中，设置编译变量。

    1. 点击添加变量。
    2. 在 Key 字段中，输入编译变量。
    3. 在 Value（值）字段中，输入编译变量的值。
    4. 如需添加其他编译变量，请点击 Add variable。

  6. 点击创建。

如果您替换默认的 Google Cloud 项目，请确保 您的 Dataform 服务账号拥有访问权限 发布到版本配置中设置的 Google Cloud 项目。



例如，以下版本配置会创建一个 production 每小时从 main 分支获取编译结果， 没有任何编译替换：

  • 版本 ID：production
  • Git Commitish：main
  • 频率：每小时一次
  • 无编译替换

查看版本配置的详细信息

您可以查看版本配置的以下详细信息：

  • 发布版本设置 <ph type="x-smartling-placeholder">
      </ph>
    • Git Commitish
    • 最新编译结果时间戳
    • Cron 时间表
    • 编译替换
    • 编译变量
  • 实时编译结果 <ph type="x-smartling-placeholder">
      </ph>
    • 创建时间戳
    • Git Commitish
    • 提交 SHA
  • 过去的编译结果

如需查看版本配置的详细信息，请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 选择版本配置。
  3. 在版本配置详情页面上，检查详情 。

预定的编译结果表显示过去的编译结果 由版本配置自动创建

手动/API 编译结果表显示编译结果 手动创建或通过调用 Dataform API 生成的 代码库中的 1000 个编译结果。

手动触发编译

如需根据所选版本配置手动创建编译结果，请执行以下操作： 请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 选择版本配置。
  3. 在版本配置详情页面上，点击新建编译。

新创建的编译结果将成为实时结果 。

手动编译结果会显示在 手动/API 编译结果表 版本配置详情页面。

触发版本配置的执行

为了触发实时编译的执行， 版本配置导出到 BigQuery，请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 在版本配置部分中，点击开始执行。
  3. 在版本配置的执行手动工作流窗格中 下拉菜单中选择一个版本配置。
  4. 选择要执行的 SQL 工作流操作： <ph type="x-smartling-placeholder">
      </ph>
    1. 如需执行整个 SQL 工作流，请点击所有操作。
    2. 如需在 SQL 工作流中执行所选操作，请执行以下操作： 点击选择操作，然后选择相应操作。
    3. 要使用所选代码执行操作，请点击 选择标记，然后选择标记。
  5. 可选：要执行所选操作或标记及其依赖项， 选择包含依赖项选项。
  6. 可选：要执行所选操作或标记及其依赖项， 选择包含依赖项选项。

  7. 可选：要从头开始重新构建所有表，请选择 Run with full refresh 选项。

    如果没有此选项，Dataform 会在不启用此选项的情况下更新增量表， 从头开始重新构建它们。

  8. 点击开始执行。

修改版本配置

如需修改版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 在要修改的版本配置旁边，点击 更多菜单，然后点击修改。
  3. 在修改版本配置窗格中，修改版本配置 设置，然后点击保存。

删除版本配置

如需删除版本配置，请按以下步骤操作：

  1. 在您的代码库中，前往版本和时间安排。
  2. 在要删除的版本配置旁边，点击 更多菜单，然后点击删除。
  3. 在删除版本配置对话框中，点击删除。

后续步骤