配置其他表设置

本文档介绍了如何在表定义文件中配置其他表设置。借助 Dataform Core，您可以定义 pre_operations 和 post_operations，以便在表创建之前或之后执行 SQL 语句。您还可以替换表设置（例如 database 或 schema），并禁止创建表。

准备工作

  1. 在 Google Cloud 控制台中，转到 Dataform 页面。

    转到 Dataform

  2. 选择或创建代码库。

  3. 选择或创建开发工作区。

  4. 创建表。

所需的角色

如需获取配置其他表设置所需的权限，请让管理员向您授予工作区的 Dataform Editor (roles/dataform.editor) IAM 角色。如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

覆盖表设置

您可以替换所选表的架构、数据库和名称。

默认情况下，表遵循您在 dataform.json 中设置的架构和数据库配置。表的名称与表定义 SQLX 文件的名称相同。

如需替换所选表的架构和名称，请按以下步骤操作：

  1. 转到开发工作区。

  2. 在 Files 窗格中，展开 definitions/。

  3. 打开 SQLX 表定义文件。

  4. 在 config 代码块中，输入以下代码段：

     {
   schema: "OVERRIDDEN_SCHEMA",
   database: "OVERRIDDEN_DATABASE",
   name: "OVERRIDDEN_NAME"
 }

    替换以下内容：

    • OVERRIDDEN_SCHEMA：要在其中创建表的 BigQuery 数据集

    • OVERRIDDEN_DATABASE：您要在其中创建表的 BigQuery 项目的 ID

    • OVERRIDDEN_NAME：表的名称，与 SQLX 表定义文件名不同

  5. 可选：点击格式。

引用具有已覆盖表名称的表

  • 如需引用具有被替换表名称的表，请在 ref 函数中输入在 name: "" 中设置的被替换表名称。

以下代码示例引用了一个名称已替换为 overridden_name 的表：

  SELECT * FROM ${ref("overridden_name")}

定义要在表创建之前执行的 SQL 语句

您可以将 Dataform 配置为在 BigQuery 中创建所选表之前执行一个或多个 SQL 语句。如需在 Dataform 创建选定的表之前执行 SQL 语句，请将您的语句添加到表定义 SQLX 文件中的 pre_operations 块。

如需创建在 Dataform 创建特定表之前执行的自定义 SQL 语句，请按以下步骤操作：

  1. 转到开发工作区。

  2. 在 Files 窗格中，展开 definitions/。

  3. 打开 SQLX 表定义文件。

  4. 在 config 代码块外，输入 pre_operations { ... }。

  5. 在 pre_operations { ... } 中，添加您的 SQL 语句。

  6. 可选：如需添加多个语句，请使用 --- 进行分隔。

  7. 可选：点击格式。

以下代码示例展示了一个 pre_operations 语句，该语句会创建一个可在 select 语句中使用的临时函数：

  pre_operations {
    CREATE TEMP FUNCTION AddFourAndDivide(x INT64, y INT64)
      RETURNS FLOAT64
      AS ((x + 4) / y);
  }

定义要在表创建后执行的 SQL 语句

您可以将 Dataform 配置为在 BigQuery 中创建所选表后执行一个或多个 SQL 语句。如需在 Dataform 创建所选表后执行 SQL 语句，请将您的语句添加到表定义 SQLX 文件的 post_operations 代码块中。您可以向 post_operations 块添加多个 SQL 语句。

如需创建在 Dataform 创建特定表后执行的自定义 SQL 语句，请按以下步骤操作：

  1. 转到开发工作区。

  2. 在 Files 窗格中，展开 definitions/。

  3. 打开 SQLX 表定义文件。

  4. 在 config 代码块外，输入 post_operations { ... }。

  5. 在 post_operations { ... } 中，添加您的 SQL 语句。

  6. 可选：点击格式。

以下代码示例展示了用于向群组授予对所创建表的访问权限的 post_operations 语句：

  post_operations {
    GRANT SELECT ON ${self()} TO GROUP "allusers@example.com";
    GRANT SELECT ON ${self()} TO GROUP "otherusers@example.com";
  }

停用表创建功能

如需阻止 Dataform 在 BigQuery 中创建所选表，您可以在其 SQLX 表定义文件中停用该表。Dataform 会在依赖关系图中保留停用的表，但不会编译和创建该表。这一功能非常有用，例如，如果某个表发生故障，而且您不希望整个工作流在解决问题时失败，这种做法就非常实用。

如需停用表，请按以下步骤操作：

  1. 转到开发工作区。

  2. 在 Files 窗格中，展开 definitions/。

  3. 选择 SQLX 表定义文件。

  4. 在该文件的 config 代码块中，输入 disabled: true。

  5. 可选：点击格式。

以下代码示例展示了一个已停用的表：

  config {
    type: "table",
    disabled: true
  }

  select * from ${ref("source_data")}

后续步骤