声明数据源

本文档介绍如何使用 Dataform core 声明 BigQuery 数据源。

您可以在 Dataform 中将任何 BigQuery 表类型声明为数据源。通过声明 Dataform 外部的 BigQuery 数据源，您可以将这些数据源视为一级 Dataform 对象。声明数据源后，您可以引用或解析数据源，方式与 Dataform 中的其他表一样。

准备工作

在声明数据源之前，请在代码库中创建并初始化开发工作区。

所需的角色

如需获取声明数据源所需的权限，请让管理员向您授予工作区的 Dataform Editor (roles/dataform.editor) IAM 角色。如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建用于声明数据源的 SQLX 文件

将用于数据源声明的 SQLX 文件存储在 definitions/ 目录中。如需在 definitions/ 目录中创建新的 SQLX 文件，请按以下步骤操作：

  1. 在 Cloud 控制台中，转到 Dataform 页面。

    转到 Dataform 页面

  2. 选择一个代码库。

  3. 选择开发工作区。

  4. 在 Files 窗格的 definitions/ 旁边，点击 More 菜单。

  5. 点击创建文件。

  6. 在创建新文件窗格中，执行以下操作：

    1. 在添加文件路径字段中的 definitions/ 后，输入文件名，后跟 .sqlx。例如 definitions/dataset-declaration.sqlx。

      文件名只能包含数字、字母、连字符和下划线。

    2. 点击创建文件。

声明数据源

您可以为每个 SQLX 声明文件声明一个数据源。如需在 SQLX 文件的配置块中声明数据源，请按以下步骤操作：

  1. 在开发工作区的文件窗格中，点击 SQLX 文件以进行数据源声明。

  2. 在文件中输入以下代码段：

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    替换以下内容：

    • DATABASE：数据源所属项目的 ID。
    • SCHEMA：数据源所在的 BigQuery 数据集。
    • NAME：您要用作数据源的表或视图的名称。您稍后可以使用该名称引用 Dataform 中的数据源。

  3. 可选：点击格式。

以下代码示例展示了作为数据源的 bigquery-public-data 项目的 samples 数据集内的 shakespeare 表的示例声明：

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

后续步骤