预览 SQL 查询

本文档介绍了如何在 Dataform 工作区中预览 SQL 查询的输出,然后再将查询执行到 BigQuery。

Dataform 中的查询预览简介

当您使用 Dataform 核心在 SQLX 或 JavaScript 文件中开发查询时,Dataform 会实时将查询编译为 SQL。如需在将已编译的 SQL 查询运行到 BigQuery 之前测试其输出,您可以在 Dataform 工作区中运行该查询的预览。

当您运行查询预览时,Dataform 会在 BigQuery 中运行作业,以在临时目标表中运行已编译的查询,并在工作区中显示查询结果。您可以在触发执行之前检查查询的输出,以将表格发布到 BigQuery。包含预览查询的临时表会在最多 24 小时后自动删除。如需详细了解 BigQuery 作业,请参阅管理作业

在 Dataform 中运行查询预览会产生 BigQuery 结算费用。 如需详细了解 BigQuery 价格,请参阅 BigQuery 价格

在查询预览期间,Dataform 会使用您的用户凭据在 BigQuery 中运行作业。不过,在工作流执行期间,Dataform 会使用您的服务账号凭据在 BigQuery 中创建或更新资源。

Dataform 会在工作区的查询结果面板中显示当前浏览器会话期间预览的所有查询的结果。在查询结果面板中,您可以查看当前浏览器会话期间预览的每个查询的以下信息:

  • 作业信息
    • BigQuery 作业 ID
    • 用户运行预览
    • 作业的运行位置,取自您的工作流设置文件
    • BigQuery 作业的创建时间、开始时间和结束时间
    • BigQuery 作业的持续时间
    • 处理的字节数
    • BigQuery 中的结算字节数
    • 作业优先级
    • 查询中使用了旧版 SQL
    • 查询的临时目标表
  • 查询结果
  • 查询输出的 JSON 表示法

此外,在查询结果面板中,您可以前往每个预览查询的源文件,并前往 BigQuery Studio 查看预览作业。

准备工作

  1. 在 Google Cloud 控制台中,前往 Dataform 页面。

    前往 Dataform 页面

  2. 选择或创建代码库

  3. 选择或创建开发工作区

  4. 创建 SQL 查询,例如创建表

所需的角色

如需获得预览查询所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:

  • Dataform Editor (roles/dataform.editor) - 工作区
  • BigQuery Job User (roles/bigquery.jobUser) - 项目

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

预览查询

如需在执行之前检查 Dataform 中的查询结果,请在工作区中运行查询预览。如果正在编辑的文件包含多个查询,请选择要预览的查询。您一次只能预览一个查询。

对于包含断言的表,运行预览的方式略有不同。如需了解详情,请参阅使用断言预览表格

如需在 Dataform 工作区中预览 SQL 查询并查看查询结果,请按照以下步骤操作:

  1. 文件窗格中,展开 definitions/
  2. 选择 SQLX 或 JavaScript 文件。
  3. 点击运行
    1. 如果该文件包含多个查询,请在下拉菜单中选择要预览的查询。
  4. 查询结果面板中检查预览结果。
    1. 如需检查作业详细信息,请选择作业信息标签页。
    2. 如需检查查询结果,请选择结果标签页。
    3. 如需查看查询的 JSON 输出,请选择 JSON 标签页。
    4. 如需在 SQL 工作区中查看预览作业,请依次点击 更多菜单 > 在 SQL 工作区中查看作业

预览包含断言的表格

在包含断言的 SQLX 表定义文件中,您可以预览表创建查询和定义的断言查询。

Dataform 会将表定义查询视为默认查询。如需预览表创建查询,请点击工作区中的运行。如需预览断言查询,您需要在运行按钮旁边的下拉菜单中选择该查询。您一次只能预览一个查询。

如需在 Dataform 工作区中预览包含断言的表定义文件中的查询,请按以下步骤操作:

  1. 文件窗格中,展开 definitions/
  2. 选择包含断言的表的定义文件。
  3. 运行预览:
    • 如需预览表创建查询,请点击运行
    • 如需预览断言查询,请点击运行旁边的下拉图标,然后选择要预览的查询。
  4. 查询结果面板中检查预览结果。
    1. 如需检查作业详细信息,请选择作业信息标签页。
    2. 如需检查查询结果,请选择结果标签页。
    3. 如需查看查询的 JSON 输出,请选择 JSON 标签页。
    4. 如需在 SQL 工作区中查看预览作业,请依次点击 更多菜单 > 在 SQL 工作区中查看作业

后续步骤