本文档可帮助您了解 Dataform 中的工作区的概念及其功能。
在 Dataform 中,您可以在开发工作区中与 SQL 工作流代码进行交互。开发工作区是您自己的代码库可修改副本。在工作区中,您可以创建、修改或删除代码库的内容,而不会影响使用同一代码库的其他人,然后提交更改并将其推送到代码库。
您可以使用 Dataform Core 或 JavaScript 开发 SQL 工作流。Dataform 可将您的代码实时编译为 SQL 查询。
在开发工作区中,您可以执行以下任务:
- 配置 Dataform 设置
- 创建所有受支持类型的表
- Document 表
- 分区表
- 为表添加 BigQuery 标签和政策标记
- 配置其他表格设置
- 为 SQL 工作流声明数据源
- 向 SQL 工作流添加自定义 SQL 操作和标记
- 触发 SQL 工作流或其所选操作的执行
- 检查执行日志
开发工作区的组件
Dataform 开发工作区包含以下标签页:
- 代码
- 包含一个开发环境,您可以在其中浏览文件、开发查询、对更改进行版本控制以及触发 BigQuery 的执行。
- 已编译的图表
- 将工作区中定义的已编译 SQL 工作流显示为交互式有向无环图 (DAG)。如果您的 SQL 工作流中存在编译错误,该标签页会显示错误消息而不是图表。
- 执行
- 显示工作区中触发的所有执行作业的日志。您还可以查看所选执行的操作及其详细信息。如需了解详情,请参阅检查工作区执行日志。
“代码”标签的组件
开发工作区的 Code 标签页包含以下组件,您可以开发 SQL 工作流:
- “文件”窗格
- 显示工作区的文件结构。系统会自动将您所做的修改保存到文件结构。所选文件会在“Development”窗格的标签页中打开。在输入内容即可搜索字段中,您可以按文件路径在工作区中搜索文件或目录。
- “Version Control”窗格
- 显示工作区的版本控制状态以及版本控制选项。
- “Development”窗格
- 在标签页中显示打开的文件。系统会自动保存您对已修改文件所做的更改。
- “Run”按钮
- 运行已编译的 SQL 查询的预览。
- “格式”按钮
- 设置 Dataform 核心代码或 JavaScript 代码的格式。
- 编译状态
- 显示工作区中代码的编译状态。
- “Metadata”(元数据)窗格
- 显示当前编辑的文件的元数据。
- “已编译的查询”窗格
- 将当前修改过的文件中的查询编译为 SQL。 如果查询编译失败,则显示编译错误。 如果查询编译成功,则显示已编译的查询,并通过针对 BigQuery 的试运行对其进行验证。如果查询验证失败,系统会显示验证错误。 如果查询验证成功,则显示执行 BigQuery 查询会使用的字节数。
- 开始执行下拉菜单
- 显示用于在工作区或其所选元素中触发整个工作流的执行的选项。
“已编译的图表”标签页的组成部分
“已编译的图表”标签页会显示已编译的 SQL 工作流的交互式图表。该图表显示了 SQL 工作流中的所有操作及其关系。
您可以放大和缩小,并使用拖动来浏览图。
您可以按以下属性过滤图表:
- 名称
- 标记
- 类型
- 断言
- 声明
- 增量表
- 具体化视图
- 运维
- 表
- 未知
- 查看
您可以一次选择多个过滤条件。
Dataform 将使用 OR
条件来应用它们。
您可以点击图表中的某项操作,在以下窗格中查看其详情:
- “Metadata”(元数据)窗格
- 显示所选操作的全名、类型、依赖项和从属项。
- “Query”窗格
- 显示所选操作的已编译 SQL 查询。
工作区中的版本控制
在工作区中,您可以通过基于 Git 的版本控制与代码库进行交互。您对工作区中的文件所做的修改一开始是您可以提交的未提交的本地更改,然后推送到您的代码库,以便所有代码库用户都可以使用这些更改。
如果您的代码库已连接到远程 Git 提供商,则可以将更改从工作区推送到主开发分支。在将代码库连接到远程 Git 提供商时,您可以选择主分支。在未关联的 Dataform 代码库中,您将更改推送到默认分支。
您还可以从 Dataform 代码库或远程代码库中拉取任何更改,并将其与开发工作区中的本地更改合并。如需详细了解 Dataform 中的版本控制,请参阅对代码进行版本控制。
后续步骤
- 如需了解如何创建和初始化工作区,请参阅创建工作区。
- 如需了解如何对 Dataform 代码进行版本控制,请参阅对代码进行版本控制。
- 如需了解如何运行预览来测试 SQL 查询,请参阅预览 SQL 查询。