使用 Dataplex 管理 Dataform 代码库的元数据

本文档介绍了如何使用 Dataplex 查看 Dataform 代码库的元数据,并使用方面对其进行注解。

借助 Dataplex,您可以存储和管理元数据。 默认情况下,Dataplex 中提供 Dataform 代码库,无需进行任何额外配置。Dataplex 会自动从 Dataform 代码库中检索以下元数据:

  • 数据资源名称
  • 数据资产父级
  • 数据资产位置
  • 数据资产类型
  • 相应的 Google Cloud 项目
  • 第三方代码库来源
  • 服务账号

准备工作

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Enable the Dataplex API.

    Enable the API

  3. 确保您拥有必要的 Identity and Access Management (IAM) 权限

所需的角色

如需在 Dataplex 中管理 Dataform 代码库,您需要拥有预定义的 Dataform 角色(可让您访问 Dataform 资源)以及所需的 Dataplex 角色

在 Dataplex 中管理元数据

Dataplex 会将 Dataform 代码库记录为条目,并附上以下条目值:

系统条目组
Dataform 代码库的系统条目组@dataform。如需查看 Dataplex 中代码库条目的详细信息,您需要查看 dataform 系统条目组。如需了解如何查看条目组中的所有条目列表,请参阅 Dataplex 文档中的查看条目组的详细信息
系统条目类型
Dataform 代码库的系统条目类型dataform-repository。如需查看 Dataform 代码库的详细信息,您需要查看 dataform-repository 系统条目类型。如需了解如何查看所选条目类型的详细信息,请参阅 Dataplex 文档中的查看条目类型的详细信息。如需了解如何查看所选条目的详细信息,请参阅 Dataplex 文档中的查看条目的详细信息

搜索资产

如需了解如何在 Dataplex 中搜索数据资产,请参阅 Dataplex 文档中的在 Dataplex 中搜索数据资产

为代码库添加注解

如需向 Dataplex 中的 Dataform 代码库提供更多背景信息,您可以使用方面为 Dataform 条目添加注释。

Dataform 代码库的系统方面类型为 dataform-repository

如需了解如何使用方面为条目添加注释,请参阅 Dataplex 文档中的管理方面和丰富元数据

限制

您可以在 Dataplex 中管理 Dataform 代码库,但存在以下限制:

  • 您无法在 Dataplex 中查看或管理 Dataform 文件级资产,例如表或视图。

位置

您可以使用 Dataplex 从所有 Dataform 位置管理 Dataform 仓库。

配额

在 Dataplex 中管理 Dataform 代码库需遵守 Dataplex 配额和限制

价格

在 Dataplex 中管理 Dataform 代码库需遵循 Dataplex 价格

后续步骤

  • 如需详细了解 Dataplex,请参阅 Dataplex 文档中的 Dataplex 概览