本文档介绍了如何创建和管理条目类型、条目组和自定义条目,以便将自定义数据源集成到 Dataplex 中。
条目表示您要为其捕获元数据的资源。条目组是包含一个或多个条目的容器,用于管理访问权限控制和区域内位置。条目类型定义了条目所需的元数据。条目类型可为自由流动且定义宽松的条目资源引入结构和规则,从而使条目可扩展。
如需将自定义数据源集成到 Dataplex,您可以使用自定义条目组下的自定义条目类型创建自定义条目。创建自定义条目涉及以下简要步骤:
- 创建一个条目组。
- 创建条目类型。
- 在条目组中为条目类型创建自定义条目。
条目数
条目表示您要为其捕获元数据的数据资产。每个条目都是条目类型的实例。对条目的各个切面上的每个操作都需要
符合其条目类型的相关要求。例如,当您创建
必须为条目定义的所有切面类型,
条目类型。您无法删除条目类型中标记为 required
的条目方面。
条目类别
系统条目:Dataplex 会为 Google Cloud 资源(例如 BigQuery 数据集或表)创建条目。Dataplex 创建的条目称为系统条目。Dataplex 通过连续的元数据自动使系统条目保持最新状态 从受支持的 Google Cloud 系统同步。
您无法修改系统条目自动填充的元数据(称为“必需方面”)。您只能添加或修改其他元数据 通过使用可选切面来确定系统条目。如需了解详情,请参阅方面类别。
自定义条目:您可以为自定义资源创建和管理的条目称为自定义条目。自定义资源是指托管在 Google Cloud 或外部(例如本地)的非 Google 服务中的资源。
条目组
条目组是一个或多个条目的容器。您可以使用条目组 管理条目的访问权限控制和区域位置。每个条目组都属于一个项目。
条目组的类别
系统条目组:用于 Google Cloud 资源,即 Dataplex 会自动为每个项目中的每个系统创建条目组, 资源所在的位置例如,
@bigquery
是系统条目 。自定义条目组:您为自定义资源创建的条目组。
条目类型
条目类型使用一组必需的切面类型定义此类条目的必需元数据。
您只能在条目上指定必需的方面类型,而不能在条目的列上指定。创建特定条目类型的条目时 您必须为由 条目类型。
条目类型中引用的必需切面类型必须与该条目类型属于同一项目。
条目类型的类别
自定义条目类型:您创建和管理的条目类型。您可以使用 以创建自定义条目
系统条目类型:Dataplex 默认提供这些条目类型。系统条目类型进一步分为可重用和 受限。
下表介绍了系统条目类型的类别,以及 Dataplex 为每个类别提供的条目类型列表:
系统条目类型的类别 说明 Dataplex 提供的条目类型 可重复使用的系统条目类型 您可以使用此条目类型来创建自定义条目。 generic
受限系统条目类型 这些字段保留给系统使用,例如为 Google Cloud 资源创建条目。
您无法使用这些条目类型创建条目,但可以修改条目 这些条目类型来添加可选切面。bigquery-connection
bigquery-dataset
bigquery-model
bigquery-routine
bigquery-table
bigquery-view
cloudsql-database
cloudsql-instance
cloudsql-schema
cloudsql-table
cloudsql-view
sql-access
storage
storage-bucket
storage-folder
您可以在特定地区创建自定义条目类型,也可以将其作为全球资源创建。系统条目类型始终是全局的。容器的 条目类型会影响其适用范围。如需了解详情,请参阅项目和位置限制。
准备工作
在管理条目和注入自定义数据源之前,请确保您已经 完成本部分中描述的任务。
所需的角色
如需获得创建和管理条目所需的权限,请让管理员向您授予资源的以下 IAM 角色:
-
对条目、条目组和条目类型的全部权限:
Dataplex Catalog Admin (
roles/dataplex.catalogAdmin
) -
创建和管理所有 Dataplex Catalog 资源,包括条目、条目组和条目类型:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor
) -
对与条目相关的操作拥有完整访问权限:
Dataplex 条目所有者 (
roles/dataplex.entryOwner
) -
查看条目、条目组、条目类型以及与它们关联的 IAM 政策:
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer
) -
创建自定义条目时,使用切面类型创建这些类型的切面:
Dataplex Aspect Type User (
roles/dataplex.aspectTypeUser
) -
创建和管理条目组:
Dataplex 条目组所有者 (
roles/dataplex.entryGroupOwner
) -
创建和管理条目类型:
Dataplex Entry Type Owner (
roles/dataplex.entryTypeOwner
) -
使用条目类型创建和修改相应类型的条目:Dataplex Entry Type User (
roles/dataplex.entryTypeUser
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
如需了解详情,请参阅 Dataplex IAM 角色。
启用该 API
在 Dataplex 项目中启用 Dataplex API。
创建一个条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组 > 自定义标签页。
点击创建。
在创建条目组窗口中,输入以下内容:
- 可选:在显示名称字段中,输入条目组的显示名称。
- 条目组 ID:输入条目组的唯一 ID。
- 可选:在说明字段中,输入条目组的说明。
- 位置:选择一个位置。创建条目组后,您将无法修改其位置。
可选:在标签部分中,为资源添加键值对形式的任意标签:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复上述步骤。
点击保存。
REST
如需创建条目组,请使用 entryGroups.Create
方法。
创建条目类型
如需提取新来源,您必须创建条目类型。
控制台
在 Google Cloud 控制台中,前往 Dataplex 的目录页面。
依次点击条目类型 > 自定义标签页。
点击创建。
在创建条目类型窗口中,输入以下内容:
- 可选:在显示名称字段中,输入条目类型的显示名称。
- 条目类型 ID:输入条目类型的唯一 ID。创建条目类型后,您将无法修改此设置。
- 可选:在说明字段中,输入您对 条目类型。
- 可选:在 System(系统)字段中,输入源系统。
- 可选:在平台字段中,输入此类条目所属的平台。例如
Google Cloud
。 - 在位置字段中,选择一个位置。创建条目类型后,您将无法修改其位置。
可选:在类型别名部分,定义以下内容的数据类型 您的条目类型。该数据类型可用于查询条目。
- 点击添加类型别名。
- 在 Type alias 字段中,选择一种数据类型。您可以添加多个类型别名。
在必需的切面类型部分中,选择需要 是此条目类型的必填项。每个条目根据 系统将为此类型分配这些必需的切面类型。
- 点击选择切面类型。
- 在选择切面类型窗口中,选择切面类型。
- 点击选择。
您无法从条目中删除必需切面。
可选:在标签部分中,为资源添加键值对形式的任意标签:
- 点击添加标签。
- 在密钥字段中,输入一个密钥。
- 在值字段中,输入键的值。
- 如需添加更多标签,请点击添加标签,然后重复上述步骤。
点击保存。
REST
如需创建条目类型,请使用 entryType.create
方法。
创建自定义条目
控制台
Google Cloud 控制台不支持创建自定义条目。而应使用 Google Cloud CLI 或 API。
REST
要创建自定义条目,请使用
entries.create
方法。
创建自定义条目后,您可以向该条目添加切面。如需了解详情,请参阅向条目添加方面。
管理条目组
本部分介绍如何查看可用条目组的列表、 更新和删除条目组。
查看可用条目组的列表
控制台
REST
如需查看可用条目组的列表,请使用
entryGroups.list
方法。
查看条目组的详细信息
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组标签页。
点击要查看其详细信息的条目组。
系统会打开条目组详情页面。您可以访问所选条目组的显示名称、条目组 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等信息。
如果条目组是从 Data Catalog 导入的(以后缀
(Data Catalog)
表示),您可以在 Data Catalog 和 Dataplex Catalog 界面中查看其详细信息。如需执行此操作,请在条目组详情页面中,选择 Data Catalog 或 Dataplex Catalog。如需查看最近创建的 10 个相关条目的列表,请执行以下操作: 点击条目示例标签页。
REST
要检索条目组的详细信息,请使用
entryGroups.get
方法。
更新条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目组 > 自定义标签页。
点击要更新的条目组。
在条目组详情页面上,点击修改。
根据需要修改显示名称、说明和标签。
点击保存。
REST
如需更新条目组,请使用 entryGroups.patch
方法。
删除条目组
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
点击条目组 > 自定义标签页。
点击要删除的条目组。
在条目组详情页面上,点击删除。确认时间 。
REST
要删除条目组,请使用
entryGroups.delete
方法。
管理条目类型
本部分介绍了如何查看可用条目组列表、查看详细信息、更新和删除条目类型。
查看可用条目类型的列表
控制台
REST
如需查看可用条目类型的列表,请使用 entryTypes.list
方法。
查看条目类型的详细信息
控制台
在 Google Cloud 控制台中,前往 Dataplex 的目录页面。
依次点击条目类型 > 自定义标签页。
点击您要查看其详细信息的条目类型。
系统会打开条目类型详情页面。您可以访问一些信息 显示名称、条目类型 ID、说明、项目 ID、位置、平台 系统、类型别名、标签、创建日期和 所选条目类型
如需查看最近创建的 10 个相关条目列表,请点击示例条目标签页。
REST
要检索条目类型的详细信息,请使用
entryTypes.get
方法。
更新条目类型
控制台
在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。
依次点击条目类型 > 自定义标签页。
点击要更新的条目类型。
在条目类型详情页面上,点击修改。
根据需要修改显示名称、说明、系统、平台、类型别名和标签。
点击保存。
REST
如需更新条目类型,请使用 entryTypes.patch
方法。
删除条目类型
控制台
在 Google Cloud 控制台中,前往 Dataplex 的目录页面。
依次点击条目类型 > 自定义标签页。
点击要删除的条目类型。
在条目类型详情页面上,点击删除。在出现提示时确认。
REST
要删除条目类型,请使用
entryTypes.delete
方法。
后续步骤
- 了解如何在 Dataplex Catalog 中搜索数据资产。
- 了解如何管理切面和丰富元数据。
- 了解如何将元数据导入 Dataplex。
- 详细了解 Dataplex Catalog。