管理条目和提取自定义来源

本文档介绍了如何创建和管理条目类型、条目组和自定义条目，以便将自定义数据源集成到 Dataplex 中。

条目表示您要为其捕获元数据的资源。条目组是包含一个或多个条目的容器，用于管理访问权限控制和区域内位置。条目类型用于定义条目所需的元数据。条目类型可为自由流动且定义宽松的条目资源引入结构和规则，从而使条目可扩展。

如需将自定义数据源集成到 Dataplex，您可以使用自定义条目组下的自定义条目类型创建自定义条目。创建自定义条目包括以下简要步骤：

1. 创建一个条目组。
2. 创建条目类型。
3. 在条目组中为条目类型创建自定义条目。

条目数

条目表示您要为其捕获元数据的数据资产。每个条目都是条目类型的实例。对条目切面的每项操作都需要遵循其条目类型的必需切面。例如，在创建条目时，您必须为条目类型定义的所有方面类型提供值。您无法删除条目类型中标记为 required 的条目方面。

条目类别

• 系统条目：Dataplex 会为 Google Cloud资源（例如 BigQuery 数据集或表）创建条目。Dataplex 创建的条目称为系统条目。Dataplex 会通过从受支持的系统持续同步元数据，自动保持系统条目的最新状态。 Google Cloud

  您无法修改系统条目自动填充的元数据（称为“必需方面”）。您只能使用可选的切面为系统条目添加和修改其他元数据。如需了解详情，请参阅方面类别。

• 自定义条目：您可以为自定义资源创建和管理的条目称为自定义条目。自定义资源是指托管在 Google 以外（例如在本地）的非 Google 服务中的资源。 Google Cloud

条目组

条目组是一个或多个条目的容器。您可以使用条目组来管理条目的访问权限控制和区域内位置。每个条目组都属于一个项目。

条目组的类别

• 系统条目组：对于资源，Dataplex 会自动为资源所在的每个项目和位置中的每个系统创建条目组。 Google Cloud 例如，@bigquery 是 BigQuery 的系统条目组。

• 自定义条目组：您为自定义资源创建的条目组。

条目类型

条目类型使用一组必需的切面类型定义此类条目的必需元数据。

您只能在条目上指定必需的方面类型，而不能在条目的列上指定。创建特定条目类型的条目时，您必须为条目类型指定的所有必需切面类型提供值。

条目类型中引用的必需切面类型必须与该条目类型属于同一项目。

条目类型的类别

• 自定义条目类型：您创建和管理的条目类型。您可以使用这些条目类型创建自定义条目。

• 系统条目类型：Dataplex 默认提供这些条目类型。系统条目类型进一步分为可重复使用和受限。

  下表介绍了系统条目类型的类别，以及 Dataplex 为每个类别提供的条目类型列表：

  系统条目类型的类别	说明	Dataplex 提供的条目类型
  可重复使用的系统条目类型	您可以使用此条目类型创建自定义条目。	generic
  受限系统条目类型	这些地址预留给系统使用，例如为Google Cloud 资源创建条目。 您无法使用这些条目类型创建条目，但可以修改这些条目类型的条目以添加可选的方面。	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view dataform-repository dataform-code-asset sql-access storage storage-bucket storage-folder

注意： 类型为 entrygroup 的条目代表条目组，会在创建条目组时自动创建。您可以搜索此类条目。与常规条目不同，您无法删除这些条目。而是必须删除条目组。

您可以在特定地区创建自定义条目类型，也可以将其作为全球资源创建。系统条目类型始终是全局的。条目类型的位置会影响其适用范围。如需了解详情，请参阅项目和位置限制。

准备工作

在管理条目和提取自定义数据源之前，请确保您已完成本部分中所述的任务。

所需的角色

如需获得创建和管理条目所需的权限，请让管理员向您授予资源的以下 IAM 角色：

• 对条目、条目组和条目类型的全部权限： Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
• 创建和管理所有 Dataplex Catalog 资源，包括条目、条目组和条目类型： Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• 对与条目相关的操作拥有完整访问权限： Dataplex 条目所有者 (roles/dataplex.entryOwner)
• 查看条目、条目组、条目类型以及与其关联的 IAM 政策：Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• 创建自定义条目时，使用切面类型创建这些类型的切面： Dataplex Aspect Type User (roles/dataplex.aspectTypeUser)
• 创建和管理条目组： Dataplex 条目组所有者 (roles/dataplex.entryGroupOwner)
• 创建和管理条目类型： Dataplex Entry Type Owner (roles/dataplex.entryTypeOwner)
• 使用条目类型创建和修改相应类型的条目：Dataplex Entry Type User (roles/dataplex.entryTypeUser)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

注意： 如果您使用条目类型创建和修改该类型的条目，并且条目类型和条目位于不同的项目中，则必须向包含条目类型的项目授予 Dataplex 条目类型用户 (roles/dataplex.entryTypeUser) IAM 角色。

如需了解详情，请参阅 Dataplex IAM 角色。

启用 API

在 Dataplex 项目中启用 Dataplex API。

启用该 API

创建一个条目组

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目组 > 自定义标签页。

3. 点击创建条目组 (Dataplex Catalog)。

4. 在创建条目组窗口中，输入以下内容：

   1. 可选：在显示名称字段中，输入条目组的显示名称。
   2. 条目组 ID：输入条目组的唯一 ID。
   3. 可选：在说明字段中，输入条目组的说明。
   4. 位置：选择一个位置。创建条目组后，您将无法修改其位置。

5. 可选：在标签部分中，为资源添加键值对形式的任意标签：

   1. 点击添加标签。
   2. 在键字段中，输入一个键。
   3. 在值字段中，输入键的值。
   4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

6. 点击保存。

gcloud

如需创建条目组，请使用 gcloud dataplex entry-groups create 命令。

REST

如需创建条目组，请使用 entryGroups.Create 方法。

创建条目类型

如需提取新来源，您必须创建条目类型。

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目类型 > 自定义标签页。

3. 点击创建。

4. 在创建条目类型窗口中，输入以下内容：

   1. 可选：在显示名称字段中，输入条目类型的显示名称。
   2. 条目类型 ID：输入条目类型的唯一 ID。创建条目类型后，您将无法修改此设置。
   3. 可选：在说明字段中，为条目类型输入说明。
   4. 可选：在系统字段中，输入来源系统。
   5. 可选：在平台字段中，输入此类条目所属的平台。例如 Google Cloud。
   6. 在位置字段中，选择一个位置。创建条目类型后，您将无法修改其位置。

5. 可选：在类型别名部分中，为条目类型定义数据类型。该数据类型可用于查询条目。

   1. 点击添加类型别名。
   2. 在 Type alias 字段中，选择数据类型。您可以添加多个类型别名。

6. 在必需的切面类型部分，选择此条目类型的必需切面类型。系统会为基于此类型创建的每个条目分配这些必需的切面类型。创建条目类型后，您将无法修改必需的切面类型列表。

   1. 点击选择切面类型。
   2. 在选择切面类型窗口中，选择切面类型。
   3. 点击选择。

   您无法从条目中删除必填的方面。

7. 可选：在标签部分中，为资源添加键值对形式的任意标签：

   1. 点击添加标签。
   2. 在键字段中，输入一个键。
   3. 在值字段中，输入键的值。
   4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

8. 点击保存。

gcloud

如需创建条目类型，请使用 gcloud dataplex entry-types create 命令。

REST

如需创建条目类型，请使用 entryTypes.create 方法。

创建自定义条目

在创建自定义条目之前，请确保您已创建条目组和条目类型。

控制台

不支持使用 Google Cloud 控制台创建自定义条目。请改用 Google Cloud CLI 或 API。

gcloud

如需创建自定义条目，请使用 gcloud dataplex entries create 命令。

REST

如需创建自定义条目，请使用 entries.create 方法。

创建自定义条目后，您可以向该条目添加方面。如需了解详情，请参阅向条目添加方面。

管理条目组

本部分介绍了如何查看可用条目组列表、查看详细信息、更新和删除条目组。

查看可用条目组的列表

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 点击条目组标签页。

   本页面列出了所有可用的 Dataplex Catalog 和 Data Catalog 条目组。

3. 如需查看自定义条目组，请点击自定义标签页。在自定义标签页中，目录来源列会显示资源所在的位置：Dataplex Catalog 或 Data Catalog。

   如需查看系统条目群组，请点击系统标签页。

   如需详细了解自定义条目组和系统条目组，请参阅本文档的条目组类别部分。

4. 可选：如需查看所选项目中的条目组列表，请点击自定义标签页，然后将显示来自所有项目的条目切换开关切换到关闭状态。

   显示所有项目中的资源切换开关默认处于开启状态，列表中包含所选组织中的 Dataplex Catalog 资源，以及您可以访问的所有组织中的 Data Catalog 资源。

   注意 ：如果显示所有项目中的切面切换开关处于开启状态，您将无法直接修改或删除条目组。您必须点击条目组以打开条目组详情页面，然后修改或删除该条目组。

gcloud

如需查看可用条目组的列表，请使用 gcloud dataplex entry-groups list 命令。

REST

如需查看可用条目组的列表，请使用 entryGroups.list 方法。

查看条目组的详细信息

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 点击条目组标签页。

3. 点击您要查看其详细信息的条目组。

   系统会打开条目组详情页面。您可以访问所选条目组的显示名称、条目组 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等信息。

   对于 Data Catalog 条目组，您可以在 Data Catalog 和 Dataplex Catalog Web 界面中查看详细信息。为此，请在条目组详情页面上，点击 Data Catalog 或 Dataplex Catalog。

   示例条目部分会显示在所选条目组中最近创建的 10 条相关条目。

4. 可选：如需查看与条目组相关的所有条目，请在示例条目部分中，点击在搜索结果中显示所有相关条目。

gcloud

如需检索条目组的详细信息，请使用 gcloud dataplex entry-groups describe 命令。

REST

如需检索条目组的详细信息，请使用 entryGroups.get 方法。

更新条目组

您可以更新自定义条目组。系统条目组无法修改。

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目组 > 自定义标签页。

3. 点击要更新的条目组。

4. 在条目组详情页面上，点击修改。

5. 根据需要修改显示名称、说明和标签。

6. 点击保存。

gcloud

如需更新条目群组，请使用 gcloud dataplex entry-groups update 命令。

REST

如需更新条目组，请使用 entryGroups.patch 方法。

删除条目组

您可以删除自定义条目组。系统条目组无法删除。

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目组 > 自定义标签页。

3. 点击要删除的条目组。

4. 在条目组详情页面上，点击删除。在出现提示时确认。

gcloud

如需删除条目组，请使用 gcloud dataplex entry-groups delete 命令。

REST

如需删除条目组，请使用 entryGroups.delete 方法。

管理条目类型

本部分介绍了如何查看可用条目组列表、查看详细信息、更新和删除条目类型。

查看可用条目类型的列表

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 点击条目类型标签页。

3. 如需查看自定义条目类型，请点击自定义标签页。如需查看系统条目类型，请点击系统标签页。如需详细了解自定义条目类型和系统条目类型，请参阅本文档的条目类型类别部分。

4. 可选：如需查看所选项目中的条目类型列表，请点击自定义标签页，然后将显示来自所有项目的条目切换开关切换到关闭状态。

   显示所有项目中的条目类型切换开关默认处于开启状态，并且列表中包含所有项目中的条目类型。

   注意 ：如果显示所有项目中的切面类型切换开关处于开启状态，您将无法直接修改或删除条目类型。您必须点击条目类型以打开条目类型详情页面，然后才能修改或删除该条目类型。

gcloud

如需查看可用条目类型的列表，请使用 gcloud dataplex entry-types list 命令。

REST

如需查看可用条目类型的列表，请使用 entryTypes.list 方法。

查看条目类型的详细信息

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目类型 > 自定义标签页。

3. 点击您要查看其详细信息的条目类型。

   系统随即会打开条目类型详情页面。您可以访问所选条目类型的显示名称、条目类型 ID、说明、项目 ID、位置、平台、系统、类型别名、标签、创建日期和最后修改日期等信息。

4. 可选：如需查看最近创建的 10 条相关条目列表，请点击示例条目标签页。

5. 可选：如需查看与条目组相关的所有条目，请点击示例条目标签页，然后点击在搜索结果中显示所有相关条目。

gcloud

如需检索条目类型的详细信息，请使用 gcloud dataplex entry-types describe 命令。

REST

如需检索条目类型的详细信息，请使用 entryTypes.get 方法。

更新条目类型

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目类型 > 自定义标签页。

3. 点击要更新的条目类型。

4. 在条目类型详情页面上，点击修改。

5. 根据需要修改显示名称、说明、系统、平台、类型别名和标签。

6. 点击保存。

gcloud

如需更新条目类型，请使用 gcloud dataplex entry-types update 命令。

REST

如需更新条目类型，请使用 entryTypes.patch 方法。

删除条目类型

控制台

1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

   前往目录

2. 依次点击条目类型 > 自定义标签页。

3. 点击您要删除的条目类型。

4. 在条目类型详情页面上，点击删除。在出现提示时确认。

gcloud

如需删除条目类型，请使用 gcloud dataplex entry-types delete 命令。

REST

如需删除条目类型，请使用 entryTypes.delete 方法。

后续步骤

• 了解如何在 Dataplex Catalog 中搜索数据资产。
• 了解如何管理方面和丰富元数据。
• 了解如何将元数据导入 Dataplex。
• 详细了解 Dataplex Catalog。