管理条目和提取自定义来源

本文档介绍了如何创建和管理条目类型、条目组和自定义条目，以便将自定义数据源集成到 Dataplex 中。

条目表示您要为其捕获元数据的资源。条目组是包含一个或多个条目的容器，用于管理访问权限控制和区域内位置。条目类型定义了条目所需的元数据。条目类型可为自由流动且定义宽松的条目资源引入结构和规则，从而使条目可扩展。

如需将自定义数据源集成到 Dataplex，您可以使用自定义条目组下的自定义条目类型创建自定义条目。创建自定义条目涉及以下简要步骤：

  1. 创建一个条目组。
  2. 创建条目类型。
  3. 在条目组中为条目类型创建自定义条目。

条目数

条目表示您要为其捕获元数据的数据资产。每个条目都是条目类型的实例。对条目的各个切面上的每个操作都需要 符合其条目类型的相关要求。例如，当您创建 必须为条目定义的所有切面类型， 条目类型。您无法删除条目类型中标记为 required 的条目方面。

条目类别

  • 系统条目：Dataplex 会为 Google Cloud 资源（例如 BigQuery 数据集或表）创建条目。Dataplex 创建的条目称为系统条目。Dataplex 通过连续的元数据自动使系统条目保持最新状态 从受支持的 Google Cloud 系统同步。

    您无法修改系统条目自动填充的元数据（称为“必需方面”）。您只能添加或修改其他元数据 通过使用可选切面来确定系统条目。如需了解详情，请参阅方面类别。

  • 自定义条目：您可以为自定义资源创建和管理的条目称为自定义条目。自定义资源是指托管在 Google Cloud 或外部（例如本地）的非 Google 服务中的资源。

条目组

条目组是一个或多个条目的容器。您可以使用条目组 管理条目的访问权限控制和区域位置。每个条目组都属于一个项目。

条目组的类别

  • 系统条目组：用于 Google Cloud 资源，即 Dataplex 会自动为每个项目中的每个系统创建条目组， 资源所在的位置例如，@bigquery 是系统条目 。

  • 自定义条目组：您为自定义资源创建的条目组。

条目类型

条目类型使用一组必需的切面类型定义此类条目的必需元数据。

您只能在条目上指定必需的方面类型，而不能在条目的列上指定。创建特定条目类型的条目时 您必须为由 条目类型。

条目类型中引用的必需切面类型必须与该条目类型属于同一项目。

条目类型的类别

  • 自定义条目类型：您创建和管理的条目类型。您可以使用 以创建自定义条目

  • 系统条目类型：Dataplex 默认提供这些条目类型。系统条目类型进一步分为可重用和 受限。

    下表介绍了系统条目类型的类别，以及 Dataplex 为每个类别提供的条目类型列表：

    系统条目类型的类别 说明 Dataplex 提供的条目类型
    可重复使用的系统条目类型 您可以使用此条目类型来创建自定义条目。
    • generic
    受限系统条目类型 这些字段保留给系统使用，例如为 Google Cloud 资源创建条目。

    您无法使用这些条目类型创建条目，但可以修改条目 这些条目类型来添加可选切面。
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

您可以在特定地区创建自定义条目类型，也可以将其作为全球资源创建。系统条目类型始终是全局的。容器的 条目类型会影响其适用范围。如需了解详情，请参阅项目和位置限制。

准备工作

在管理条目和注入自定义数据源之前，请确保您已经 完成本部分中描述的任务。

所需的角色

如需获得创建和管理条目所需的权限，请让管理员向您授予资源的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需了解详情，请参阅 Dataplex IAM 角色。

启用该 API

在 Dataplex 项目中启用 Dataplex API。

启用该 API

创建一个条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组 > 自定义标签页。

  3. 点击创建。

  4. 在创建条目组窗口中，输入以下内容：

    • 可选：在显示名称字段中，输入条目组的显示名称。
    • 条目组 ID：输入条目组的唯一 ID。
    • 可选：在说明字段中，输入条目组的说明。
    • 位置：选择一个位置。创建条目组后，您将无法修改其位置。

  5. 可选：在标签部分中，为资源添加键值对形式的任意标签：

    1. 点击添加标签。
    2. 在密钥字段中，输入一个密钥。
    3. 在值字段中，输入键的值。
    4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

  6. 点击保存。

REST

如需创建条目组，请使用 entryGroups.Create 方法。

创建条目类型

如需提取新来源，您必须创建条目类型。

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击创建。

  4. 在创建条目类型窗口中，输入以下内容：

    1. 可选：在显示名称字段中，输入条目类型的显示名称。
    2. 条目类型 ID：输入条目类型的唯一 ID。创建条目类型后，您将无法修改此设置。
    3. 可选：在说明字段中，输入您对 条目类型。
    4. 可选：在 System（系统）字段中，输入源系统。
    5. 可选：在平台字段中，输入此类条目所属的平台。例如 Google Cloud。
    6. 在位置字段中，选择一个位置。创建条目类型后，您将无法修改其位置。

  5. 可选：在类型别名部分，定义以下内容的数据类型 您的条目类型。该数据类型可用于查询条目。

    1. 点击添加类型别名。
    2. 在 Type alias 字段中，选择一种数据类型。您可以添加多个类型别名。

  6. 在必需的切面类型部分中，选择需要 是此条目类型的必填项。每个条目根据 系统将为此类型分配这些必需的切面类型。

    1. 点击选择切面类型。
    2. 在选择切面类型窗口中，选择切面类型。
    3. 点击选择。

    您无法从条目中删除必需切面。

  7. 可选：在标签部分中，为资源添加键值对形式的任意标签：

    1. 点击添加标签。
    2. 在密钥字段中，输入一个密钥。
    3. 在值字段中，输入键的值。
    4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

  8. 点击保存。

REST

如需创建条目类型，请使用 entryType.create 方法。

创建自定义条目

在创建自定义条目之前，请确保您已创建条目组和条目类型。

控制台

Google Cloud 控制台不支持创建自定义条目。而应使用 Google Cloud CLI 或 API。

REST

要创建自定义条目，请使用 entries.create 方法。

创建自定义条目后，您可以向该条目添加切面。如需了解详情，请参阅向条目添加方面。

管理条目组

本部分介绍如何查看可用条目组的列表、 更新和删除条目组。

查看可用条目组的列表

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

    前往目录

  2. 点击条目组标签页。

    您可以访问自定义条目组和系统条目组的列表。如需了解详情，请参阅本文档的条目组类别部分。

    在自定义标签页中，带有后缀 (Data Catalog) 的条目组是从 Data Catalog 中导入的条目组。

  3. 如需查看所有项目中的条目组列表，请点击 自定义标签页，然后点击显示所有项目中的显示切换开关 打开位置

REST

如需查看可用条目组的列表，请使用 entryGroups.list 方法。

查看条目组的详细信息

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组标签页。

  3. 点击要查看其详细信息的条目组。

    系统会打开条目组详情页面。您可以访问所选条目组的显示名称、条目组 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等信息。

  4. 如果条目组是从 Data Catalog 导入的（以后缀 (Data Catalog) 表示），您可以在 Data Catalog 和 Dataplex Catalog 界面中查看其详细信息。如需执行此操作，请在条目组详情页面中，选择 Data Catalog 或 Dataplex Catalog。

  5. 如需查看最近创建的 10 个相关条目的列表，请执行以下操作： 点击条目示例标签页。

REST

要检索条目组的详细信息，请使用 entryGroups.get 方法。

更新条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目组 > 自定义标签页。

  3. 点击要更新的条目组。

  4. 在条目组详情页面上，点击修改。

  5. 根据需要修改显示名称、说明和标签。

  6. 点击保存。

REST

如需更新条目组，请使用 entryGroups.patch 方法。

删除条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组 > 自定义标签页。

  3. 点击要删除的条目组。

  4. 在条目组详情页面上，点击删除。确认时间 。

REST

要删除条目组，请使用 entryGroups.delete 方法。

管理条目类型

本部分介绍了如何查看可用条目组列表、查看详细信息、更新和删除条目类型。

查看可用条目类型的列表

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目类型标签页。

    您可以访问自定义和系统条目类型列表。如需了解详情，请参阅本文档的条目类型类别部分。

  3. 如需查看所有项目中的条目类型列表，请点击自定义标签页，然后将显示所有项目中的条目类型切换开关切换到开启状态。

REST

如需查看可用条目类型的列表，请使用 entryTypes.list 方法。

查看条目类型的详细信息

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击您要查看其详细信息的条目类型。

    系统会打开条目类型详情页面。您可以访问一些信息 显示名称、条目类型 ID、说明、项目 ID、位置、平台 系统、类型别名、标签、创建日期和 所选条目类型

  4. 如需查看最近创建的 10 个相关条目列表，请点击示例条目标签页。

REST

要检索条目类型的详细信息，请使用 entryTypes.get 方法。

更新条目类型

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要更新的条目类型。

  4. 在条目类型详情页面上，点击修改。

  5. 根据需要修改显示名称、说明、系统、平台、类型别名和标签。

  6. 点击保存。

REST

如需更新条目类型，请使用 entryTypes.patch 方法。

删除条目类型

控制台

  1. 在 Google Cloud 控制台中，前往 Dataplex 的目录页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要删除的条目类型。

  4. 在条目类型详情页面上，点击删除。在出现提示时确认。

REST

要删除条目类型，请使用 entryTypes.delete 方法。

后续步骤