管理条目并注入自定义来源

本文档介绍了如何创建和管理条目类型、条目组 以及自定义条目，以便将自定义数据源集成到 Dataplex。

条目表示您捕获其元数据的资源。条目组是 包含一个或多个条目的容器，用于管理访问权限控制和区域级 位置。条目类型定义了条目所需的元数据。条目类型 将结构和规则引入自由流动和松散定义的条目资源， 使条目具有可扩展性

如需将自定义数据源集成到 Dataplex，您可以创建自定义数据源 自定义条目组下的自定义条目类型。 创建自定义条目涉及以下简要步骤：

  1. 创建一个条目组。
  2. 创建条目类型。
  3. 在条目组内为该条目类型创建自定义条目。

条目数

条目表示您捕获其元数据的数据资产。每个参赛作品 条目类型的实例。对条目的各个切面上的每个操作都需要 符合其条目类型的相关要求。例如，当您创建 必须为条目定义的所有切面类型， 条目类型。您无法删除标记为 required。

参评申请类别

  • 系统条目：Dataplex 会为 Google Cloud 创建条目 资源（例如 BigQuery 数据集或表）。影响 Dataplex 创建过程称为系统条目。Dataplex 通过连续的元数据自动使系统条目保持最新状态 从受支持的 Google Cloud 系统同步。

    您无法修改自动填充的元数据（称为必需元数据） 方面）。您只能添加或修改其他元数据 通过使用可选切面来确定系统条目。如需了解详情，请参阅 切面的类别。

  • 自定义条目：您可以创建和管理的条目 称为“自定义条目”自定义资源 托管在 Google Cloud 或外部的非 Google 服务中 （例如本地）。

条目组

条目组是一个或多个条目的容器。您可以使用条目组 管理条目的访问权限控制和区域位置。每个参赛作品 群组属于某个项目。

条目组的类别

  • 系统条目组：用于 Google Cloud 资源，即 Dataplex 会自动为每个项目中的每个系统创建条目组， 资源所在的位置例如，@bigquery 是系统条目 。

  • 自定义条目组：您为自定义资源创建的条目组。

条目类型

条目类型使用集合定义此类型的条目所需的元数据， 必需的切面类型。

您只能为条目指定所需的切面类型，而不能为 条目的各列。创建特定条目类型的条目时 您必须为由 条目类型。

条目类型中引用的必需切面类型必须属于 项目与条目类型相同。

条目类型的类别

  • 自定义条目类型：您创建和管理的条目类型。您可以使用 以创建自定义条目

  • 系统条目类型：Dataplex 提供以下条目类型 默认情况。系统条目类型进一步分为可重用和 受限。

    下表介绍了系统条目类型的类别，以及 Dataplex 为每个类别提供的条目类型列表：

    系统条目类型的类别 说明 Dataplex 提供的条目类型
    可重复使用的系统条目类型 您可以使用此条目类型来创建自定义条目。
    • generic
    受限的系统条目类型 这些字段专供系统使用，例如为 Google Cloud 资源。

    您无法使用这些条目类型创建条目，但可以修改条目 这些条目类型来添加可选切面。
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

您可以在特定区域位置创建自定义条目类型，也可以创建自定义条目类型， 全球性资源。系统条目类型始终是全局类型。容器的 条目类型会影响其适用范围。如需了解详情，请参阅 项目和位置限制条件。

准备工作

在管理条目和注入自定义数据源之前，请确保您已经 完成本部分中描述的任务。

所需的角色

如需获取创建和管理条目所需的权限， 请让管理员向您授予 针对资源的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需了解详情，请参阅 Dataplex IAM 角色。

启用 API

在 Dataplex 项目中启用 Dataplex API。

启用该 API

创建一个条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目组 > 自定义标签页。

  3. 点击创建。

  4. 在创建条目组窗口中，输入以下内容：

    • 可选：在显示名称字段中，输入 条目组。
    • 条目组 ID：输入条目组的唯一 ID。
    • 可选：在说明字段中，输入您对 条目组。
    • 地理位置：选择一个地理位置。您之后将无法修改位置信息 您需要创建条目组。

  5. 可选：在标签部分中，添加任意标签作为键值对 资源对：

    1. 点击添加标签。
    2. 在密钥字段中，输入一个密钥。
    3. 在值字段中，输入键的值。
    4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

  6. 点击保存。

REST

如需创建条目组，请使用 entryGroups.Create 方法。

创建条目类型

如需注入新来源，您必须创建条目类型。

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击创建。

  4. 在创建条目类型窗口中，输入以下内容：

    1. 可选：在显示名称字段中，输入 条目类型。
    2. 条目类型 ID：为您的条目类型输入一个唯一 ID。禁止的行为 请在创建条目类型后修改此名称。
    3. 可选：在说明字段中，输入您对 条目类型。
    4. 可选：在 System（系统）字段中，输入源系统。
    5. 可选：在 Platform（平台）字段中，输入要输入的平台 所属的类别。例如 Google Cloud。
    6. 在位置字段中，选择一个位置。您不能修改 位置。

  5. 可选：在类型别名部分，定义以下内容的数据类型 您的条目类型。数据类型可用于查询条目。

    1. 点击添加类型别名。
    2. 在 Type alias 字段中，选择一种数据类型。您可以添加多个 类型别名。

  6. 在必需的切面类型部分中，选择需要 是此条目类型的必填项。每个条目根据 系统将为此类型分配这些必需的切面类型。

    1. 点击选择切面类型。
    2. 在选择切面类型窗口中，选择切面类型。
    3. 点击选择。

    您无法从条目中删除必需切面。

  7. 可选：在标签部分中，添加任意标签作为键值对 资源对：

    1. 点击添加标签。
    2. 在密钥字段中，输入一个密钥。
    3. 在值字段中，输入键的值。
    4. 如需添加更多标签，请点击添加标签，然后重复上述步骤。

  8. 点击保存。

REST

如需创建条目类型，请使用 entryType.create 方法。

创建自定义条目

在创建自定义条目之前，请确保您已 创建一个条目组和一个 条目类型。

控制台

Google Cloud 控制台不支持创建自定义条目。而应使用 Google Cloud CLI 或 API.

REST

要创建自定义条目，请使用 entries.create 方法。

创建自定义条目后，您可以向该条目添加切面。对于 请参阅 向条目添加切面。

管理条目组

本部分介绍如何查看可用条目组的列表、 更新和删除条目组。

查看可用条目组的列表

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目组标签页。

    您可以访问自定义和系统条目组的列表。有关 详情请参阅条目组的类别 部分。

    在自定义标签页上，带有后缀的条目组 (Data Catalog) 是为新进入的 Data Catalog 中的映射。

  3. 如需查看所有项目中的条目组列表，请点击 自定义标签页，然后点击显示所有项目中的显示切换开关 打开位置

REST

如需查看可用条目组的列表，请使用 entryGroups.list 方法。

查看条目组的详细信息

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目组标签页。

  3. 点击要查看其详细信息的条目组。

    系统会打开条目组详情页面。您可以访问一些信息 显示名称、条目组 ID、说明、项目 ID、位置、标签 所选条目组的创建日期和上次修改日期。

  4. 如果条目组来自 Data Catalog， 用后缀 (Data Catalog) 表示，您可以在 Data Catalog 和 Dataplex Catalog 界面。如需执行此操作，请在条目组详情页面中，选择 Data Catalog 或 Dataplex Catalog。

  5. 如需查看最近创建的 10 个相关条目的列表，请执行以下操作： 点击条目示例标签页。

REST

要检索条目组的详细信息，请使用 entryGroups.get 方法。

更新条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目组 > 自定义标签页。

  3. 点击要更新的条目组。

  4. 在条目组详细信息页面上，点击修改。

  5. 根据需要修改显示名称、说明和标签。

  6. 点击保存。

REST

要更新条目组，请使用 entryGroups.patch 方法。

删除条目组

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目组 > 自定义标签页。

  3. 点击要删除的条目组。

  4. 在条目组详情页面上，点击删除。确认时间 。

REST

要删除条目组，请使用 entryGroups.delete 方法。

管理条目类型

本部分介绍如何查看可用条目组的列表、 更新和删除条目类型

查看可用条目类型的列表

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目类型标签页。

    您可以访问自定义和系统条目类型列表。有关 详情请参阅条目类型的类别 部分。

  3. 如需查看所有项目的条目类型列表，请点击 自定义标签页，然后点击显示所有项目中的显示切换开关， 打开位置

REST

如需查看可用条目类型的列表，请使用 entryTypes.list 方法。

查看条目类型的详细信息

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要查看其详细信息的条目类型。

    系统会打开条目类型详情页面。您可以访问一些信息 显示名称、条目类型 ID、说明、项目 ID、位置、平台 系统、类型别名、标签、创建日期和 条目类型。

  4. 如需查看最近创建的 10 个相关条目的列表，请执行以下操作： 点击条目示例标签页。

REST

要检索条目类型的详细信息，请使用 entryTypes.get 方法。

更新条目类型

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要更新的条目类型。

  4. 在条目类型详细信息页面上，点击修改。

  5. 修改显示名称、说明、系统、平台、类型别名， 和标签。

  6. 点击保存。

REST

要更新条目类型，请使用 entryTypes.patch 方法。

删除条目类型

控制台

  1. 在 Google Cloud 控制台中，转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要删除的条目类型。

  4. 在条目类型详细信息页面上，点击删除。确认时间 。

REST

要删除条目类型，请使用 entryTypes.delete 方法。

后续步骤