管理条目和提取自定义来源

本文档介绍了如何创建和管理条目类型、条目组和自定义条目,以便将自定义数据源集成到 Dataplex 中。

条目表示您要为其捕获元数据的资源。条目组是包含一个或多个条目的容器,用于管理访问权限控制和区域内位置。条目类型定义了条目所需的元数据。条目类型可为自由流动且定义宽松的条目资源引入结构和规则,从而使条目可扩展。

如需将自定义数据源集成到 Dataplex,您可以使用自定义条目组下的自定义条目类型创建自定义条目。创建自定义条目涉及以下简要步骤:

  1. 创建一个条目组。
  2. 创建条目类型。
  3. 在条目组中为条目类型创建自定义条目。

条目数

条目表示您要为其捕获元数据的数据资产。每个条目都是条目类型的实例。对条目的各个切面上的每个操作都需要 符合其条目类型的相关要求。例如,当您创建 必须为条目定义的所有切面类型, 条目类型。您无法删除条目类型中标记为 required 的条目方面。

条目类别

  • 系统条目:Dataplex 会为 Google Cloud 资源(例如 BigQuery 数据集或表)创建条目。Dataplex 创建的条目称为系统条目。Dataplex 通过连续的元数据自动使系统条目保持最新状态 从受支持的 Google Cloud 系统同步。

    您无法修改系统条目自动填充的元数据(称为“必需方面”)。您只能添加或修改其他元数据 通过使用可选切面来确定系统条目。如需了解详情,请参阅方面类别

  • 自定义条目:您可以为自定义资源创建和管理的条目称为自定义条目。自定义资源是指托管在 Google Cloud 或外部(例如本地)的非 Google 服务中的资源。

条目组

条目组是一个或多个条目的容器。您可以使用条目组 管理条目的访问权限控制和区域位置。每个条目组都属于一个项目。

条目组的类别

  • 系统条目组:用于 Google Cloud 资源,即 Dataplex 会自动为每个项目中的每个系统创建条目组, 资源所在的位置例如,@bigquery 是系统条目 。

  • 自定义条目组:您为自定义资源创建的条目组。

条目类型

条目类型使用一组必需的切面类型定义此类条目的必需元数据。

您只能在条目上指定必需的方面类型,而不能在条目的列上指定。创建特定条目类型的条目时 您必须为由 条目类型。

条目类型中引用的必需切面类型必须与该条目类型属于同一项目。

条目类型的类别

  • 自定义条目类型:您创建和管理的条目类型。您可以使用 以创建自定义条目

  • 系统条目类型:Dataplex 默认提供这些条目类型。系统条目类型进一步分为可重用和 受限。

    下表介绍了系统条目类型的类别,以及 Dataplex 为每个类别提供的条目类型列表:

    系统条目类型的类别 说明 Dataplex 提供的条目类型
    可重复使用的系统条目类型 您可以使用此条目类型来创建自定义条目。
    • generic
    受限系统条目类型 这些字段保留给系统使用,例如为 Google Cloud 资源创建条目。

    您无法使用这些条目类型创建条目,但可以修改条目 这些条目类型来添加可选切面。
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

您可以在特定地区创建自定义条目类型,也可以将其作为全球资源创建。系统条目类型始终是全局的。容器的 条目类型会影响其适用范围。如需了解详情,请参阅项目和位置限制

准备工作

在管理条目和注入自定义数据源之前,请确保您已经 完成本部分中描述的任务。

所需的角色

如需获得创建和管理条目所需的权限,请让管理员向您授予资源的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需了解详情,请参阅 Dataplex IAM 角色

启用该 API

在 Dataplex 项目中启用 Dataplex API。

启用该 API

创建一个条目组

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组 > 自定义标签页。

  3. 点击创建

  4. 创建条目组窗口中,输入以下内容:

    • 可选:在显示名称字段中,输入条目组的显示名称。
    • 条目组 ID:输入条目组的唯一 ID。
    • 可选:在说明字段中,输入条目组的说明。
    • 位置:选择一个位置。创建条目组后,您将无法修改其位置。
  5. 可选:在标签部分中,为资源添加键值对形式的任意标签:

    1. 点击添加标签
    2. 密钥字段中,输入一个密钥。
    3. 字段中,输入键的值。
    4. 如需添加更多标签,请点击添加标签,然后重复上述步骤。
  6. 点击保存

REST

如需创建条目组,请使用 entryGroups.Create 方法。

创建条目类型

如需提取新来源,您必须创建条目类型。

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 的目录页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击创建

  4. 创建条目类型窗口中,输入以下内容:

    1. 可选:在显示名称字段中,输入条目类型的显示名称。
    2. 条目类型 ID:输入条目类型的唯一 ID。创建条目类型后,您将无法修改此设置。
    3. 可选:在说明字段中,输入您对 条目类型。
    4. 可选:在 System(系统)字段中,输入源系统。
    5. 可选:在平台字段中,输入此类条目所属的平台。例如 Google Cloud
    6. 位置字段中,选择一个位置。创建条目类型后,您将无法修改其位置。
  5. 可选:在类型别名部分,定义以下内容的数据类型 您的条目类型。该数据类型可用于查询条目。

    1. 点击添加类型别名
    2. Type alias 字段中,选择一种数据类型。您可以添加多个类型别名。
  6. 必需的切面类型部分中,选择需要 是此条目类型的必填项。每个条目根据 系统将为此类型分配这些必需的切面类型。

    1. 点击选择切面类型
    2. 选择切面类型窗口中,选择切面类型。
    3. 点击选择

    您无法从条目中删除必需切面。

  7. 可选:在标签部分中,为资源添加键值对形式的任意标签:

    1. 点击添加标签
    2. 密钥字段中,输入一个密钥。
    3. 字段中,输入键的值。
    4. 如需添加更多标签,请点击添加标签,然后重复上述步骤。
  8. 点击保存

REST

如需创建条目类型,请使用 entryType.create 方法。

创建自定义条目

在创建自定义条目之前,请确保您已创建条目组条目类型

控制台

Google Cloud 控制台不支持创建自定义条目。而应使用 Google Cloud CLI 或 API。

REST

要创建自定义条目,请使用 entries.create 方法。

创建自定义条目后,您可以向该条目添加切面。如需了解详情,请参阅向条目添加方面

管理条目组

本部分介绍如何查看可用条目组的列表、 更新和删除条目组。

查看可用条目组的列表

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 的目录页面。

    前往目录

  2. 点击条目组标签页。

    您可以访问自定义条目组和系统条目组的列表。如需了解详情,请参阅本文档的条目组类别部分。

    自定义标签页中,带有后缀 (Data Catalog) 的条目组是从 Data Catalog 中导入的条目组。

  3. 如需查看所有项目中的条目组列表,请点击 自定义标签页,然后点击显示所有项目中的显示切换开关 打开位置

REST

如需查看可用条目组的列表,请使用 entryGroups.list 方法。

查看条目组的详细信息

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组标签页。

  3. 点击要查看其详细信息的条目组。

    系统会打开条目组详情页面。您可以访问所选条目组的显示名称、条目组 ID、说明、项目 ID、位置、标签、创建日期和上次修改日期等信息。

  4. 如果条目组是从 Data Catalog 导入的(以后缀 (Data Catalog) 表示),您可以在 Data Catalog 和 Dataplex Catalog 界面中查看其详细信息。如需执行此操作,请在条目组详情页面中,选择 Data CatalogDataplex Catalog

  5. 如需查看最近创建的 10 个相关条目的列表,请执行以下操作: 点击条目示例标签页。

REST

要检索条目组的详细信息,请使用 entryGroups.get 方法。

更新条目组

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往“目录”

  2. 依次点击条目组 > 自定义标签页。

  3. 点击要更新的条目组。

  4. 条目组详情页面上,点击修改

  5. 根据需要修改显示名称、说明和标签。

  6. 点击保存

REST

如需更新条目组,请使用 entryGroups.patch 方法。

删除条目组

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往目录

  2. 点击条目组 > 自定义标签页。

  3. 点击要删除的条目组。

  4. 条目组详情页面上,点击删除。确认时间 。

REST

要删除条目组,请使用 entryGroups.delete 方法。

管理条目类型

本部分介绍了如何查看可用条目组列表、查看详细信息、更新和删除条目类型。

查看可用条目类型的列表

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往“目录”

  2. 点击条目类型标签页。

    您可以访问自定义和系统条目类型列表。如需了解详情,请参阅本文档的条目类型类别部分。

  3. 如需查看所有项目中的条目类型列表,请点击自定义标签页,然后将显示所有项目中的条目类型切换开关切换到开启状态。

REST

如需查看可用条目类型的列表,请使用 entryTypes.list 方法。

查看条目类型的详细信息

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 的目录页面。

    前往“目录”

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击您要查看其详细信息的条目类型。

    系统会打开条目类型详情页面。您可以访问一些信息 显示名称、条目类型 ID、说明、项目 ID、位置、平台 系统、类型别名、标签、创建日期和 所选条目类型

  4. 如需查看最近创建的 10 个相关条目列表,请点击示例条目标签页。

REST

要检索条目类型的详细信息,请使用 entryTypes.get 方法。

更新条目类型

控制台

  1. 在 Google Cloud 控制台中,转到 Dataplex Catalog 页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要更新的条目类型。

  4. 条目类型详情页面上,点击修改

  5. 根据需要修改显示名称、说明、系统、平台、类型别名和标签。

  6. 点击保存

REST

如需更新条目类型,请使用 entryTypes.patch 方法。

删除条目类型

控制台

  1. 在 Google Cloud 控制台中,前往 Dataplex 的目录页面。

    前往目录

  2. 依次点击条目类型 > 自定义标签页。

  3. 点击要删除的条目类型。

  4. 条目类型详情页面上,点击删除。在出现提示时确认。

REST

要删除条目类型,请使用 entryTypes.delete 方法。

后续步骤