使用 Data Catalog 管理数据资源

Data Catalog 是 Dataplex 的一项功能，可自动对 Bigtable 资源的元数据编目。此功能可帮助您的组织搜索和管理 Bigtable 数据资源。

以下 Bigtable 资源的元数据会自动从 Bigtable 同步到 Data Catalog：

  • 实例
  • 集群
  • 表，包括列族详细信息

Data Catalog 是 Dataplex 中的全代管式元数据管理服务。它可让您集中查看技术元数据和业务元数据，还为这些元数据提供了标记机制。如需详细了解 Data Catalog 以及为什么要使用 Data Catalog，请参阅什么是 Data Catalog。

将 Data Catalog 与 Bigtable 搭配使用的优势

数据的 Data Catalog 信息可协助分析、数据重复使用、应用开发和数据管理。

您可以按资源名称或详细信息在 Data Catalog 中搜索条目。例如，您可以搜索实例名称来查找实例的条目，或搜索列族以查找表的条目。您还可以使用分面搜索，应用过滤条件来缩小搜索范围。如需了解详情，请参阅使用 Data Catalog 搜索和查看数据资源。

标记数据资源可帮助您了解 Bigtable 表中可用的数据并对其进行编目，从而使数据更容易被其他 Data Catalog 用户发现和搜索，并可纳入更大的数据资产中。您可以使用标记将自己的元数据添加到编目的元数据，然后可以使用这些标记执行搜索。

开始使用 Data Catalog

如需开始使用 Data Catalog 管理 Bigtable 数据资源，请完成以下任务：

  1. 如果您刚接触 Data Catalog，请启用 API。

  2. 向需要访问 Data Catalog 中的 Bigtable 条目的主账号授予 IAM 角色。

  3. 查看如何使用 Data Catalog 进行搜索，了解如何搜索数据资源。

  4. 查看 Data Catalog 搜索语法，了解如何查找元数据。

  5. 查看标记和标记模板中关于标记 Data Catalog 条目的概念。

搜索 Bigtable 元数据的方法

您可以使用 Data Catalog 来搜索已同步的 Bigtable 元数据。

除了标准限定符之外，您还可以使用以下内容搜索 Bigtable 资源：

  • 实例

    • Bigtable 实例名称
    • Bigtable 实例 ID
    • 集群位置
    • 集群 ID

  • 表

    • 表 ID
    • 列族名称
    • Bigtable 实例名称
    • Bigtable 实例 ID

所需的角色

在 Data Catalog 中查看、标记和搜索 Bigtable 资源需要不同的权限。通常，您应该向组织中的主账号授予完成任务所需的最低权限角色。

查看公开和非公开标记所需的权限

如需获得查看 Bigtable 资源的公开和非公开标记所需的权限，请让您的管理员授予您以下 IAM 角色：

这些预定义角色包含查看公开和非公开标记所需的权限。所需的确切权限如下：

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

搜索 Bigtable 资源所需的权限

如需获得在 Data Catalog 中搜索 Bigtable 资源所需的权限，请让您的管理员授予您以下 IAM 角色：

这些预定义角色包含搜索 Bigtable 资源所需的权限。所需的确切权限如下：

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

将标记附加到 Bigtable 资源所需的权限

如需获得在 Data Catalog 中将标记附加到 Bigtable 资源所需的权限，请让您的管理员授予您以下 IAM 角色：

这些预定义角色包含添加公开和非公开标记所需的权限。所需的确切权限如下：

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

（可选）创建自定义角色

您可以创建自定义角色，并向需要跨项目或组织完整访问 Data Catalog 中所有 Bigtable 元数据的用户授予这些角色。然后，您可以将任何需要访问权限的用户或服务账号设为该自定义角色的主账号。如需详细了解自定义角色，请参阅角色和权限。

为角色选择一个有意义的名称（例如 Bigtable Data Catalog Editor），然后仅将需要相应权限的主账号分配给角色。如需了解设置说明，请参阅创建自定义角色。

向自定义角色授予以下权限：

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

如需详细了解 Data Catalog 权限，请参阅搜索 Google Cloud 资源所需的角色。如需详细了解 Bigtable 权限，请参阅权限。

已知限制条件

以下部分列出了在使用 Data Catalog 管理 Bigtable 元数据之前必须注意的一些限制。

位置限制条件

如果贵组织设置了位置限制，Bigtable 资源的元数据条目可能无法同步到 Data Catalog。在强制执行位置约束条件之前创建的所有条目都将由 Data Catalog 保留。

如需允许 Data Catalog 加载资源，我们建议在位置政策中添加 global 多区域。

列族名称异常

如果请求中的列族名称包含英文句号 (.)，Data Catalog API 会拒绝该请求。例如，如果列族名称为 personal.info。

后续步骤