在 Dataplex Catalog 中搜索数据资产

您可以使用 Dataplex Catalog 中的搜索功能来搜索数据资产，例如 BigQuery 数据集、Cloud SQL 实例等。有关 支持的 Google Cloud 资产的 Dataplex Catalog，请参阅 支持的 Google Cloud 来源。

搜索范围

Dataplex Catalog 中的搜索结果会遵循 资源量。

例如，如果您对某个 该对象会显示在您的 Dataplex Catalog 搜索结果中 结果。如果您有权访问 BigQuery 表，但无权访问 包含该表的数据集，则该表仍会在 Dataplex Catalog 搜索。

搜索结果仅包含属于同一 VPC-SC 的资源 作为执行搜索的项目。使用 Google Cloud 控制台中，这是在 控制台。

如需详细了解 Dataplex Catalog IAM 角色，请参阅 Dataplex IAM 角色。

搜索中召回率限制

Dataplex Catalog 搜索查询不能保证完全召回。 系统可能不会返回与您的查询匹配的结果，即使在后续结果中也是如此 页面。此外，如果您重复此操作，返回（和未返回）的结果可能会有所不同 搜索查询。

日期分片表

Dataplex Catalog 将日期分片表聚合为单个 逻辑条目。此条目与表分片包含最多 近期日期。条目的访问权限级来自其所属的数据集。仅当满足以下条件时，Dataplex Catalog 搜索才会显示这些逻辑条目 有权访问包含它们的数据集。单个日期分片 数据表在 Dataplex Catalog 搜索中不可见，即使 它们存在于 Dataplex Catalog 中，可以进行标记。

过滤条件

过滤条件可用于缩小搜索结果的范围。所有过滤条件均归为一组 部分：

  • 系统，如 BigQuery、Cloud SQL 等。通过 Dataplex 系统包含自定义条目。
  • 切面（标记）列出了您可以使用的所有切面。
  • 项目列出了您可以使用的所有项目。
  • 类型别名，用于描述数据库、数据集、 模型、表、视图、服务和自定义类型。
  • 数据集，来自 BigQuery。

您可以组合多个部分中的过滤条件，以查找与以下内容匹配的素材资源： 从每个选定部分中选择至少一个条件您应用了 使用 OR 逻辑运算符求值。

例如，请参考下图中的过滤条件组合（点击图片 放大）。已选择以下搜索过滤条件：系统 BigQuery，类型别名 table 和 view、切面 My aspect type 1 和 My aspect type 2、项目 my-test-project 和数据集 test_bq_dataset.

显示多个选项的搜索过滤条件。

Dataplex Catalog 会查找以下资产：

  • test_bq_dataset 中采用切面 My aspect type 1 的 BigQuery 表
  • test_bq_dataset 中采用切面 My aspect type 2 的 BigQuery 表
  • test_bq_dataset 中采用切面 My aspect type 1 的 BigQuery 视图
  • test_bq_dataset 中采用切面 My aspect type 2 的 BigQuery 视图

按切面值过滤

利用切面过滤器，您可以查询使用特定 模板。您可以使用自定义菜单进一步优化结果和 按特定切面值过滤。切面值过滤条件取决于 该切面字段的数据类型。例如，对于 datetime 和 number 字段，您可以指定特定日期或范围。

过滤器可见性

过滤条件系统、类型别名、项目和数据集 具体取决于 Search 字段中的当前查询。

准备工作

在搜索数据资产之前，请执行以下操作。

所需的角色

Dataplex Catalog 中搜索结果的范围根据 您的角色。如需在 Dataplex Catalog 中搜索资产，您必须： 有权访问源系统中的相应资源。 如需了解详情，请参阅搜索范围部分 部分。

例如，要搜索 BigQuery 数据集、表、视图和 您需要具有这些条目的相应权限。如需更多信息 请参阅 BigQuery 权限。 以下列表介绍了所需的最低权限：

  • 如需搜索表，您需要拥有该表的 bigquery.tables.get 权限 表格。
  • 如需搜索某个数据集，您需要拥有该数据集的 bigquery.tables.get 权限 数据集。
  • 如需搜索数据集或表的元数据，您需要 BigQuery Metadata Viewer 角色 (roles/bigquery.metadataViewer)。

再举一个例子，要搜索 Cloud SQL 实例、数据库、架构 表和视图，您需要具有这些条目的相应权限。有关 请参阅 Cloud SQL 角色和权限。

如需搜索自定义条目，您需要拥有 Dataplex Catalog Viewer 角色 (roles/dataplex.catalogViewer).

如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

启用 API

启用 Dataplex API。

启用 API

搜索数据资源

控制台

如需搜索数据资产，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，转到 Dataplex 搜索页面。

    转到搜索

  2. 在选择搜索平台部分，选择 Dataplex Catalog 作为搜索模式。

    选择 Dataplex Catalog 后，您可以搜索 Dataplex Catalog 元数据存储。正在选择 Data Catalog 可用于搜索 Data Catalog （如果您是现有 Data Catalog 用户）。

  3. 在搜索字段中输入您的查询，或使用过滤条件面板 优化搜索参数。

    您可以手动添加以下过滤条件：

    • 添加项目过滤条件：在 Project 中，点击 Add project。搜索 对于特定项目，请选择该项目，然后点击打开。
    • 添加切面类型过滤器：在切面中，点击 添加更多切面类型菜单。搜索特定模板，选择 然后点击确定。

  4. 可选：除了您可以使用的资源外，您还可以搜索 通过选择 包括公共数据集。

请按照以下提示构建搜索查询：

  • 如果搜索表达式包含空格，请将其用引号括起来。例如，"search terms"。

  • 您可以在关键字前面加上 NOT，以匹配 keyword:term过滤条件。您还可以使用 AND 和 OR 布尔值运算符 来组合搜索表达式。AND、OR 和 NOT 运算符 区分大小写。

    例如，NOT column:term 会列出除匹配的列之外的所有列。 指定字词。有关可在其中使用的关键字和其他字词的列表 Dataplex Catalog 搜索表达式，请参阅 搜索语法。

gcloud

要搜索数据资产，请使用 gcloud dataplex entries search 命令。

REST

如需搜索数据资源，请使用 searchEntries 方法。

查看条目的详细信息

控制台

使用 Dataplex Catalog 搜索功能查看条目的详细信息。

  1. 在 Google Cloud 控制台中，转到 Dataplex 搜索页面。

    转到搜索

  2. 选择 Dataplex Catalog 作为搜索模式。

  3. 在搜索框中输入条目的名称。

  4. 点击相应条目。

    参评资料详情页面即会打开。该页面包含以下部分：

    • 条目详情：包括条目类型、系统、 完全限定名称、创建时间、最后修改时间、 以及管理员。
    • 概览：条目的概览（如果有）。
    • 切面：为条目定义的必需切面和可选切面。 如需了解详情，请参阅 切面的类别。

gcloud

要查看条目的详细信息，请使用 gcloud dataplex entries lookup 命令。

REST

要查看条目的详细信息，请使用 lookupEntry 方法。

后续步骤