在 Dataplex Catalog 中搜索数据资产

您可以使用 Dataplex Catalog 中的搜索功能搜索数据资产，例如 BigQuery 数据集、Cloud SQL 实例等。如需详细了解 Dataplex Catalog 中支持的 Google Cloud 资产，请参阅受支持的 Google Cloud 来源。

搜索范围

Dataplex Catalog 中的搜索结果会遵循您对源系统中相应资源的权限。

例如，如果您对某个 该对象会显示在您的 Dataplex Catalog 搜索结果中 结果。如果您有权访问 BigQuery 表，但无权访问该表所属的数据集，则表仍会按预期方式显示在 Dataplex Catalog 搜索中。

搜索结果仅包含属于同一 VPC-SC 的资源 作为执行搜索的项目。如果使用 Google Cloud 控制台，则是控制台中选择的项目。

如需将搜索结果范围扩大到项目 VPC Service Controls 边界内的资源之外，请使用 VPC Service Controls 入站流量和出站流量规则。这些规则可在您的组织内促进数据交换，确保信息私密且高效。您可以使用 Google Cloud 控制台或通过 JSON 或 YAML 文件配置入站和出站规则。请参阅以下 YAML 示例并参阅 VPC Service Controls 文档，根据您的具体要求量身定制规则。

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

如需详细了解 Dataplex Catalog IAM 角色，请参阅 Dataplex IAM 角色。

搜索中召回率限制

Dataplex Catalog 搜索查询并不能保证完全召回。 系统可能不会返回与您的查询匹配的结果，即使在后续的结果页中也是如此。此外，如果您重复搜索查询，返回（和未返回）的结果可能会有所不同。

过滤条件

借助过滤条件，您可以缩小搜索结果的范围。所有过滤条件分组为各个部分：

  • 系统，如 BigQuery、Cloud SQL 等。通过 Dataplex 系统包含自定义条目。
  • 切面（标记）列出了您可以使用的所有切面。
  • 项目，列出您可以使用的所有项目。
  • 类型别名，用于描述数据库、数据集、 模型、表、视图、服务和自定义类型。
  • 数据集，来自 BigQuery。

您可以组合使用多个部分中的过滤条件，以查找与所选每个部分中的至少一个条件匹配的素材资源。系统会使用 OR 逻辑运算符来评估单个部分中选择的多个过滤条件。

例如，请考虑下图中的过滤条件组合（点击图片可放大）。选择了以下搜索过滤条件：系统 BigQuery、类型别名 table 和 view、方面 My aspect type 1 和 My aspect type 2、项目 my-test-project 和数据集 test_bq_dataset。

显示多个选项的搜索过滤条件。

Dataplex Catalog 会查找以下资产：

  • test_bq_dataset 中采用切面 My aspect type 1 的 BigQuery 表
  • test_bq_dataset 中采用切面 My aspect type 2 的 BigQuery 表
  • test_bq_dataset 中宽高比为 My aspect type 1 的 BigQuery 视图
  • test_bq_dataset 中宽高比为 My aspect type 2 的 BigQuery 视图

按切面值过滤

借助方面过滤条件，您可以查询使用特定模板标记的资源。您可以使用自定义菜单进一步优化结果，并按特定的方面值进行过滤。切面值过滤条件取决于 该切面字段的数据类型。例如，对于 datetime 和 number 字段，您可以指定特定日期或范围。

过滤条件的公开范围

系统会根据搜索字段中的当前查询显示系统、类型别名、项目和数据集过滤条件。

准备工作

在搜索数据资产之前，请执行以下操作。

所需的角色

本部分介绍了搜索数据资产和访问搜索结果所需的角色和权限。

如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

搜索条目所需的角色

如需搜索条目，您需要在用于搜索的项目中至少拥有一个 Dataplex Catalog IAM 角色。搜索结果权限为 与所选项目分开检查

访问搜索结果所需的角色

Dataplex Catalog 中搜索结果的范围根据 您的角色。若要在 Dataplex Catalog 中搜索资产，您必须拥有访问源系统中相应资源的权限。如需了解详情，请参阅搜索范围部分 部分。

例如，如需搜索 BigQuery 数据集、表、视图和模型，您需要拥有对这些条目的相应权限。如需更多信息 请参阅 BigQuery 权限。 以下列表介绍了所需的最低权限：

  • 如需搜索表，您需要拥有该表的 bigquery.tables.get 权限。
  • 如需搜索数据集，您需要拥有该数据集的 bigquery.datasets.get 权限。
  • 如需搜索数据集或表的元数据，您需要具有 BigQuery Metadata Viewer 角色 (roles/bigquery.metadataViewer)。

再举一个例子，要搜索 Cloud SQL 实例、数据库、架构 表和视图，您需要具有这些条目的相应权限。如需了解详情，请参阅 Cloud SQL 角色和权限。

如需搜索自定义条目，您需要拥有 Dataplex Catalog Viewer 角色 (roles/dataplex.catalogViewer).

启用该 API

Enable the Dataplex API.

Enable the API

搜索数据资源

控制台

如需搜索数据资产，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，转到 Dataplex 搜索页面。

    转到搜索

  2. 在选择搜索平台中，选择 Dataplex Catalog 作为搜索模式。

    选择 Dataplex Catalog 可在 Dataplex Catalog 元数据存储空间中进行搜索。如果您是现有 Data Catalog 用户，则可以选择 Data Catalog 来搜索 Data Catalog 代码库。

  3. 在搜索字段中输入您的查询，或使用过滤条件面板 优化搜索参数。

    您可以手动添加以下过滤条件：

    • 添加项目过滤条件：在 Project 中，点击 Add project。搜索 对于特定项目，请选择该项目，然后点击打开。
    • 添加切面类型过滤器：在切面中，点击 添加更多切面类型菜单。搜索特定模板，选择 然后点击确定。

  4. 可选：除了您可以使用的资源外，您还可以搜索 通过选择 包括公共数据集。

请按照以下提示构建搜索查询：

  • 如果搜索表达式包含空格，请将其用引号括起来。例如，"search terms"。

  • 您可以在关键字前面加上 NOT，以匹配 keyword:term 过滤条件的逻辑否定。您还可以使用 AND 和 OR 布尔值运算符 来组合搜索表达式。AND、OR 和 NOT 运算符不区分大小写。

    例如，NOT column:term 会列出除匹配的列之外的所有列。 指定字词。如需查看可在 Dataplex Catalog 搜索表达式中使用的关键字和其他字词的列表，请参阅搜索语法。

gcloud

如需搜索数据资产，请使用 gcloud dataplex entries search 命令。

REST

如需搜索数据资产，请使用 searchEntries 方法。

查看条目的详细信息

控制台

使用 Dataplex Catalog 搜索功能查看条目的详细信息。

  1. 在 Google Cloud 控制台中，转到 Dataplex 搜索页面。

    转到搜索

  2. 选择 Dataplex Catalog 作为搜索模式。

  3. 在搜索框中输入条目的名称。

  4. 点击相应条目。

    系统会打开条目详情页面。该页面包含以下部分：

    • 条目详情：包括条目类型、系统、 完全限定名称、创建时间、最后修改时间、 以及管理员。
    • 概览：条目的概览（如果有）。
    • 切面：为条目定义的必需切面和可选切面。 如需了解详情，请参阅方面类别。

gcloud

要查看条目的详细信息，请使用 gcloud dataplex entries lookup 命令。

REST

要查看条目的详细信息，请使用 lookupEntry 方法。

后续步骤