Dataplex Catalog 的搜索语法

本文档介绍了 Dataplex 搜索查询的语法。之前 在阅读本文档时,您有必要了解 Dataplex Catalog,例如数据条目、切面、切面类型 条目组和条目类型。如需了解详情,请参阅 Dataplex Catalog 概览

如需在 Google Cloud 控制台中启动 Dataplex Catalog 搜索查询,请前往 Dataplex 搜索页面,然后选择 Dataplex Catalog 作为搜索模式。

转到搜索

如需了解详情,请参阅在 Dataplex Catalog 中搜索数据资产

形式最简单的 Dataplex Catalog 搜索查询由单个谓词组成。这些谓词可以匹配多个元数据:

  • 数据资源的名称、显示名或说明
  • 数据资产类型的子字符串
  • 数据资源架构中的列名称(或嵌套列名称)的子字符串
  • 项目 ID 的子字符串
  • 概览说明中的字符串

例如,谓词 foo 与以下实体匹配:

  • 名称为 foo.bar 的数据资源
  • 显示名称为 Foo Bar 的数据资源
  • 使用 This is the foo script 说明的数据资源
  • 使用确切 foo 类型的数据资源
  • 数据资源架构中的 foo_bar
  • 数据资源架构中的嵌套列 foo_bar
  • 项目 prod-foo-bar
  • 概览包含字词“foo”的数据资源

限定谓词

您可以在谓词前面加上一个键来限定谓词, 与特定元数据片段匹配:

  • 等号 (=) 将搜索限制为完全匹配。
  • 键后面的冒号 (:) 将谓词与搜索结果中的值中的子字符串或词法单元匹配。

词元化将文本流拆分为一系列词元, 通常对应于单个字词。

例如:

  • name:foo 选择名称中包含 foo 子字符串的实体,例如 foo1barfoo
  • description:foo 选择说明中包含 foo 词元的实体, 例如barfoo
  • location=foo 会匹配指定位置中的数据资产,并将 foo 作为 地理位置名称。

谓词键 typesystemlocationorgid 仅支持 完全匹配 (=) 限定符,而不是子字符串限定符 (:)。例如: type=fooorgid=number

Dataplex Catalog 支持以下限定符:

限定符 说明
name:x x 作为子字符串与数据资源 ID 匹配。
displayname:x x 作为子字符串与数据资源显示名称匹配。
column:x x 作为子字符串与数据资源架构中的列名称(或嵌套列名称)匹配。
description:x x 作为令牌与数据资源说明匹配。
label:bar 匹配具有标签(带有某个值)且标签键中含有 bar 这个子字符串的 BigQuery 数据资源。
label=bar 匹配带有标签的 BigQuery 数据资源( 某个值),标签键等于字符串形式的 bar
label:bar:x 将标签值中的 x 作为子字符串与 键 bar 已附加到 BigQuery 数据资产。
label=foo:bar 匹配键等于的 BigQuery 数据资源 foo,且键值等于 bar
label.foo=bar 匹配键为 foo 且键值为 bar 的 BigQuery 数据资源。
label.foo 匹配带有以下标签的 BigQuery 数据资产: 键等于字符串的 foo
type=TYPE 匹配特定条目类型或其类型别名的相关数据资产。
projectid:bar 匹配 Google Cloud 项目中的数据资源,这些 Google Cloud 项目的 ID 中有 bar 这一子字符串。
parent:x 匹配 x 作为层次结构路径的子字符串 数据资产。父级路径是父级资源的 fully_qualified_name
orgid=number 匹配确切 ID 值为 number 的 Google Cloud 组织内的数据资源。
system=SYSTEM 匹配来自指定系统的数据资产。
location=LOCATION

匹配指定位置中具有确切名称的数据资源。 例如,location=us-central1 与托管的资源一致 我来自爱荷华州

BigQuery Omni 素材资源通过使用 BigQuery Omni 位置名称来支持此限定符。 例如: location=aws-us-east-1 与 BigQuery Omni 匹配 资产。

createtime

查找在特定日期之前、之后或之后创建的数据资产 日期或时间。

例如:

  • createtime:2019-01-01”会匹配创建的数据资产 2019 年 1 月 1 日。
  • createtime<2019-02 与创建的数据资产匹配 在 2019-02-01T00:00:00 之前。
  • createtime>2019-02 匹配在 2019-02-01T00:00:00 之后创建的数据资源。

时间戳格式:YYYY-MM-DDThh:mm:ss

所有时间戳都必须采用格林尼治标准时间;时区。支持部分时间戳、英文短划线 (-) 日期分隔符和英文斜线 (/) 日期分隔符。

例如:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
updatetime

查找在指定日期内、之前或之后更新的数据资产 日期或时间。

例如:

  • updatetime:2019-01-01”与更新的数据资产一致 2019 年 1 月 1 日。
  • updatetime<2019-02与已更新的数据资产匹配 在 2019-02-01T00:00:00 之前。
  • updatetime>2019-02与已更新的数据资产匹配 在 2019-02-01T00:00:00 之后。

时间戳格式:YYYY-MM-DDThh:mm:ss

所有时间戳都必须采用格林尼治标准时间;时区。支持部分时间戳、英文短划线 (-) 日期分隔符和英文斜线 (/) 日期分隔符。

例如:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
fully_qualified_name:x x 作为 fully_qualified_name 的子字符串匹配。
fully_qualified_name=x x 匹配为 fully_qualified_name

如需根据附加的方面搜索条目,请使用以下查询语法。

限定符 说明
aspect:x x 作为附加到条目的相应方面类型的完整路径的子字符串进行匹配,格式为 projectid.location.ASPECT_TYPE_ID
aspect=x x 匹配为指向附加到条目的方面类型的完整路径,格式为 projectid.location.ASPECT_TYPE_ID
aspect:xOPERATORvalue

搜索切面字段值。将 x 作为子字符串匹配 切面类型的完整路径以及要 附加到条目上,格式为 projectid.location.ASPECT_TYPE_ID.FIELD_NAME

支持的运算符列表取决于 如下所示:

  • 字符串=(完全匹配)和 :(子字符串)
  • 所有数字类型=:<><=>==>=<
  • 枚举=
  • 日期时间:与数字相同,但要比较的值 被视为日期时间,而非数字
  • 布尔值=

只有相应方面中的顶级字段可供搜索。

例如,以下所有查询都与值为 (位于 employee-infois-enrolled 字段内) 切面为 true。与子字符串匹配的其他条目 也会被返回

  • aspect:example-project.us-central1.employee-info.is-enrolled=true
  • aspect:example-project.us-central1.employee=true
  • aspect:employee=true

逻辑运算符

查询可以由若干谓词和逻辑运算符组成。如果您未指定运算符,则意味着使用隐含的逻辑 AND。例如,foo bar 返回同时匹配谓词 foo 和谓词 bar 的实体。

支持逻辑 AND 和逻辑 OR。例如 foo OR bar

您可以使用 -(短划线)或 NOT 前缀来排除谓词。例如: -name:foo 返回名称与谓词 foo 不匹配的实体。

逻辑运算符不区分大小写。例如,orOR 都是 可接受的值。

缩写语法

您还可以使用缩写搜索语法,用 |(竖线)代替 OR 运算符,用 ,(英文逗号)代替 AND 运算符。

例如,如需使用 OR 搜索多个项目中的一个项目中的条目,请执行以下操作: 运算符,则可以使用以下缩写语法:

projectid:(id1|id2|id3|id4)

不使用缩写语法进行相同搜索时,搜索内容如下所示:

projectid:id1 OR projectid:id2 OR projectid:id3 OR projectid:id4

如需搜索具有匹配列名称的条目,请使用以下命令:

  • ANDcolumn:(name1, name2, name3)
  • ORcolumn:(name1|name2|name3)

此缩写语法适用于限定谓词,但 label 除外。

后续步骤