Suchsyntax für Dataplex Catalog

In diesem Dokument wird die Syntax für Dataplex-Suchanfragen beschrieben. Bevor Sie dieses Dokument lesen, sollten Sie die Konzepte von Dataplex Catalog wie Dateneinträge, Aspekte, Aspekttypen, Eintragsgruppen und Eintragstypen kennen. Weitere Informationen finden Sie in der Übersicht zu Dataplex-Katalog.

Rufen Sie zum Starten einer Dataplex Catalog-Suchabfrage in der Google Cloud Console die Dataplex-Seite Suche auf und wählen Sie Dataplex Catalog als Suchmodus aus.

Zur Suche

Weitere Informationen finden Sie unter In Dataplex Catalog nach Daten-Assets suchen.

In der einfachsten Form besteht eine Dataplex Catalog-Suchabfrage aus einem einzelnen Prädikat. Ein solches Prädikat kann mit mehreren Metadaten übereinstimmen:

  • Teilstring eines Namens, eines Anzeigenamens oder einer Beschreibung eines Daten-Assets
  • Teilstring des Typs eines Daten-Assets
  • Ein Teilstring eines Spaltennamens (oder des Namens einer verschachtelten Spalte) im Schema eines Daten-Assets
  • Ein Teilstring einer Projekt-ID
  • String aus einer Übersichtsbeschreibung

Das Prädikat foo stimmt beispielsweise mit den folgenden Entitäten überein:

  • Daten-Asset mit dem Namen „foo.bar
  • Daten-Asset mit dem Anzeigenamen Foo Bar
  • Datenasset mit der Beschreibung This is the foo script
  • Daten-Asset mit dem genauen Typ „foo
  • Spalte foo_bar im Schema eines Datenassets
  • Verschachtelte Spalte foo_bar im Schema eines Datenassets
  • Projekt prod-foo-bar
  • Daten-Asset mit einer Übersicht, die das Wort „foo“ enthält

Qualifizierte Prädikate

Sie können ein Prädikat qualifizieren, indem Sie ihm einen Schlüssel voranstellen, der den Abgleich auf ein bestimmtes Metadatenelement beschränkt:

  • Ein Gleichheitszeichen (=) beschränkt die Suche auf eine genaue Übereinstimmung.
  • Ein Doppelpunkt (:) nach dem Schlüssel entspricht dem Prädikat entweder einem Teilstring oder einem Token innerhalb des Werts in den Suchergebnissen.

Die Tokenisierung teilt den Textfluss in eine Reihe von Tokens auf, wobei jedes Token in der Regel einem einzelnen Wort entspricht.

Beispiel:

  • name:foo zum Auswählen von Entitäten mit Namen, die den Teilstring foo enthalten, z. B. foo1 und barfoo.
  • description:foo wählt Entitäten mit dem Token foo in der Beschreibung aus, z. B. bar und foo.
  • location=foo gleicht Daten-Assets an einem angegebenen Standort mit foo als Standortnamen ab.

Die Prädikatsschlüssel type, system, location und orgid unterstützen nur den Qualifizierer für genaue Übereinstimmung (=), nicht den Teilstring-Qualifier (:). Beispiel: type=foo oder orgid=number.

Dataplex Catalog unterstützt die folgenden Qualifizierer:

Kennzeichner Beschreibung
name:x Führt zu Übereinstimmung von x mit einem Teilstring der Daten-Asset-ID.
displayname:x Führt zu Übereinstimmung von x mit einem Teilstring des Anzeigenamens des Daten-Assets.
column:x Stimmt mit x als Teilstring des Spaltennamens (oder des verschachtelten Spaltennamens) im Schema des Daten-Assets überein.
description:x Führt zu Übereinstimmung von x mit einem Token in der Beschreibung des Daten-Assets.
label:bar Gleicht BigQuery-Daten-Assets ab, die ein Label (mit einem gewissen Wert) haben und der Labelschlüssel bar als Teilstring hat.
label=bar Gleicht BigQuery-Daten-Assets ab, die ein Label (mit einem bestimmten Wert) haben und der Labelschlüssel gleich bar als String ist.
label:bar:x Gleicht x als Teilstring im Wert eines Labels mit dem Schlüssel bar ab, der an ein BigQuery-Daten-Asset angehängt ist.
label=foo:bar Gleicht BigQuery-Daten-Assets ab, bei denen der Schlüssel foo und der Schlüsselwert bar ist.
label.foo=bar Gleicht BigQuery-Daten-Assets ab, bei denen der Schlüssel foo und der Schlüsselwert bar ist.
label.foo Gleicht BigQuery-Daten-Assets mit einem Label ab, dessen Schlüssel foo als String ist.
type=TYPE Gleicht Daten-Assets eines bestimmten Eintragstyps oder deren Typalias ab.
projectid:bar Gleicht Daten-Assets in Google Cloud-Projekten ab, die bar als Teilstring in der ID entsprechen.
parent:x Stimmt mit x als Teilstring des hierarchischen Pfads eines Daten-Assets überein. Der übergeordnete Pfad ist ein fully_qualified_name der übergeordneten Ressource.
orgid=number Gleicht Daten-Assets in einer Google Cloud-Organisation genau mit dem ID-Wert number ab.
system=SYSTEM Gleicht Daten-Assets aus einem angegebenen System ab.
location=LOCATION

Gleicht Daten-Assets an einem angegebenen Standort mit einem genauen Namen ab. Beispielsweise werden mit location=us-central1 in Iowa gehostete Assets abgeglichen.

BigQuery Omni-Assets unterstützen diesen Qualifizierer, indem sie den BigQuery Omni-Standortnamen verwenden. location=aws-us-east-1 entspricht beispielsweise BigQuery Omni-Assets in Northern Virginia.

createtime

Damit finden Sie Daten-Assets, die innerhalb, vor oder nach einem bestimmten Datum oder einer bestimmten Uhrzeit erstellt wurden.

Beispiel:

  • createtime:2019-01-01 stimmt mit Daten-Assets überein, die am 01.01.2019 erstellt wurden.
  • createtime<2019-02 gleicht Daten-Assets ab, die vor dem 01.02.2019 erstellt wurden.
  • createtime>2019-02 gleicht Daten-Assets ab, die nach dem 01.02.2019 erstellt wurden.

Zeitstempelformat: YYYY-MM-DDThh:mm:ss

Alle Zeitstempel müssen in GMT angegeben sein. Zeitzonen werden nicht unterstützt. Es werden unvollständige Zeitstempel, Datumstrennzeichen (-) und Schrägstriche (/) unterstützt.

Beispiel:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
updatetime

Findet Daten-Assets, die innerhalb, vor oder nach einem bestimmten Datum oder einer bestimmten Uhrzeit aktualisiert wurden.

Beispiel:

  • updatetime:2019-01-01 gleicht Daten-Assets ab, die am 01.01.2019 aktualisiert wurden.
  • updatetime<2019-02 gleicht Daten-Assets ab, die vor dem 01.02.2019 aktualisiert wurden.
  • updatetime>2019-02 gleicht Daten-Assets ab, die nach dem 01.02.2019 aktualisiert wurden.

Zeitstempelformat: YYYY-MM-DDThh:mm:ss

Alle Zeitstempel müssen in GMT angegeben sein. Zeitzonen werden nicht unterstützt. Es werden unvollständige Zeitstempel, Datumstrennzeichen (-) und Schrägstriche (/) unterstützt.

Beispiel:

  • 2010-10-22T05:36:24
  • 2010-10-22T05:36
  • 2010-10-22T05
  • 2010-10-22
  • 2010-10
  • 2010
  • 2010/10/22
fully_qualified_name:x Stimmt mit x als Teilstring von fully_qualified_name überein.
fully_qualified_name=x Stimmt mit x als fully_qualified_name überein.

Verwenden Sie die folgende Abfragesyntax, um anhand der angehängten Aspekte nach Einträgen zu suchen.

Kennzeichner Beschreibung
aspect:x Stimmt mit x als Teilstring des vollständigen Pfads mit dem Aspekttyp eines Aspekts im Format projectid.location.ASPECT_TYPE_ID überein, der an den Eintrag angehängt ist.
aspect=x Stimmt mit x als vollständigen Pfad mit dem Aspekttyp eines Aspekts überein, der an den Eintrag angehängt ist, im Format projectid.location.ASPECT_TYPE_ID.
aspect:xOPERATORvalue

Sucht nach Feldwerten für Aspekte. Stimmt mit x als Teilstring des vollständigen Pfads mit dem Aspekttyp und Feldnamen eines Aspekts im Format projectid.location.ASPECT_TYPE_ID.FIELD_NAME überein, der an den Eintrag angehängt ist.

Die Liste der unterstützten Operatoren hängt vom Typ des Felds in dem Aspekt ab:

  • String: = (genau passend) und : (Teilstring)
  • Alle Zahlentypen: =, :, <, >, <=, >=, =>, =<
  • Enum: =
  • Datetime: Wie für Zahlen, die zu vergleichenden Werte werden jedoch als Datum und Uhrzeit und nicht als Zahlen behandelt
  • Boolescher Wert: =

Nur Felder der obersten Ebene des Aspekts können durchsucht werden.

Alle folgenden Abfragen stimmen beispielsweise mit Einträgen überein, bei denen der Wert des Felds is-enrolled im Aspekt employee-info den Wert true hat. Andere Einträge, die mit dem Teilstring übereinstimmen, werden ebenfalls zurückgegeben.

  • aspect:example-project.us-central1.employee-info.is-enrolled=true
  • aspect:example-project.us-central1.employee=true
  • aspect:employee=true

Logische Operatoren

Eine Abfrage kann aus mehreren Prädikaten mit logischen Operatoren bestehen. Wenn Sie keinen Operator angeben, wird das logische AND impliziert. foo bar gibt beispielsweise Entitäten zurück, die sowohl dem Prädikat foo als auch dem Prädikat bar entsprechen.

Logischer AND und logischer OR werden unterstützt. Beispiel: foo OR bar

Sie können ein Prädikat mit dem Präfix - (Bindestrich) oder NOT negieren. Beispielsweise gibt -name:foo Entitäten mit Namen zurück, die nicht mit dem Prädikat foo übereinstimmen.

Logische Operatoren unterscheiden nicht zwischen Groß- und Kleinschreibung. Beispielsweise sind sowohl or als auch OR akzeptabel.

Abgekürzte Syntax

Es ist auch eine abgekürzte Suchsyntax verfügbar, bei der | (senkrechter Strich) für OR-Operatoren und , (Komma) für AND-Operatoren verwendet werden.

Wenn Sie beispielsweise mit dem Operator OR nach Einträgen in einem von vielen Projekten suchen möchten, können Sie die folgende abgekürzte Syntax verwenden:

projectid:(id1|id2|id3|id4)

Dieselbe Suche ohne Verwendung der abgekürzten Syntax sieht so aus:

projectid:id1 OR projectid:id2 OR projectid:id3 OR projectid:id4

So suchen Sie nach Einträgen mit übereinstimmenden Spaltennamen:

  • UND: column:(name1, name2, name3)
  • ODER: column:(name1|name2|name3)

Diese abgekürzte Syntax funktioniert für die qualifizierten Prädikate mit Ausnahme von label.

Nächste Schritte