Im Dataplex Universal Catalog nach Ressourcen suchen

In diesem Dokument wird beschrieben, wie Sie mit der Suche in Dataplex Universal Catalog nach Ressourcen wie BigQuery-Datasets, Cloud SQL-Instanzen und anderen suchen.

Dataplex Universal Catalog bietet zwei Suchmodi: die Stichwortsuche und die Suche in natürlicher Sprache (Vorabversion).

Mit der Keyword-Suche können Sie Ressourcen mithilfe bestimmter Keywords, Filter und einer definierten Syntax finden.

Bei der Suche in natürlicher Sprache wird die Keyword-Suche um die Unterstützung von Anfragen in natürlicher Sprache erweitert. Sie können Ressourcen in Alltagssprache finden, ohne dass eine komplexe Syntax erforderlich ist.

Weitere Informationen zu den Google Cloud Assets, die im Dataplex Universal Catalog unterstützt werden, finden Sie unter Unterstützte Google Cloud Quellen.

Suchbereich

Bei den Suchergebnissen in Dataplex Universal Catalog werden die Berechtigungen berücksichtigt, die Sie für die entsprechenden Ressourcen in Quellsystemen haben.

Wenn Sie beispielsweise BigQuery-Metadaten-Lesezugriff auf ein Objekt haben, wird dieses Objekt in Ihren Dataplex Universal Catalog-Suchergebnissen angezeigt. Wenn Sie Zugriff auf eine BigQuery-Tabelle, aber nicht auf das Dataset haben, das diese Tabelle enthält, wird die Tabelle trotzdem in der Dataplex Universal Catalog-Suche wie erwartet angezeigt.

Standardmäßig wird die Suche auf Ihre Organisation beschränkt. Die Ergebnisse enthalten nur Ressourcen aus derselben Organisation wie das Projekt, in dem Sie suchen.

Die Suchergebnisse enthalten nur Ressourcen, die zum selben VPC SC-Perimeter gehören wie das Projekt, unter dem die Suche durchgeführt wird. Wenn Sie dieGoogle Cloud -Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist.

Wenn Sie den Umfang Ihrer Suchergebnisse über die Ressourcen innerhalb des VPC Service Controls-Perimeters Ihres Projekts hinaus erweitern möchten, verwenden Sie VPC Service Controls-Regeln für ein- und ausgehenden Traffic. Diese Regeln erleichtern den privaten und effizienten Datenaustausch in Ihrer Organisation. Sie können Regeln für eingehenden und ausgehenden Traffic über dieGoogle Cloud -Konsole oder über JSON- oder YAML-Dateien konfigurieren. Sehen Sie sich das folgende YAML-Beispiel an und lesen Sie die Dokumentation zu VPC Service Controls, um die Regel an Ihre spezifischen Anforderungen anzupassen.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Weitere Informationen zu den Identity and Access Management-Rollen, die Sie für die Suche in Dataplex Universal Catalog benötigen, finden Sie unter Dataplex Universal Catalog-IAM-Rollen.

Suchergebnisse mithilfe von VPC Service Controls nach Umgebung isolieren

Wenn Sie die Suchergebnisse des Dataplex Universal Catalog zwischen Umgebungen wie Entwicklung, Test und Produktion isolieren möchten, konfigurieren Sie separate VPC Service Controls-Perimeter für jede Umgebung. Weisen Sie sowohl die Projekte mit den Daten-Assets als auch die Projekte, die für die Suche verwendet werden, dem Perimeter der entsprechenden Umgebung zu. Bei Suchanfragen, die über ein Projekt innerhalb eines bestimmten Perimeters ausgeführt werden, werden nur Ergebnisse für Assets zurückgegeben, die sich ebenfalls innerhalb dieses Perimeters befinden.

Einschränkungen beim Abrufen von Informationen in der Suche

Dataplex Universal Catalog-Suchanfragen garantieren keine vollständige Trefferquote. Ergebnisse, die Ihrer Anfrage entsprechen, werden möglicherweise nicht zurückgegeben. Außerdem können die zurückgegebenen (und nicht zurückgegebenen) Ergebnisse variieren, wenn Sie Suchanfragen wiederholen.

Wenn Sie alle Metadaten des Dataplex Universal Catalog abfragen möchten, können Sie die Metadaten in Cloud Storage exportieren und dann in BigQuery abfragen. Weitere Informationen finden Sie unter Metadaten exportieren.

Filter

Mit Filtern können Sie die Suchergebnisse eingrenzen. Filter sind sowohl bei der Keyword- als auch bei der Suche in natürlicher Sprache verfügbar. Die verfügbaren Optionen können sich jedoch je nach Modus leicht unterscheiden.

Wenn Sie Filter in mehreren Abschnitten angeben, werden sie mit dem logischen Operator AND ausgewertet. Die Suchergebnisse enthalten Ressourcen, die mindestens einer Bedingung aus jedem ausgewählten Abschnitt entsprechen. Wenn Sie beispielsweise das BigQuery-System und den Ressourcentyp „Dataset“ auswählen, enthalten die Suchergebnisse BigQuery-Datasets, aber keine Vertex AI-Datasets.

Wenn Sie mehrere Filter in einem Abschnitt auswählen, werden sie mit dem logischen Operator OR ausgewertet. Wenn Sie beispielsweise den Ressourcentyp „Dataset“ und den Ressourcentyp „Tabelle“ auswählen, enthalten die Suchergebnisse sowohl Datasets als auch Tabellen.

Suchfilter für Keywords

Bei der Keyword-Suche werden Filter in die folgenden Abschnitte unterteilt:

  • Systeme wie BigQuery und Cloud SQL. Das Dataplex Universal Catalog-System enthält benutzerdefinierte Einträge.
  • Unter Aspekte (Tags) werden alle verfügbaren Aspekte aufgelistet.
  • Unter Projekt werden alle verfügbaren Projekte aufgelistet.
  • Typaliase beschreiben Ressourcentypen wie Datenbanken, Datasets, Modelle, Tabellen, Ansichten, Dienste und benutzerdefinierte Typen.
  • Datasets stammen aus BigQuery.

Nach Aspektwert filtern

Mit den Filtern unter Aspekte können Sie nach Assets suchen, die mit einer bestimmten Vorlage getaggt wurden. Über das Menü Anpassen können Sie die Ergebnisse weiter eingrenzen und nach bestimmten Aspektwerten filtern. Die Filterbedingungen für Aspektwerte hängen vom Datentyp des entsprechenden Aspektfelds ab. Für die Felder datetime und number können Sie beispielsweise ein bestimmtes Datum oder einen Zeitraum angeben.

Sichtbarkeit von Filtern

Die Filter Systeme, Typ-Aliase, Projekt und Datasets werden je nach aktueller Abfrage im Feld Suche angezeigt.

Filter für die Suche in natürlicher Sprache

Für die Suche in natürlicher Sprache sind die folgenden Filter verfügbar:

  • Bereich: Sie können in der gesamten Organisation (Standard), im aktuellen Projekt oder nur nach mit Sternchen markierten Ressourcen suchen. Weitere Informationen finden Sie im Abschnitt Suchbereich in diesem Dokument.
  • Systeme: Der Google Cloud Dienst, zu dem die Ressource gehört, z. B. BigQuery. Das Dataplex Universal Catalog-System enthält Eintragsgruppen.
  • Projekte: die Projekte, in denen gesucht werden soll.
  • Typ: Der Ressourcentyp, z. B. BigQuery-Verbindung, Cloud Storage-Bucket oder Datenbank. Je nach Ressourcentyp können Sie auch nach Untertyp filtern, z. B. nach Verbindungstyp oder SQL-Dialekt.
  • Standorte auswählen: die Standorte, an denen gesucht werden soll.
  • Datasets auswählen: Die Suchergebnisse sind auf BigQuery-Ressourcen beschränkt, die zu den ausgewählten BigQuery-Datasets gehören. Geben Sie im Feld Zum Filtern eingeben den Namen des Datasets ein.
  • Aspekttypen: Die Aspekttypen von Dataplex Universal Catalog, die der Ressource zugeordnet sind, nach der Sie suchen. Wenn Sie nach Aspektwerten filtern möchten, klicken Sie auf Nach Annotationswerten filtern und wählen Sie die Werte aus.

Hinweise

Bevor Sie die Suche ausführen, müssen Sie sicherstellen, dass Ihnen die erforderlichen Rollen zugewiesen wurden und die erforderliche API aktiviert ist.

Erforderliche Rollen

In diesem Abschnitt werden die Rollen und Berechtigungen beschrieben, die zum Suchen nach Ressourcen und zum Zugreifen auf die Suchergebnisse erforderlich sind.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für die Suche nach Einträgen

Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird: Dataplex Catalog-Administrator, Dataplex Catalog-Bearbeiter oder Dataplex Catalog-Betrachter. Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft.

Erforderliche Rollen für den Zugriff auf Suchergebnisse

Die Suchergebnisse in Dataplex Universal Catalog sind nach Ihrer Rolle aufgeschlüsselt. Wenn Sie in Dataplex Universal Catalog nach einem Asset suchen möchten, benötigen Sie die Berechtigungen für den Zugriff auf die entsprechende Ressource im Quellsystem. Weitere Informationen finden Sie im Abschnitt Suchbereich in diesem Dokument.

Wenn Sie beispielsweise nach BigQuery-Datasets, -Tabellen, -Ansichten und -Modellen suchen möchten, benötigen Sie die entsprechenden Berechtigungen für diese Einträge. Weitere Informationen finden Sie unter BigQuery-Berechtigungen.

In der folgenden Liste werden die erforderlichen Mindestberechtigungen beschrieben:

  • Zum Suchen nach einer Tabelle benötigen Sie die bigquery.tables.get-Berechtigung für diese Tabelle.
  • Zur Suche nach einem Dataset benötigen Sie die Berechtigung bigquery.datasets.get für dieses Dataset.
  • Wenn Sie nach Metadaten für ein Dataset oder eine Tabelle suchen möchten, benötigen Sie die Rolle „BigQuery-Metadaten-Betrachter“ (roles/bigquery.metadataViewer).

Wenn Sie beispielsweise nach Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen und Ansichten suchen möchten, benötigen Sie die entsprechenden Berechtigungen für diese Einträge. Weitere Informationen finden Sie unter Cloud SQL-Rollen und -Berechtigungen.

Wenn Sie nach benutzerdefinierten Einträgen suchen möchten, benötigen Sie die Rolle „Dataplex Catalog Viewer“ (roles/dataplex.catalogViewer).

API aktivieren

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Nach Ressourcen suchen

Konsole

So suchen Sie nach Ressourcen:

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Suche auf.

    Zur Suche

  2. Wählen Sie unter Suchplattform auswählen die Option Dataplex Universal Catalog aus.

    Wenn Sie Dataplex Universal Catalog auswählen, können Sie im Dataplex Universal Catalog-Metadatenspeicher suchen. Wenn Sie Data Catalog auswählen, können Sie Ihr Data Catalog-Repository durchsuchen, sofern Sie bereits Data Catalog-Nutzer sind.

  3. So verwenden Sie die Keyword-Suche:

    1. Geben Sie im Feld Ressourcen projektübergreifend suchen Ihre Anfrage ein.

    2. Verwenden Sie zum Verfeinern der Suche den Bereich Filter. Eine Liste der verfügbaren Filter finden Sie unter Filter für die Suche mit Suchbegriffen.

      Sie können die folgenden Filter manuell hinzufügen:

      • Projektfilter hinzufügen: Klicken Sie unter Projekt auf Projekt hinzufügen. Suchen Sie nach einem bestimmten Projekt, wählen Sie es aus und klicken Sie auf Öffnen.
      • Filter für Aspekttypen hinzufügen: Klicken Sie unter Aspekte auf das Menü Weitere Aspekttypen hinzufügen. Suchen Sie nach einer bestimmten Vorlage, wählen Sie sie aus und klicken Sie dann auf OK.

    3. Optional: Zusätzlich zu den verfügbaren Assets können Sie nach Ressourcen suchen, die in Google Cloud öffentlich verfügbar sind. Wählen Sie dazu Öffentliche Datasets einschließen aus.

      Hier einige Tipps zum Erstellen einer Suchanfrage:

      • Setzen Sie den Suchausdruck in Anführungszeichen, wenn er Leerzeichen enthält. Beispiel: "search terms"
      • Stellen Sie einem Keyword NOT voran, um die logische Negation des Filters keyword:term zu berücksichtigen. Sie können auch die booleschen Operatoren AND und OR verwenden, um Suchausdrücke zu kombinieren. Bei den Operatoren AND, OR und NOT wird nicht zwischen Groß- und Kleinschreibung unterschieden.

      Beispiel: NOT column:term listet alle Spalten mit Ausnahme derjenigen auf, die dem angegebenen Begriff entsprechen. Eine Liste mit Suchbegriffen und anderen Begriffen, die Sie in einem Dataplex Universal Catalog-Suchausdruck verwenden können, finden Sie unter Suchsyntax.

  4. So verwenden Sie die Suche in natürlicher Sprache:

    1. Klicken Sie auf Suche in natürlicher Sprache ausprobieren.

    2. Geben Sie im Feld Mit der Suche in natürlicher Sprache projektübergreifend nach Ressourcen suchen Ihre Anfrage in natürlicher Sprache ein und drücken Sie dann die Eingabetaste.

      Hier einige Beispielabfragen:

      • Show me the datasets that contain taxi information
      • Find data on vaccine distribution across different countries
      • Get tables with historical temperature data for major world cities
      • Search for hurricane tracking and storm activity datasets
      • Population data by country

    3. Klicken Sie auf Filter, um die Suche einzugrenzen. Eine Liste der verfügbaren Filter finden Sie unter Filter für die Suche in natürlicher Sprache.

  5. Wenn Sie weitere Informationen zur gesuchten Ressource aufrufen möchten, klicken Sie in den Suchergebnissen auf den Ressourcennamen. Dadurch wird die Seite mit den Eintragsdetails geöffnet.

gcloud

Verwenden Sie den Befehl gcloud dataplex entries search, um nach Ressourcen zu suchen.

REST

Verwenden Sie die Methode searchEntries, um nach Ressourcen zu suchen.

Details eines Eintrags ansehen

Konsole

Verwenden Sie die Dataplex Universal Catalog-Suche, um die Details eines Eintrags aufzurufen.

  1. Nach einem Eintrag suchen in Dataplex Universal Catalog

  2. Klicken Sie in den Suchergebnissen auf den Eintrag, dessen Details Sie aufrufen möchten.

    Die Seite mit den Details zum Eintrag wird geöffnet. Die Seite enthält die folgenden Abschnitte:

    • Eintragdetails: Dazu gehören Informationen wie der Eintragstyp, das System, die Plattform, der vollständig qualifizierte Name, die Erstellungszeit, die Zeit der letzten Änderung, die Beschreibung und die Verantwortlichen.
    • Übersicht: Eine Übersicht über den Eintrag, sofern verfügbar.
    • Aspekte: Die erforderlichen und optionalen Aspekte, die für den Eintrag definiert sind. Weitere Informationen finden Sie unter Kategorien von Aspekten.

gcloud

Wenn Sie die Details eines Eintrags aufrufen möchten, verwenden Sie den Befehl gcloud dataplex entries lookup.

REST

Verwenden Sie die Methode lookupEntry, um die Details eines Eintrags aufzurufen.

Beschränkungen

Die Suche in Alltagssprache hat folgende Einschränkungen:

  • Die Suche in natürlicher Sprache ist für die Suche und Erkundung optimiert, indem nur eine begrenzte Anzahl der relevantesten Ergebnisse zurückgegeben wird. Es wird möglicherweise keine vollständige Liste aller übereinstimmenden Elemente bereitgestellt und ist daher möglicherweise nicht für Arbeitslasten geeignet, die davon abhängen, z. B. Kuratierungspipelines.

  • Bei der Suche in Alltagssprache werden nur die Ressourcenmetadaten berücksichtigt, einschließlich Schemas, Beschreibungen und Aspekte. Es werden keine Fragen zu den Daten in den Tabellen beantwortet (z. B. „Wie hoch war der Umsatz im letzten Monat?“) und keine Analyseabfragen für die Metadaten ausgeführt (z. B. „Wie viele Tabellen sind im Dataset X enthalten?“).

  • Öffentliche Ressourcen fallen nicht in den Bereich der Suche in natürlicher Sprache.

Nächste Schritte