In Dataplex Catalog nach Daten-Assets suchen

Mit der Suche in Dataplex Catalog können Sie nach Daten-Assets wie BigQuery-Datasets und Cloud SQL-Instanzen suchen. Weitere Informationen zu den Google Cloud-Assets, die im Dataplex-Katalog unterstützt werden, finden Sie unter Unterstützte Google Cloud-Quellen.

Suchbereich

In den Suchergebnissen in Dataplex Catalog werden Berechtigungen berücksichtigt, die über die entsprechenden Ressourcen in den Quellsystemen.

Wenn Sie beispielsweise BigQuery-Metadaten-Lesezugriff auf ein Objekt haben, wird dieses Objekt in Ihren Dataplex Catalog-Suchergebnissen angezeigt. Wenn Sie Zugriff auf eine BigQuery-Tabelle, aber nicht auf das Dataset haben, das diese Tabelle enthält, wird die Tabelle trotzdem in der Dataplex-Katalogsuche wie erwartet angezeigt.

Die Suchergebnisse enthalten nur Ressourcen, die zum selben VPC SC-Perimeter wie das Projekt gehören, in dem die Suche ausgeführt wird. Bei Verwendung des Google Cloud Console ist das Projekt, das in der .

Wenn Sie den Umfang Ihrer Suchergebnisse über die Ressourcen im VPC Service Controls-Perimeter Ihres Projekts hinaus erweitern möchten, verwenden Sie VPC Service Controls-Ein- und Ausstiegsregeln. Diese Regeln ermöglichen einen privaten und effizienten Datenaustausch in Ihrer gesamten Organisation. Regeln für eingehenden und ausgehenden Traffic lassen sich über die Google Cloud Console oder über JSON- oder YAML-Dateien konfigurieren. Anhand des folgenden YAML-Beispiels und der Dokumentation zu VPC Service Controls können Sie die Regel an Ihre spezifischen Anforderungen anpassen.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Weitere Informationen zu IAM-Rollen für Dataplex Catalog finden Sie unter IAM-Rollen für Dataplex.

Einschränkungen bei der Suche nach Erinnerungen

Dataplex Catalog-Suchanfragen garantieren keinen vollständigen Recall. Ergebnisse, die Ihrer Abfrage entsprechen, werden möglicherweise auch auf nachfolgenden Ergebnisseiten nicht zurückgegeben. Außerdem können zurückgegebene (und nicht zurückgegebene) Ergebnisse variieren, wenn Sie Suchanfragen.

Filter

Mit Filtern können Sie die Suchergebnisse eingrenzen. Alle Filter sind in Abschnitte:

  • Systeme wie BigQuery, Cloud SQL und andere. Die Das Dataplex-System enthält benutzerdefinierte Einträge.
  • Unter Aspekte (Tags) werden alle verfügbaren Aspekte aufgeführt.
  • Unter Projekt werden alle Projekte aufgelistet, die Ihnen zur Verfügung stehen.
  • Typaliasse, die Ressourcentypen wie Datenbanken, Datasets, Modelle, Tabellen, Ansichten, Dienste und benutzerdefinierte Typen beschreiben.
  • Datasets stammen aus BigQuery.

Sie können Filter aus mehreren Abschnitten kombinieren, um Assets zu finden, die mit mindestens einer Bedingung aus jedem ausgewählten Abschnitt übereinstimmen. Mehrere Filter, die die in einem Abschnitt ausgewählt wurden, werden mit dem logischen Operator OR ausgewertet.

Betrachten Sie beispielsweise die Filterkombination im folgenden Bild (zum Vergrößern anklicken). Diese Suchfilter sind ausgewählt: Systeme BigQuery, Typaliasse table und view, Aspekte My aspect type 1 und My aspect type 2, Projekt my-test-project und Datasets test_bq_dataset

Suchfilter mit Mehrfachauswahl.

In Dataplex Catalog wird nach den folgenden Assets gesucht:

  • BigQuery-Tabellen in test_bq_dataset mit dem Aspekt My aspect type 1
  • BigQuery-Tabellen in test_bq_dataset mit dem Aspekt My aspect type 2
  • BigQuery-Ansichten in test_bq_dataset mit dem Seitenverhältnis My aspect type 1
  • BigQuery-Ansichten in test_bq_dataset mit dem Aspekt My aspect type 2

Nach Aspektwert filtern

Mit den Filtern Aspekte können Sie nach Assets suchen, die mit einer bestimmten Vorlage getaggt wurden. Über das Menü Anpassen können Sie die Ergebnisse und nach bestimmten Aspektwerten filtern. Die Filterbedingungen für Aspektwerte hängen von Datentyp dieses Aspektfelds. Sie können beispielsweise für die Felder datetime und number ein bestimmtes Datum oder einen Zeitraum angeben.

Sichtbarkeit von Filtern

Die Filter Systeme, Typaliasse, Projekt und Datasets sind wird abhängig von der aktuellen Suchanfrage im Feld Suchen angezeigt.

Hinweis

Führen Sie die folgenden Schritte aus, bevor Sie nach Datenassets suchen.

Erforderliche Rollen

In diesem Abschnitt werden die Rollen und Berechtigungen beschrieben, die für die Suche nach Daten erforderlich sind. und auf die Suchergebnisse zugreifen können.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für die Suche nach Einträgen

Um nach Einträgen zu suchen, benötigen Sie mindestens einen der Dataplex Catalog-IAM-Rollen das für die Suche verwendet wird. Berechtigungen für Suchergebnisse sind das unabhängig vom ausgewählten Projekt überprüft wird.

Erforderliche Rollen für den Zugriff auf Suchergebnisse

Der Umfang der Suchergebnisse in Dataplex Catalog richtet sich nach den Ihre Rolle. Damit Sie in Dataplex Catalog nach einem Asset suchen können, müssen Sie Berechtigungen für den Zugriff auf die entsprechende Ressource im Quellsystem haben. Weitere Informationen finden Sie im Abschnitt Umfang der Suche. in diesem Dokument.

Um beispielsweise nach BigQuery-Datasets, -Tabellen, -Ansichten und Modelle benötigen Sie entsprechende Berechtigungen für diese Einträge. Weitere Informationen Siehe BigQuery-Berechtigungen: In der folgenden Liste sind die erforderlichen Mindestberechtigungen aufgeführt:

  • Um nach einer Tabelle zu suchen, benötigen Sie die Berechtigung bigquery.tables.get dafür .
  • Zur Suche nach einem Dataset benötigen Sie die Berechtigung bigquery.datasets.get für dieses Dataset.
  • Wenn Sie nach Metadaten für ein Dataset oder eine Tabelle suchen möchten, benötigen Sie die Rolle „BigQuery-Metadatenbetrachter“ (roles/bigquery.metadataViewer).

Wenn Sie beispielsweise nach Cloud SQL-Instanzen, Datenbanken, Schemas, Tabellen und Ansichten suchen möchten, benötigen Sie entsprechende Berechtigungen für diese Einträge. Weitere Informationen finden Sie unter Cloud SQL-Rollen und ‑Berechtigungen.

Zum Suchen nach benutzerdefinierten Einträgen benötigen Sie die Rolle „ Dataplex Catalog Viewer“ (roles/dataplex.catalogViewer).

API aktivieren

Enable the Dataplex API.

Enable the API

Nach Datenassets suchen

Console

So suchen Sie nach Daten-Assets:

  1. Rufen Sie in der Google Cloud Console die Seite der Dataplex-Suche auf.

    Zur Suche

  2. Wählen Sie unter Suchplattform auswählen als Suchmodus Dataplex Catalog aus.

    Wenn Sie Dataplex Catalog auswählen, können Sie im Metadatenspeicher von Dataplex Catalog suchen. Wird ausgewählt Mit Data Catalog können Sie Ihren Data Catalog durchsuchen. Repository, wenn Sie bereits Data Catalog-Nutzer sind.

  3. Geben Sie eine Abfrage in das Suchfeld ein oder verwenden Sie den Bereich Filter, um die Suchparameter verfeinern.

    Sie können die folgenden Filter manuell hinzufügen:

    • Projektfilter hinzufügen: Klicken Sie unter Projekt auf Projekt hinzufügen. Suchen Sie nach einem bestimmten Projekt, wählen Sie es aus und klicken Sie auf Öffnen.
    • Aspekttypfilter hinzufügen: Klicken Sie unter Aspekte auf das Das Menü Weitere Aspekttypen hinzufügen. Suchen Sie nach einer bestimmten Vorlage, wählen Sie sie aus und klicken Sie auf OK.

  4. Optional: Neben den Ihnen zur Verfügung stehenden Assets können Sie auch nach die in Google Cloud öffentlich verfügbar sind, indem Sie Öffentliche Datasets einschließen.

Beachten Sie die folgenden Tipps, um eine Suchanfrage zu erstellen:

  • Setzen Sie den Suchausdruck in Anführungszeichen, wenn er Leerzeichen enthält. Beispiel: "search terms"

  • Sie können einem Schlüsselwort NOT voranstellen, um die logische Negation des Filters keyword:term zu berücksichtigen. Sie können auch die Booleschen Operatoren AND und OR verwenden, um Suchausdrücke zu kombinieren. Bei den Operatoren AND, OR und NOT wird nicht zwischen Groß- und Kleinschreibung unterschieden.

    Mit NOT column:term werden beispielsweise alle Spalten mit Ausnahme derjenigen aufgelistet, die dem angegebenen Begriff entsprechen. Eine Liste mit Suchbegriffen und anderen Begriffen, die Sie in einem Dataplex Catalog-Suchausdruck verwenden können, finden Sie unter Suchsyntax.

gcloud

Verwenden Sie den Befehl gcloud dataplex entries search, um nach Daten-Assets zu suchen.

REST

Mit der Methode searchEntries können Sie nach Daten-Assets suchen.

Details eines Eintrags ansehen

Console

Verwenden Sie die Dataplex Catalog-Suche, um die Details eines Eintrags anzusehen.

  1. Rufen Sie in der Google Cloud Console die Seite der Dataplex-Suche auf.

    Zur Suche

  2. Wählen Sie Dataplex Catalog als Suchmodus aus.

  3. Geben Sie in das Suchfeld den Namen eines Eintrags ein.

  4. Klicken Sie auf den Eintrag.

    Die Seite mit den Eintragsdetails wird geöffnet. Die Seite enthält die folgenden Abschnitte:

    • Eintragsdetails: Enthält Informationen wie Eintragstyp, System, Plattform, voll qualifizierter Name, Erstellungszeit, Zeitpunkt der letzten Änderung, die Beschreibung und die Ordner der Ordner.
    • Übersicht: Eine Übersicht über den Eintrag, falls verfügbar.
    • Aspekte: die erforderlichen und optionalen Aspekte, die für den Eintrag festgelegt wurden. Weitere Informationen finden Sie unter Kategorien von Aspekten.

gcloud

Um die Details eines Eintrags anzuzeigen, verwenden Sie den gcloud dataplex entries lookup-Befehl

REST

Verwenden Sie die Methode lookupEntry, um die Details eines Eintrags aufzurufen.

Nächste Schritte