Ressourcen mit Data Catalog verwalten

Auf dieser Seite wird erläutert, wie Sie Ihre Spanner-Ressourcen mit Data Catalog suchen und verwalten können.

Data Catalog ist ein vollständig verwalteter, skalierbarer Dienst zur Metadatenverwaltung in Dataplex. Die folgenden Metadaten zu Spanner-Instanzen, -Datenbanken, -Tabellen, -Spalten und -Ansichten werden automatisch katalogisiert:

• Name und voll qualifizierter Name
• Standort (Region)
• Erstellungsdatum und Datum der letzten Änderung
• Schema (für Tabellen und Ansichten)
• Beschreibung

Spanner-Metadaten werden in regelmäßigen Abständen (in der Regel alle paar Stunden) automatisch mit Data Catalog synchronisiert. Mit Data Catalog können Sie Ihre Spanner-Metadaten ermitteln und verstehen. Data Catalog wird bei den folgenden Aktivitäten unterstützt:

• Analyse, einschließlich Abhängigkeiten und Eignung für einen Anwendungsfall
• Änderungsmanagement
• Datenverschiebung (Pipelines)
• Schemaentwicklung

Mit Data Catalog können Sie Metadaten auswählen, indem Sie Tags an Spanner-Metadateneinträge anhängen. Jedes Tag kann mehrere Metadatenfelder haben und auf einer vordefinierten oder benutzerdefinierten Tag-Vorlage basieren.

Sie können beispielsweise das folgende Tag an eine Spalte anhängen, die eine Sozialversicherungsnummer enthält, bei der es sich um personenidentifizierbare Informationen handelt:

pii:true
pii_type:SSN

Wenn Sie eine Instanz verschieben, die Tags verwendet, werden die Tags nicht automatisch in die Zielinstanz verschoben. Stattdessen müssen Sie Tags aus der Quellinstanz exportieren, bevor Sie die Instanz verschieben, und die Tags in die Zielinstanz importieren. Weitere Informationen finden Sie unter Tags exportieren und importieren.

Weitere Informationen zu Data Catalog finden Sie unter Was ist Data Catalog.

Hinweis: Data Catalog bezieht sich auf die Ressourcen in Spanner und in anderen Google Cloud-Diensten als Assets. Auf dieser Seite werden Spanner-Ressourcen – Instanzen, Datenbanken, Tabellen und Ansichten – als Spanner-Assets bezeichnet. Außerdem beziehen wir uns mit dem Begriff Assets sowohl auf die Ressourcen als auch auf die Data Catalog-Metadaten für die Ressourcen.

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

6. Aktivieren Sie die Data Catalog API für das Projekt.

   Data Catalog API aktivieren

7. Prüfen Sie die Berechtigungen.

   Sie benötigen bestimmte IAM-Rollen und -Berechtigungen, um Tags zu suchen und an Spanner-Assets anzuhängen. Weitere Informationen finden Sie unter Erforderliche IAM-Rollen und -Berechtigungen für Data Catalog.

Tag-Vorlagen erstellen

Tag-Vorlagen sind wiederverwendbare Strukturen, mit denen Sie schnell neue Tags erstellen können. Mit Vorlagen vermeiden Sie doppelte Arbeit und unvollständige Tags. Erstellen Sie so viele Tag-Vorlagen, wie Sie benötigen.

Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Tags an Spanner-Assets anhängen

Wenn Sie Tags an Spanner-Assets anhängen, haben Sie folgende Möglichkeiten:

• Den Assets geschäftliche Metadaten hinzufügen
• Sie können anhand von geschäftlichen und anderen benutzerdefinierten Metadaten nach Assets suchen.

Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Nach Spanner-Assets suchen

Verwenden Sie die Dataplex-Suchseite in der Google Cloud Console, um nach Spanner-Assets zu suchen.

1. Rufen Sie in Dataplex die Seite Suche auf.

   Zu Dataplex

2. Wählen Sie im Filterbereich unter Systeme die Option Spanner aus.

   Dataplex zeigt alle bekannten Spanner-Assets an.

3. Optional: Führen Sie einen der folgenden Schritte aus, um die Suche einzugrenzen:

   • Verwenden Sie die Facettensuche auf der Seite Suche. Klicken Sie auf die Kästchen unter Datentypen, Projekte und Tags.

   • Fügen Sie im Suchfeld nach system=cloud_spanner einen Suchparameter hinzu. Parameter werden durch Leerzeichen voneinander getrennt.

   Wenn Sie beispielsweise nur Datenbanken anzeigen möchten, geben Sie den folgenden Text in das Suchfeld ein und drücken Sie Enter.

    system=cloud_spanner type=database
   

   Hinweis: Verwenden Sie type=service, um nach Spanner-Instanzen zu suchen. Verwenden Sie instance_config=configuration-name, um nach einer Instanzkonfiguration zu suchen.

   Sie können auch Klammern und die logischen Operatoren and und or für komplexe Ausdrücke verwenden. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie unter Data Catalog-Suchsyntax.

4. Klicken Sie in der Ergebnistabelle auf den Namen eines Assets, um die Metadaten für dieses Asset aufzurufen.

5. Optional: Sie haben außerdem die folgenden Möglichkeiten:

   • Klicken Sie auf ÜBERSICHT HINZUFÜGEN, um eine Rich-Text-Beschreibung des Assets hinzuzufügen.
   • Klicken Sie auf TAGS ANHÄNGEN, um dem Asset ein Tag hinzuzufügen.
   • Klicken Sie für eine Tabelle auf den Tab SCHEMA, um die Tabellenspalten aufzurufen.
   • Wenn Sie Mitgliedsdatenbanken für eine Instanz (SERVICE) aufrufen möchten, klicken Sie auf den Tab Einstiegspunktliste und dann auf CHILDENTRIES IN SUCHE ANSEHEN. Wenn der Tab ENTRY LIST nicht angezeigt wird, hat die Instanz keine Datenbanken.

Beispielworkflow – Von Instanz zu Spalten aufschlüsseln

In diesem Beispiel-Workflow suchen Sie zuerst nach einer Spanner-Instanz, rufen dann eine Mitgliedsdatenbank und dann eine Tabelle in dieser Datenbank auf und sehen sich dann die Spalten in der Tabelle an.

1. Rufen Sie in Dataplex die Seite Suche auf.

   Zu Dataplex

2. Wählen Sie im Filterbereich unter Systeme die Option Spanner aus.

3. Wenn Sie alle Spanner-Instanzen in Data Catalog ansehen möchten, klicken Sie entweder unter Datentypen das Kästchen Dienst an oder geben Sie den folgenden Text in das Suchfeld ein und drücken Sie Enter.

   system=cloud_spanner type=service
   

4. Wählen Sie einen Instanznamen aus.

5. Klicken Sie auf der Seite Spanner-Dienstdetails auf den Tab Einstiegspunktliste und dann auf CHILDENTRIES IN SUCHE ANSEHEN.

   Dataplex zeigt die Datenbanken in der Instanz an.

   Hinweis: Wenn der Tab ENTRY LIST nicht vorhanden ist, kehren Sie zur Seite Suche zurück und wählen Sie eine andere Instanz aus.

6. Klicken Sie auf der Seite Details zur Spanner-Datenbank auf den Tab Einstiegspunktliste und dann auf CHILDENTRIES IN SUCHE ANSEHEN.

   Dataplex zeigt die Tabellen in der Datenbank an.

7. Wählen Sie einen Tabellennamen aus und klicken Sie dann auf der Seite Spanner-Tabellendetails auf SCHIEFE, um die Tabellenspalten aufzurufen.

8. Optional: Klicken Sie auf das Pluszeichen unter Spalten-Tags, um einer Spalte ein Tag hinzuzufügen.

Hinweis: Dieser Workflow veranschaulicht die Aufschlüsselung von einer Instanz zu einer Tabelle. Sie können direkt zu einer Liste von Tabellen wechseln, indem Sie den Bereich Filter verwenden oder system=cloud_spanner,type=table in das Suchfeld eingeben.

Tags exportieren und importieren

Wenn Sie eine Spanner-Instanz verschieben, werden durch den Verschiebungsvorgang die Instanz-Tags gelöscht, die Sie in Data Catalog erstellt haben. Gehen Sie folgendermaßen vor, um Ihre Tags beizubehalten:

• Fragen Sie die mit der Instanz verknüpften Tags ab.
• Kopieren Sie die Details zu den Tags.
• Erstellen Sie die Tags in der verschobenen Instanz.

Spanner synchronisiert Daten alle 6 Stunden. Bei allen Metadatenänderungen, die an Spanner-Assets wie Instanzen, Datenbanken, Tabellen, Ansichten oder Spalten vorgenommen werden, kann es etwa sechs Stunden dauern, bis sie an Data Catalog weitergegeben werden.

Tags aus der Konfiguration der Quellinstanz exportieren

Verwenden Sie zum Auflisten der Tags für eine Instanz (Eintrags- oder Eintragsgruppe) den Google Cloud CLI-Befehl gcloud data-catalog tags list so:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Ersetzen Sie Folgendes:

• PROJECT: Projekt, das die Tags enthält.
• LOCATION: Speicherort für die Tags.
• API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.
• ACCESS_TOKEN: Das Zugriffstoken, das Ihre Anwendung zur Authentifizierung beim Dienst verwendet.

Tags in die Zielkonfiguration importieren

Führen Sie die folgenden Schritte aus, bevor Sie diesen Vorgang ausführen:

• Verschieben Sie die Instanz.
• Data Catalog mit Metadaten aktualisieren

Wenn Sie ein Tag kopieren möchten, erstellen Sie die Tags in der verschobenen Instanz mit dem Befehl gcloud data-catalog tags create so:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Ersetzen Sie Folgendes:

• FQN: Voll qualifizierter Name (Full Qualified Name, FQN) der Ressource. FQNs haben zwei Formen:

  Für nicht regionale Ressourcen: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Für regionale Ressourcen: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Beispiel für eine DPMS-Tabelle:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: Ort, an dem die Suche ausgeführt wird.

• PROJECT: Projekt, in dem die Suche ausgeführt wird.

• API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.

• ACCESS_TOKEN: Das Zugriffstoken, das Ihre Anwendung zur Authentifizierung beim Dienst verwendet.

Erforderliche IAM-Rollen und -Berechtigungen für Data Catalog

Die folgende Tabelle enthält die erforderlichen IAM-Rollen und -Berechtigungen für die verschiedenen Data Catalog-Vorgänge.

Hinweis: Data Catalog unterstützt keine fein abgestimmte Zugriffssteuerung von Spanner.

Data Catalog-Vorgang	Spanner-Ressource	Erforderliche Rollen oder Berechtigungen
Tag-Vorlage erstellen	–	roles/datacatalog.tagTemplateCreator
Nach Spanner-Ressourcen suchen	Instanz	spanner.instances.get
	Datenbank	spanner.databases.get
	Tabelle	spanner.databases.get
	Ansichten	spanner.databases.get
Öffentliche Tags ansehen	Instanz	spanner.instances.get
	Datenbank	spanner.databases.get
	Tabelle	spanner.databases.get
	Ansichten	spanner.databases.get
Private Tags ansehen	Instanzen	datacatalog.tagTemplates.getTag + spanner.instances.get
	Datenbanken	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabellen	datacatalog.tagTemplates.getTag + spanner.databases.get
	Ansichten	datacatalog.tagTemplates.getTag + spanner.databases.get
Tag mithilfe einer Tag-Vorlage an eine Spanner-Ressource anhängen	Instanzen	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Datenbanken	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabellen	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Ansichten	datacatalog.tagTemplates.use + spanner.databases.updateTag

Die Berechtigung spanner.instances.UpdateTag ist in der folgenden Rolle enthalten:

• roles/spanner.admin

Die Berechtigung spanner.databases.UpdateTag ist in den folgenden Rollen enthalten:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Weitere Informationen finden Sie unter Vordefinierte Rollen.

Nächste Schritte

• Was ist Data Catalog?
• Rollen zum Durchsuchen von Google Cloud-Ressourcen
• Detaillierte Zugriffssteuerung