Ressourcen mit Data Catalog verwalten

Auf dieser Seite wird erläutert, wie Sie Spanner suchen und verwalten können mit Data Catalog.

Data Catalog ist ein vollständig verwalteter, skalierbarer Dienst zur Metadatenverwaltung in Dataplex. Er katalogisiert automatisch die folgenden Metadaten zu Spanner-Instanzen, Datenbanken, Tabellen, Spalten und Ansichten:

• Name und voll qualifizierter Name
• Standort (Region)
• Erstellungsdatum und Datum der letzten Änderung
• Schema (für Tabellen und Ansichten)
• Beschreibung

Spanner werden Metadaten regelmäßig automatisch mit Data Catalog synchronisiert. in der Regel alle paar Stunden. Mit Data Catalog können Sie Spanner-Metadaten ermitteln und verstehen können. Verwenden Sie Data Catalog zur Unterstützung bei den folgenden Aktivitäten:

• Analyse, einschließlich Abhängigkeiten und Eignung für einen Anwendungsfall
• Änderungsmanagement
• Datenverschiebung (Pipelines)
• Schemaentwicklung

Mit Data Catalog können Sie Metadaten auswählen, indem Sie Tags an Spanner-Metadateneinträge. Jedes Tag kann mehrere Metadaten haben und können auf einer vordefinierten oder benutzerdefinierten Tag-Vorlage basieren.

Beispielsweise könnten Sie das folgende Tag an eine Spalte anhängen, die ein Sozialversicherungsnummer, d. h. personenidentifizierbare Informationen:

pii:true
pii_type:SSN

Wenn Sie eine Instanz verschieben, die Tags verwendet, werden die Tags nicht automatisch in die Zielinstanz verschoben. Stattdessen müssen Sie Tags aus der Quellinstanz vor dem Verschieben der Instanz und importieren Sie die Tags in die Zielinstanz. Weitere Informationen finden Sie unter Exportieren und importieren Sie Tags.

Weitere Informationen zu Data Catalog finden Sie unter Was ist Data Catalog.

Hinweis: Data Catalog bezieht sich auf die Ressourcen in in Spanner und in anderen Google Cloud-Diensten als Assets. Auf dieser Seite beziehen wir uns auf Spanner-Ressourcen: Instanzen, Datenbanken, Tabellen und Ansichten – als Spanner-Assets. Außerdem verwenden wir Den Begriff Assets, um sich sowohl auf die Ressourcen als auch auf Data Catalog zu beziehen Metadaten für die Ressourcen.

Hinweise

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

6. Aktivieren Sie die Data Catalog API für das Projekt.

   Data Catalog API aktivieren

7. Prüfen Sie die Berechtigungen.

   Sie benötigen bestimmte IAM-Rollen und -Berechtigungen (Identity and Access Management), um nach Spanner-Assets suchen und Tags an diese anhängen. Weitere Informationen finden Sie unter Erforderliche IAM-Rollen und -Berechtigungen für Data Catalog.

Tag-Vorlagen erstellen

Tag-Vorlagen sind wiederverwendbare Strukturen, mit denen Sie schnell neue Tags erstellen können. Vorlagen helfen Ihnen, doppelte Arbeit und unvollständige Tags zu vermeiden. Möglichst viele erstellen Tag-Vorlagen nach Bedarf anpassen.

Weitere Informationen finden Sie unter Tags und Tag- Vorlagen.

Tags an Spanner-Assets anhängen

Wenn Sie Tags an Spanner-Assets anhängen, haben Sie folgende Möglichkeiten:

• Füge den Assets geschäftliche Metadaten hinzu.
• Sie können anhand von geschäftlichen Metadaten und anderen benutzerdefinierten Metadaten nach Assets suchen.

Weitere Informationen finden Sie unter Tags und Tag- Vorlagen.

Nach Spanner-Assets suchen

Dataplex-Suchseite in der Google Cloud Console verwenden nach Spanner-Assets zu suchen.

1. Rufen Sie in Dataplex die Seite Suche auf.

   Zu Dataplex

2. Wählen Sie im Filterbereich unter Systeme die Option Spanner aus.

   Dataplex zeigt alle bekannten Spanner-Assets an.

3. Optional: Sie haben folgende Möglichkeiten, die Suche einzugrenzen:

   • Verwenden Sie die Attributsuche auf der Seite Suche. Aktivieren Sie die Kontrollkästchen unter Datentypen, Projekte und Tags.

   • Fügen Sie im Suchfeld einen Suchparameter nach system=cloud_spanner Trennen Sie Parameter durch Leerzeichen.

   Wenn Sie beispielsweise nur Datenbanken anzeigen möchten, geben Sie den folgenden Text in das Suchfeld ein und drücken Sie dann Enter.

    system=cloud_spanner type=database
   

   Hinweis: Verwenden Sie type=service, um nach Spanner-Instanzen zu suchen. Um nach einer Instanzkonfiguration zu suchen, verwenden Sie instance_config=configuration-name

   Sie können auch Klammern und die logischen Operatoren and und or für komplexe Ausdrücke. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden, siehe Data Catalog-Suche Syntax.

4. Klicke in der Ergebnistabelle auf den Namen eines Assets, um die Metadaten für für dieses Asset.

5. Optional: Sie haben außerdem die folgenden Möglichkeiten:

   • Klicken Sie auf ÜBERSICHT HINZUFÜGEN, um eine Rich-Text-Beschreibung des Assets hinzuzufügen.
   • Klicken Sie auf TAGS ANHÄNGEN, um dem Asset ein Tag hinzuzufügen.
   • Klicken Sie für eine Tabelle auf den Tab Schema, um die Tabellenspalten zu sehen.
   • Klicken Sie für eine Instanz (SERVICE) auf das Symbol EINGABELISTE und klicke dann auf KINDEREINTRÄGE IN DER SUCHE ANZEIGEN. (Wenn die wird der Tab ENTRY LIST nicht angezeigt, dann hat die Instanz keine Datenbanken.)

Beispielworkflow – Aufschlüsselung von Instanz zu Spalten

In diesem Beispielworkflow suchen Sie zuerst nach einem Spanner Instanz, rufen Sie dann eine Mitgliederdatenbank und dann eine Tabelle in dieser Datenbank auf. und sehen Sie sich dann die Spalten in der Tabelle an.

1. Rufen Sie in Dataplex die Seite Suche auf.

   Zu Dataplex

2. Wählen Sie im Filterbereich unter Systeme die Option Spanner aus.

3. So rufen Sie alle Spanner-Instanzen in Data Catalog auf: Klicken Sie unter Datentypen entweder das Kästchen Dienst an oder geben Sie das Feld folgenden Text in das Suchfeld ein und drücken Sie Enter.

   system=cloud_spanner type=service
   

4. Wählen Sie einen Instanznamen aus.

5. Klicken Sie auf der Seite Spanner-Dienstdetails auf den Eintrag ENTRY Liste und klicken Sie dann auf KINDEREINTRÄGE IN DER SUCHE ANZEIGEN.

   Dataplex zeigt die Datenbanken in der Instanz an.

   Hinweis: Wenn der Tab EINGABETASTE nicht angezeigt wird, kehren Sie zur Seite Suchen zurück und eine andere Instanz auswählen.

6. Klicken Sie auf der Seite Spanner-Datenbankdetails auf den ENTRY Liste und klicken Sie dann auf KINDEREINTRÄGE IN DER SUCHE ANZEIGEN.

   Dataplex zeigt die Tabellen in der Datenbank an.

7. Wählen Sie einen Tabellennamen aus und klicken Sie auf der Seite Spanner-Tabellendetails auf SCHEMA, um die Tabellenspalten anzusehen.

8. Optional: Klicken Sie zum Hinzufügen eines Tags zu einer Spalte auf das Pluszeichen unter Spalte -Tags.

Hinweis: Dieser Workflow veranschaulicht, wie von einer Instanz bis zu einer Tabelle aufgeschlüsselt wird. Ich können Sie direkt zu einer Liste von Tabellen wechseln, indem Sie das Steuerfeld Filter verwenden oder Geben Sie system=cloud_spanner,type=table in das Suchfeld ein.

Tags exportieren und importieren

Wenn Sie eine Spanner-Instanz verschieben, geschieht Folgendes: Beim Verschieben werden die Instanz-Tags gelöscht, die Sie in Data Catalog So behalten Sie Ihre Tags bei:

• Fragen Sie die mit der Instanz verknüpften Tags ab.
• Kopieren Sie die Details zu den Tags.
• Erstellen Sie die Tags auf der verschobenen Instanz.

Spanner synchronisiert die Daten alle 6 Stunden. Alle Metadatenänderungen bei Spanner-Assets wie Instanzen, Datenbanken, Tabellen, Ansichten oder Es kann bis zu 6 Stunden dauern, bis Spalten an Data Catalog weitergegeben werden.

Tags aus der Konfiguration der Quellinstanz exportieren

Verwenden Sie die Google Cloud CLI, um die Tags für eine Instanz (Eintrag oder Eintragsgruppe) aufzulisten gcloud data-catalog tags list -Befehl so an:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Ersetzen Sie Folgendes:

• PROJECT: Projekt, das die Tags enthält.
• LOCATION: Speicherort der Tags.
• API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.
• ACCESS_TOKEN: Das Zugriffstoken, das von Ihrer Anwendung für das sich beim Dienst zu authentifizieren.

Tags in die Zielkonfiguration importieren

Führen Sie die folgenden Schritte aus, bevor Sie diesen Vorgang abschließen:

• Verschieben Sie die Instanz.
• Data Catalog mit Metadaten aktualisieren

Um ein Tag zu kopieren, erstellen Sie die Tags auf der verschobenen Instanz mithilfe der Methode gcloud data-catalog tags create -Befehl so an:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Ersetzen Sie Folgendes:

• FQN: Voll qualifizierter Name (FQN) der Ressource. FQNs benötigen zwei Formulare:

  Für nicht regionale Ressourcen: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Für regionale Ressourcen: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Beispiel für eine DPMS-Tabelle:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: Standort, an dem die Suche ausgeführt wird.

• PROJECT: Projekt, in dem die Suche ausgeführt wird.

• API_KEY: Ein eindeutiger String, mit dem Sie auf eine API zugreifen können.

• ACCESS_TOKEN: Das Zugriffstoken, das von Ihrer Anwendung für das sich beim Dienst zu authentifizieren.

Erforderliche IAM-Rollen und -Berechtigungen für Data Catalog

In der folgenden Tabelle sind die erforderlichen IAM-Rollen und -Berechtigungen aufgeführt. Data Catalog-Vorgänge erstellen.

Hinweis: Data Catalog unterstützt Spanner nicht. differenzierte Zugriffssteuerung.

Data Catalog-Vorgang	Spanner-Ressource	Erforderliche Rollen oder Berechtigungen
Tag-Vorlage erstellen	–	roles/datacatalog.tagTemplateCreator
Nach Spanner-Ressourcen suchen	Instanz	spanner.instances.get
	Datenbank	spanner.databases.get
	Tabelle	spanner.databases.get
	Aufrufe	spanner.databases.get
Öffentliche Tags ansehen	Instanz	spanner.instances.get
	Datenbank	spanner.databases.get
	Tabelle	spanner.databases.get
	Aufrufe	spanner.databases.get
Private Tags ansehen	Instanzen	datacatalog.tagTemplates.getTag + spanner.instances.get
	Datenbanken	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabellen	datacatalog.tagTemplates.getTag + spanner.databases.get
	Aufrufe	datacatalog.tagTemplates.getTag + spanner.databases.get
Tag mithilfe einer Tag-Vorlage an eine Spanner-Ressource anhängen	Instanzen	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Datenbanken	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabellen	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Aufrufe	datacatalog.tagTemplates.use + spanner.databases.updateTag

Die Berechtigung spanner.instances.UpdateTag ist in der folgenden Rolle enthalten:

• roles/spanner.admin

Die Berechtigung spanner.databases.UpdateTag ist in den folgenden Rollen enthalten:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Weitere Informationen finden Sie unter Vordefinierte Rollen.

Nächste Schritte

• Was ist Data Catalog?
• Rollen zum Suchen von Google Cloud-Ressourcen
• Detaillierte Zugriffssteuerung