Daten-Assets mit Data Catalog verwalten

Data Catalog ist ein Feature von Dataplex, das automatisch Metadaten zu Bigtable-Ressourcen katalogisiert. Mit diesem Feature kann Ihre Organisation nach Bigtable-Daten-Assets suchen und diese verwalten.

Für die folgenden Bigtable-Ressourcen werden Metadaten automatisch von Bigtable mit Data Catalog synchronisiert:

  • Instanzen
  • Cluster
  • Tabellen, einschließlich Details zur Spaltenfamilie

Data Catalog ist ein vollständig verwalteter Dienst zur Metadatenverwaltung in Dataplex. Es stellt einheitliche Ansichts- und Tagging-Mechanismen für technische und geschäftliche Metadaten bereit. Weitere Informationen zu Data Catalog und seinen Vorteilen finden Sie unter Was ist Data Catalog?

Vorteile der Verwendung von Data Catalog mit Bigtable

Informationen zu Ihren Daten in Data Catalog können die Analyse, die Datenwiederverwendung, die Anwendungsentwicklung und die Datenverwaltung erleichtern.

Sie können Einträge in Data Catalog nach Ressourcennamen oder Details suchen. Sie können beispielsweise nach einem Instanznamen suchen, um den Eintrag für eine Instanz zu finden, oder nach einer Spaltenfamilie, um den Eintrag für eine Tabelle zu finden. Sie können auch eine facettierte Suche verwenden und Filter anwenden, um Ihre Suche einzugrenzen. Weitere Informationen finden Sie unter Datenassets mit Data Catalog suchen und ansehen.

Durch das Taggen von Daten-Assets können Sie die Daten in Ihren Bigtable-Tabellen verstehen und katalogisieren. So werden die Daten für andere Data Catalog-Nutzer und als Teil Ihres größeren Datenbestands besser auffindbar und suchbar. Mithilfe von Tags können Sie den Katalogisierten Metadaten eigene Metadaten hinzufügen und dann mit diesen Tags Suchanfragen durchführen.

Erste Schritte mit Data Catalog

Führen Sie die folgenden Aufgaben aus, um mit Data Catalog Ihre Bigtable-Daten-Assets zu verwalten:

  1. Wenn Sie Data Catalog noch nicht verwenden, aktivieren Sie die API.

  2. Weisen Sie Hauptkonten IAM-Rollen zu, die Zugriff auf Bigtable-Einträge im Data Catalog benötigen.

  3. Weitere Informationen zur Suche nach Daten-Assets finden Sie unter Mit Data Catalog suchen.

  4. Informationen zur Data Catalog-Suchsyntax

  5. Informationen zum Tagging von Data Catalog-Einträgen finden Sie unter Tags und Tag-Vorlagen.

Möglichkeiten zur Suche nach Bigtable-Metadaten

Sie können in synchronisierten Bigtable-Metadaten mit Data Catalog suchen.

Zusätzlich zu den Standardqualifizierern können Sie mit den folgenden Optionen nach Bigtable-Ressourcen suchen:

  • Instanz

    • Name der Bigtable-Instanz
    • Bigtable-Instanz-ID
    • Clusterstandort
    • Cluster-ID

  • Tabelle

    • Tabellen-ID
    • Name der Spaltenfamilie
    • Name der Bigtable-Instanz
    • Bigtable-Instanz-ID

Erforderliche Rollen

Für das Aufrufen, Taggen und Suchen von Bigtable-Ressourcen in Data Catalog gelten unterschiedliche Berechtigungsanforderungen. Weisen Sie Hauptkonten in Ihrer Organisation im Allgemeinen die Mindestrolle zu, die für die Erledigung einer Aufgabe erforderlich ist.

Berechtigung zum Ansehen öffentlicher und privater Tags

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen öffentlicher und privater Tags für Bigtable-Ressourcen benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Berechtigung zum Suchen in Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Suchen in Bigtable-Ressourcen im Data Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Suchen in Bigtable-Ressourcen erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Berechtigung zum Anhängen von Tags an Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Anhängen von Tags an Bigtable-Ressourcen in Data Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Hinzufügen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

Optional: Benutzerdefinierte Rolle erstellen

Sie können eine benutzerdefinierte Rolle erstellen, die Nutzern zugewiesen wird, die vollständigen Zugriff auf alle Bigtable-Metadaten in Data Catalog in Ihrem Projekt oder Ihrer Organisation benötigen. Anschließend können Sie jedem Nutzer oder Dienstkonto, das Zugriff benötigt, die benutzerdefinierte Rolle zuweisen. Weitere Informationen zu benutzerdefinierten Rollen finden Sie unter Rollen und Berechtigungen.

Wählen Sie einen aussagekräftigen Namen für die Rolle aus, z. B. Bigtable Data Catalog-Bearbeiter, und weisen Sie dann nur die Hauptkonten zu, die Zugriff auf die Rolle benötigen. Eine Anleitung zum Einrichten finden Sie unter Benutzerdefinierte Rolle erstellen.

Weisen Sie der benutzerdefinierten Rolle die folgenden Berechtigungen zu:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Weitere Informationen zu Data Catalog-Berechtigungen finden Sie unter Rollen für die Suche in Google Cloud-Ressourcen. Beschreibungen der Bigtable-Berechtigungen finden Sie unter Berechtigungen.

Bekannte Einschränkungen

Im folgenden Abschnitt werden einige Einschränkungen aufgeführt, die Sie beachten müssen, bevor Sie Bigtable-Metadaten mit Data Catalog verwalten.

Standorteinschränkungen

Wenn Ihre Organisation Standorteinschränkungen eingerichtet hat, werden Metadateneinträge für Ihre Bigtable-Ressourcen möglicherweise nicht mit dem Data Catalog synchronisiert. Alle Einträge, die vor der Erzwingung der Standorteinschränkungen erstellt wurden, werden im Data Catalog beibehalten.

Damit Data Catalog Ressourcen laden kann, empfehlen wir, Ihrer Standortrichtlinie die Option global „Mehrere Regionen“ hinzuzufügen.

Ausnahme für den Namen der Spaltenfamilie

Die Data Catalog API lehnt Anfragen ab, deren Spaltenfamilienname einen Punkt (.) enthält. Das ist beispielsweise der Fall, wenn der Name der Spaltenfamilie personal.info lautet.

Nächste Schritte