Daten-Assets mit Data Catalog verwalten

Data Catalog ist ein Feature von Dataplex, das Metadaten zu Bigtable-Ressourcen automatisch katalogisiert. Mit diesem Feature kann Ihre Organisation nach Bigtable-Daten-Assets suchen und diese verwalten.

Die Metadaten der folgenden Bigtable-Ressourcen werden automatisch aus Bigtable mit Data Catalog synchronisiert:

Instanzen
Cluster
Tabellen, einschließlich Details zur Spaltenfamilie

Data Catalog ist ein vollständig verwalteter Dienst zur Metadatenverwaltung in Dataplex. Es stellt einheitliche Ansichts- und Tagging-Mechanismen für technische und geschäftliche Metadaten bereit. Weitere Informationen zu Data Catalog und warum Sie es verwenden sollten, finden Sie unter Was ist Data Catalog.

Vorteile von Data Catalog mit Bigtable

Informationen zu Ihren Daten in Data Catalog erleichtern die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und die Datenverwaltung.

Sie können Einträge in Data Catalog nach Ressourcennamen oder Details suchen. Sie können beispielsweise nach einem Instanznamen suchen, um den Eintrag für eine Instanz zu finden, oder nach einer Spaltenfamilie, um den Eintrag für eine Tabelle zu finden. Sie können auch eine Attributsuche verwenden und Filter anwenden, um die Suche einzugrenzen. Weitere Informationen finden Sie unter Daten-Assets mit Data Catalog suchen und ansehen.

Durch das Taggen von Daten-Assets können Sie die Daten in Ihren Bigtable-Tabellen verstehen und katalogisieren. So werden die Daten für andere Data Catalog-Nutzer und als Teil Ihres größeren Datenbestands besser auffindbar und suchbar. Mithilfe von Tags können Sie den katalogisierten Metadaten Ihre eigenen Metadaten hinzufügen und diese Tags dann zum Durchführen von Suchen verwenden.

Erste Schritte mit Data Catalog

Führen Sie die folgenden Aufgaben aus, um mit Data Catalog Ihre Bigtable-Daten-Assets zu verwalten:

Wenn Sie Data Catalog noch nicht kennen, aktivieren Sie die API.
Hauptkonten, die Zugriff auf Bigtable-Einträge in Data Catalog benötigen, IAM-Rollen gewähren.
Weitere Informationen zur Suche nach Daten-Assets finden Sie unter Mit Data Catalog suchen.
Sehen Sie sich die Suchsyntax für Data Catalog an, um zu erfahren, wie Sie Ihre Metadaten finden.
Lesen Sie die Konzepte zum Taggen von Data Catalog-Einträgen unter Tags und Tag-Vorlagen.

Suchmöglichkeiten für Bigtable-Metadaten

Sie können mit Data Catalog in synchronisierten Bigtable-Metadaten suchen.

Zusätzlich zu den Standardqualifizierern können Sie mit Folgendem nach Bigtable-Ressourcen suchen:

Instanz
- Bigtable-Instanzname
- Bigtable-Instanz-ID
- Clusterstandort
- Cluster-ID
Tabelle
- Tabellen-ID
- Name der Spaltenfamilie
- Bigtable-Instanzname
- Bigtable-Instanz-ID

Erforderliche Rollen

Zum Ansehen, Taggen und Durchsuchen von Bigtable-Ressourcen in Data Catalog gelten unterschiedliche Berechtigungsanforderungen. Weisen Sie Hauptkonten in Ihrer Organisation im Allgemeinen die Rolle zu, die mindestens für die Ausführung einer Aufgabe erforderlich ist.

Berechtigung zum Ansehen öffentlicher und privater Tags

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die erforderlichen Berechtigungen zum Ansehen öffentlicher und privater Tags in Bigtable-Ressourcen erhalten:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

bigtable.instances.get
bigtable.clusters.get
bigtable.tables.get
datacatalog.tagTemplates.getTag

Berechtigung zum Durchsuchen von Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die erforderlichen Berechtigungen zum Durchsuchen von Bigtable-Ressourcen in Data Catalog erhalten:

roles/bigtable.viewer

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Durchsuchen von Bigtable-Ressourcen erforderlich sind. Folgende Berechtigungen sind erforderlich:

bigtable.instances.get
bigtable.clusters.get
bigtable.tables.get

Berechtigung zum Anhängen von Tags an Bigtable-Ressourcen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zum Anhängen von Tags an Bigtable-Ressourcen in Data Catalog benötigen:

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Hinzufügen öffentlicher und privater Tags erforderlich sind. Folgende Berechtigungen sind erforderlich:

bigtable.instances.update
bigtable.clusters.update
bigtable.tables.update
datacatalog.tagTemplates.use
datacatalog.entries.updateTag

Optional: Benutzerdefinierte Rolle erstellen

Sie können eine benutzerdefinierte Rolle erstellen, die Nutzern zugewiesen wird, die vollständigen Zugriff auf alle Bigtable-Metadaten in Data Catalog in Ihrem Projekt oder Ihrer Organisation benötigen. Anschließend können Sie jedes Nutzer- oder Dienstkonto, das Zugriff benötigt, zu einem Hauptkonto der benutzerdefinierten Rolle machen. Weitere Informationen zu benutzerdefinierten Rollen finden Sie unter Rollen und Berechtigungen.

Wählen Sie einen aussagekräftigen Namen für die Rolle aus, z. B. Bigtable Data Catalog-Bearbeiter, und weisen Sie dann nur die Hauptkonten zu, die Zugriff auf die Rolle benötigen. Eine Anleitung zur Einrichtung finden Sie unter Benutzerdefinierte Rolle erstellen.

Gewähren Sie der benutzerdefinierten Rolle die folgenden Berechtigungen:

bigtable.instances.get
bigtable.instances.update
bigtable.clusters.get
bigtable.clusters.update
bigtable.tables.get
bigtable.tables.update
datacatalog.tagTemplates.getTag
datacatalog.tagTemplates.use

Weitere Informationen zu Data Catalog-Berechtigungen finden Sie unter Rollen für die Suche in Google Cloud-Ressourcen. Beschreibungen der Bigtable-Berechtigungen finden Sie unter Berechtigungen.

Bekannte Einschränkungen

Im folgenden Abschnitt sind einige Einschränkungen aufgeführt, die Sie beachten müssen, bevor Sie Ihre Bigtable-Metadaten mit Data Catalog verwalten.

Standorteinschränkungen

Wenn in Ihrer Organisation Standortbeschränkungen eingerichtet sind, werden Metadateneinträge für Ihre Bigtable-Ressourcen möglicherweise nicht mit Data Catalog synchronisiert. Alle Einträge, die vor dem Erzwingen der Standorteinschränkungen erstellt wurden, werden von Data Catalog aufbewahrt.

Damit Data Catalog Ressourcen laden kann, sollten Sie Ihrer Standortrichtlinie den multiregionalen Standort global hinzufügen.

Ausnahme für Spaltenfamiliennamen

Die Data Catalog API lehnt Anfragen ab, bei denen der Name der Spaltenfamilie in Ihrer Anfrage einen Punkt (.) enthält, beispielsweise wenn der Name der Spaltenfamilie personal.info lautet.