Data Catalog kann Metadaten aus folgenden Quellen importieren und aktualisieren: verschiedene Google Cloud-Datenquellen sowie eine Reihe beliebter lokale.
Wenn aufgenommene Metadaten vorhanden sind, führt Data Catalog Folgendes aus:
- Macht die vorhandenen Metadaten über die Suche sichtbar. Weitere Informationen finden Sie unter So suchen Sie.
- Die Mitglieder Ihrer Organisation können Ihre Daten mit zusätzlichen geschäftlichen Metadaten durch Tags anreichern. Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.
Die Integration in Google Cloud-Quellen erfolgt automatisch, kann jedoch in benutzerdefinierte lokale Quellen eingebunden werden, die Ihre Organisation verwendet. Sie haben folgende Möglichkeiten:
- Richten Sie die entsprechenden Connectors ein, die von der Community bereitgestellt werden.
- Alternativ können Sie die Data Catalog API für benutzerdefinierte Einträge nutzen.
Hinweis
Wenn Sie Data Catalog bereits verwenden, müssen Sie bereits ein Projekt mit der aktivierten Data Catalog API haben. Weitere Informationen zur empfohlenen Methode für die Verwendung mehrerer Projekte mit Data Catalog finden Sie unter Tag-Vorlagen in mehreren Projekten verwenden.
Wenn Sie zum ersten Mal mit dem Data Catalog interagieren, gehen Sie so vor:
- Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Data Catalog API aktivieren.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Data Catalog API aktivieren.
Google Cloud-Datenquellen einbinden
Analytics Hub
Wenn Sie einen Eintrag in Analytics Hub abonnieren, in Ihrem Projekt erstellt wird. Data Catalog generiert automatisch Metadateneinträge für das verknüpfte Dataset und alle Tabellen die in ihr enthalten sind. Weitere Informationen zu verknüpften Datasets und anderen Analytics Hub-Funktionen, siehe Einführung in Analytics Hub
Bei der Suche in Data Catalog werden verknüpfte Datasets als
Standard-BigQuery-Datasets, Sie können sie jedoch mit
das Prädikat type=dataset.linked
. Weitere Informationen
Siehe Daten-Assets suchen.
BigQuery und Pub/Sub
Wenn Ihre Organisation bereits BigQuery und Pub/Sub verwendet, können Sie je nach Ihren Berechtigungen sofort nach den Metadaten suchen. Wenn die entsprechenden Einträge in den Suchergebnissen nicht angezeigt werden, suchen Sie nach den IAM-Rollen, die Sie und die Nutzer Ihres Projekts möglicherweise in Identity and Access Management benötigen.
Bigtable
Wenn Sie Daten in Bigtable speichern, werden Metadaten automatisch Data Catalog für die folgende Bigtable-Tabelle Ressourcen:
- Instanzen
- Tabellen, einschließlich Details zur Spaltenfamilie
Anleitungen zur Verwendung von Data Catalog für die Datenerkennung und finden Sie unter Daten-Assets verwalten mit Data Catalog in der Bigtable-Dokumentation.
Dataproc Metastore
Aktivieren Sie für die Integration in Dataproc Metastore die Synchronisierung für Data Catalog für neue oder vorhandene Dienste, wie unter Data Catalog-Synchronisierung aktivieren beschrieben.
Schutz sensibler Daten
Darüber hinaus lässt sich Data Catalog in den Schutz sensibler Daten einbinden, ermöglicht das Scannen bestimmter Google Cloud-Ressourcen auf sensible Daten und Ergebnisse in Form von Tags an Data Catalog zurücksenden.
Weitere Informationen finden Sie unter Scanergebnisse für den Schutz sensibler Daten an Data Catalog senden
Spanner (Vorschau)
Wenn Sie Daten in Spanner speichern, werden die Metadaten für mit Data Catalog synchronisiert:
- Instanzen
- Datenbanken
- Tabellen und Ansichten mit Spaltenschema
Anleitungen zur Verwendung von Data Catalog für die Datenerkennung und finden Sie unter Daten-Assets verwalten mit Data Catalog.
Vertex AI
Vertex AI synchronisiert Metadaten für die folgenden Ressourcen mit Data Catalog:
Lokale Datenquellen einbinden
Zum Einbinden lokaler Datenquellen können Sie die entsprechenden Python-Connectors verwenden, die von der Community bereitgestellt wurden:
- Suchen Sie die Datenquelle in der Tabelle unten.
- Öffnen Sie das zugehörige GitHub-Repository.
- Folgen Sie der Anleitung zur Einrichtung in der Readme-Datei.
Kategorie | Komponente | Beschreibung | Repository |
---|---|---|---|
RDBMS | mysql-connector | Beispielcode für die MySQL-Datenquelle. | google-datacatalog-mysql-connector |
postgresql-connector | Beispielcode für die PostgreSQL-Datenquelle. | google-datacatalog-postgresql-connector | |
sqlserver-connector | Beispielcode für die SQLServer-Datenquelle. | google-datacatalog-sqlserver-connector | |
redshift-connector | Beispielcode für Redshift-Datenquelle. | google-datacatalog-redshift-connector | |
oracle-connector | Beispielcode für die Oracle-Datenquelle. | google-datacatalog-oracle-connector | |
teradata-connector | Beispielcode für die Teradata-Datenquelle. | google-datacatalog-teradata-connector | |
vertica-connector | Beispielcode für die Vertica-Datenquelle. | google-datacatalog-vertica-connector | |
greenplum-connector | Beispielcode für die Greenplum-Datenquelle. | google-datacatalog-greenplum-connector | |
rdbmscsv-connector | Beispielcode für die allgemeine RDBMS-CSV-Aufnahme | google-datacatalog-rdbmscsv-connector | |
saphana-connector | Beispielcode für die SAP-Datenquelle | google-datacatalog-saphana-connector | |
BI | looker-connector | Beispielcode für die Looker-Datenquelle. | google-datacatalog-looker-connector |
qlik-connector | Beispielcode für die Qlik Sense-Datenquelle. | google-datacatalog-qlik-connector | |
tableau-connector | Beispielcode für die Tableau-Datenquelle. | google-datacatalog-tableau-connector | |
Hive | hive-connector | Beispielcode für die Hive-Datenquelle. | google-datacatalog-hive-connector |
apache-atlas-connector | Beispielcode für die Apache Atlas-Datenquelle. | google-datacatalog-apache-atlas-connector |
Nicht unterstützte Datenquellen einbinden
Wenn Sie keinen Connector für die Datenquelle finden, können Sie ihn manuell einbinden. Erstellen Sie dazu Eintragsgruppen und benutzerdefinierte Einträge. Gehen Sie dazu so vor:
- Verwenden Sie eine der Data Catalog-Clientbibliotheken in einer der folgenden Sprachen: C#, Go, Java, Node.js, PHP, Python oder Ruby.
- Sie können auch manuell auf den Data Catalog API
Informieren Sie sich über Einträge und Eintragsgruppen, bevor Sie Ihre Quellen einbinden, und folgen Sie der Anleitung unter Benutzerdefinierte Data Catalog-Einträge für Datenquellen erstellen.
Nächste Schritte
- Identitäts- und Zugriffsverwaltung
- Weitere Informationen zur Suche
- Kurzanleitung zum Taggen von Tabellen