Ihre Datenquellen in Data Catalog einbinden

Data Catalog kann Metadaten aus mehreren Google Cloud-Datenquellen sowie einer Reihe beliebter lokaler Daten importieren und auf dem neuesten Stand halten.

Wenn aufgenommene Metadaten vorhanden sind, führt Data Catalog Folgendes aus:

• Macht die vorhandenen Metadaten über die Suche sichtbar. Weitere Informationen finden Sie unter So suchen Sie.
• Die Mitglieder Ihrer Organisation können Ihre Daten mit zusätzlichen geschäftlichen Metadaten durch Tags anreichern. Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Die Integration in Google Cloud-Quellen erfolgt automatisch, kann jedoch in benutzerdefinierte lokale Quellen eingebunden werden, die Ihre Organisation verwendet. Sie haben folgende Möglichkeiten:

• Richten Sie die entsprechenden Connectors ein, die von der Community bereitgestellt werden.
• Verwenden Sie die Data Catalog API für benutzerdefinierte Einträge.

Hinweis: In diesem Dokument wird beschrieben, wie Sie Datenquellen in Data Catalog einbinden. Informationen zur Integration Datenquellen mit Dataplex Catalog finden Sie unter Datenquellen in Dataplex Catalog einbinden und Dataplex Catalog vs. Data Catalog.

Hinweis

Wenn Sie Data Catalog bereits verwenden, müssen Sie bereits ein Projekt mit der aktivierten Data Catalog API haben. Weitere Informationen zur empfohlenen Methode für die Verwendung mehrerer Projekte mit Data Catalog finden Sie unter Tag-Vorlagen in mehreren Projekten verwenden.

Wenn Sie zum ersten Mal mit dem Data Catalog interagieren, gehen Sie so vor:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Data Catalog API.

   Enable the API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Data Catalog API.

   Enable the API

Google Cloud-Datenquellen einbinden

Hinweis: In einem Projekt mit einer Organisationsrichtlinie, die Speicherorte für Ressourcen einschränkt, werden die Metadaten für einige Bigtable- und Spanner-Ressourcen möglicherweise nicht mit Data Catalog synchronisiert.

Analytics Hub

Wenn Sie einen Eintrag in Analytics Hub abonnieren, in Ihrem Projekt erstellt wird. Data Catalog generiert automatisch Metadateneinträge für das verknüpfte Dataset und alle Tabellen die in ihr enthalten sind. Weitere Informationen zu verknüpften Datasets und anderen Analytics Hub-Funktionen, siehe Einführung in Analytics Hub

In der Data Catalog-Suche werden verknüpfte Datasets als standardmäßige BigQuery-Datasets angezeigt. Sie können sie jedoch mithilfe des Prädikats type=dataset.linked filtern. Weitere Informationen finden Sie unter Nach Datenassets suchen.

BigQuery und Pub/Sub

Wenn Ihre Organisation bereits BigQuery und Pub/Sub verwendet, können Sie je nach Ihren Berechtigungen sofort nach den Metadaten suchen. Wenn die entsprechenden Einträge in den Suchergebnissen nicht angezeigt werden, suchen Sie nach den IAM-Rollen, die Sie und die Nutzer Ihres Projekts möglicherweise in Identity and Access Management benötigen.

Bigtable

Wenn Sie Daten in Bigtable speichern, werden Metadaten automatisch Data Catalog für die folgende Bigtable-Tabelle Ressourcen:

• Instanzen
• Tabellen, einschließlich Details zur Spaltenfamilie

Anleitungen zur Verwendung von Data Catalog für die Datenerkennung und finden Sie unter Daten-Assets verwalten mit Data Catalog in der Bigtable-Dokumentation.

Cloud SQL

Cloud SQL lässt sich nicht in Data Catalog einbinden, in Dataplex Catalog einbinden. Weitere Informationen finden Sie unter Datenquellen in Dataplex Catalog einbinden

Dataproc Metastore

Aktivieren Sie für die Integration in Dataproc Metastore die Synchronisierung für Data Catalog für neue oder vorhandene Dienste, wie unter Data Catalog-Synchronisierung aktivieren beschrieben.

Schutz sensibler Daten

Darüber hinaus lässt sich Data Catalog in den Schutz sensibler Daten einbinden, ermöglicht das Scannen bestimmter Google Cloud-Ressourcen auf sensible Daten und Ergebnisse in Form von Tags an Data Catalog zurücksenden.

Weitere Informationen finden Sie unter Scanergebnisse für den Schutz sensibler Daten an Data Catalog senden.

Spanner

Wenn Sie Daten in Spanner speichern, werden die Metadaten für die folgenden Spanner-Ressourcen mit Data Catalog synchronisiert:

• Instanzen
• Datenbanken
• Tabellen und Ansichten mit Spaltenschema

Anleitungen zur Verwendung von Data Catalog für die Datenerkennung und finden Sie unter Daten-Assets verwalten mit Data Catalog.

Vertex AI

Vertex AI synchronisiert Metadaten für die folgenden Ressourcen mit Data Catalog:

• Model Registry-Modelle
• Datasets
• Onlineshop-Instanzen
• Featureansichten
• Funktionsgruppen

Lokale Datenquellen einbinden

Zum Einbinden lokaler Datenquellen können Sie die entsprechenden Python-Connectors verwenden, die von der Community bereitgestellt wurden:

Hinweis: Diese Connectors werden nicht offiziell von Google unterstützt.

1. Suchen Sie die Datenquelle in der folgenden Tabelle.
2. Öffnen Sie das zugehörige GitHub-Repository.
3. Folgen Sie der Anleitung zur Einrichtung in der Readme-Datei.

Kategorie auswählen RDBMS BI Hive

Kategorie	Komponente	Beschreibung	Repository
RDBMS	mysql-connector	Beispielcode für die MySQL-Datenquelle.	google-datacatalog-mysql-connector
	postgresql-connector	Beispielcode für die PostgreSQL-Datenquelle.	google-datacatalog-postgresql-connector
	sqlserver-connector	Beispielcode für die SQLServer-Datenquelle.	google-datacatalog-sqlserver-connector
	redshift-connector	Beispielcode für Redshift-Datenquelle.	google-datacatalog-redshift-connector
	oracle-connector	Beispielcode für die Oracle-Datenquelle.	google-datacatalog-oracle-connector
	teradata-connector	Beispielcode für die Teradata-Datenquelle.	google-datacatalog-teradata-connector
	vertica-connector	Beispielcode für die Vertica-Datenquelle.	google-datacatalog-vertica-connector
	greenplum-connector	Beispielcode für die Greenplum-Datenquelle.	google-datacatalog-greenplum-connector
	rdbmscsv-connector	Beispielcode für die allgemeine RDBMS-CSV-Aufnahme	google-datacatalog-rdbmscsv-connector
	saphana-connector	Beispielcode für die SAP-Datenquelle	google-datacatalog-saphana-connector
BI	looker-connector	Beispielcode für die Looker-Datenquelle.	google-datacatalog-looker-connector
	qlik-connector	Beispielcode für die Qlik Sense-Datenquelle.	google-datacatalog-qlik-connector
	tableau-connector	Beispielcode für die Tableau-Datenquelle.	google-datacatalog-tableau-connector
Hive	hive-connector	Beispielcode für die Hive-Datenquelle.	google-datacatalog-hive-connector
	apache-atlas-connector	Beispielcode für die Apache Atlas-Datenquelle.	google-datacatalog-apache-atlas-connector

Nicht unterstützte Datenquellen einbinden

Wenn Sie keinen Connector für die Datenquelle finden, können Sie ihn manuell einbinden. Erstellen Sie dazu Eintragsgruppen und benutzerdefinierte Einträge. Gehen Sie dazu so vor:

• Verwenden Sie eine der Data Catalog-Clientbibliotheken in einer der folgenden Sprachen: C#, Go, Java, Node.js, PHP, Python oder Ruby.
• Sie können auch manuell auf den Data Catalog API

Informieren Sie sich über Einträge und Eintragsgruppen, bevor Sie Ihre Quellen einbinden, und folgen Sie der Anleitung unter Benutzerdefinierte Data Catalog-Einträge für Datenquellen erstellen.

Nächste Schritte

• Identitäts- und Zugriffsverwaltung
• Weitere Informationen zur Suche
• Kurzanleitung zum Taggen von Tabellen