Ihre Datenquellen in Data Catalog einbinden

Data Catalog kann aktuelle Metadaten aus mehreren sowie aus mehreren beliebten lokalen Datenquellen importieren und speichern.

Wenn aufgenommene Metadaten vorhanden sind, führt Data Catalog Folgendes aus:

  • Macht die vorhandenen Metadaten über die Suche sichtbar. Weitere Informationen finden Sie unter So suchen Sie.
  • Die Mitglieder Ihrer Organisation können Ihre Daten mit zusätzlichen geschäftlichen Metadaten durch Tags anreichern. Weitere Informationen finden Sie unter Tags und Tag-Vorlagen.

Die Integration in Google Cloud-Quellen erfolgt automatisch, kann jedoch in benutzerdefinierte lokale Quellen eingebunden werden, die Ihre Organisation verwendet. Sie haben folgende Möglichkeiten:

Hinweise

Wenn Sie Data Catalog bereits verwenden, müssen Sie bereits ein Projekt mit der aktivierten Data Catalog API haben. Weitere Informationen zur empfohlenen Methode für die Verwendung mehrerer Projekte mit Data Catalog finden Sie unter Tag-Vorlagen in mehreren Projekten verwenden.

Wenn Sie zum ersten Mal mit dem Data Catalog interagieren, gehen Sie so vor:

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Data Catalog API aktivieren.

    Aktivieren Sie die API

    5.

  5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. Data Catalog API aktivieren.

    Aktivieren Sie die API

    8.

Google Cloud-Datenquellen einbinden

Analytics Hub

Wenn Sie einen Eintrag in Analytics Hub abonnieren, wird in Ihrem Projekt ein verknüpftes Dataset erstellt. Data Catalog generiert automatisch Metadateneinträge für das verknüpfte Dataset und alle darin enthaltenen Tabellen. Weitere Informationen zu verknüpften Datasets und anderen Analytics Hub-Funktionen finden Sie unter Einführung in Analytics Hub.

In der Data Catalog-Suche werden verknüpfte Datasets als BigQuery-Standard-Datasets angezeigt. Sie können sie jedoch mit dem Prädikat type=dataset.linked filtern. Weitere Informationen finden Sie unter Nach Daten-Assets suchen.

BigQuery und Pub/Sub

Wenn Ihre Organisation bereits BigQuery und Pub/Sub verwendet, können Sie je nach Ihren Berechtigungen sofort nach den Metadaten suchen. Wenn die entsprechenden Einträge in den Suchergebnissen nicht angezeigt werden, suchen Sie nach den IAM-Rollen, die Sie und die Nutzer Ihres Projekts möglicherweise in Identity and Access Management benötigen.

Schutz sensibler Daten

Darüber hinaus lässt sich Data Catalog in den Schutz sensibler Daten einbinden, sodass Sie bestimmte Google Cloud-Ressourcen auf sensible Daten prüfen und Ergebnisse in Form von Tags an Data Catalog zurücksenden können.

Weitere Informationen finden Sie unter Ergebnisse von Scans zum Schutz sensibler Daten an Data Catalog senden.

Bigtable

Wenn Sie Daten in Bigtable speichern, werden die Metadaten der folgenden Bigtable-Ressourcen automatisch mit Data Catalog synchronisiert:

  • Instanzen
  • Tabellen, einschließlich Details zur Spaltenfamilie

Eine Anleitung zur Verwendung von Data Catalog für die Datenerkennung und das Tagging von Daten finden Sie in der Bigtable-Dokumentation unter Daten-Assets mit Data Catalog verwalten.

Spanner (Vorschau)

Wenn Sie Daten in Spanner speichern, werden die Metadaten der folgenden Spanner-Ressourcen mit Data Catalog synchronisiert:

  • Instanzen
  • Datenbanken
  • Tabellen und Ansichten mit Spaltenschema

Eine Anleitung zur Verwendung von Data Catalog für die Datenerkennung und das Tagging von Daten finden Sie unter Daten-Assets mit Data Catalog verwalten.

Dataproc Metastore

Aktivieren Sie für die Integration in Dataproc Metastore die Synchronisierung für Data Catalog für neue oder vorhandene Dienste, wie unter Data Catalog-Synchronisierung aktivieren beschrieben.

Vertex AI

Vertex AI synchronisiert Metadaten für die folgenden Ressourcen mit Data Catalog:

Lokale Datenquellen einbinden

Zum Einbinden lokaler Datenquellen können Sie die entsprechenden Python-Connectors verwenden, die von der Community bereitgestellt wurden:

  1. Suchen Sie die Datenquelle in der Tabelle unten.
  2. Öffnen Sie das zugehörige GitHub-Repository.
  3. Folgen Sie der Anleitung zur Einrichtung in der Readme-Datei.
Kategorie Komponente Beschreibung Repository
RDBMS mysql-connector Beispielcode für die MySQL-Datenquelle. google-datacatalog-mysql-connector
postgresql-connector Beispielcode für die PostgreSQL-Datenquelle. google-datacatalog-postgresql-connector
sqlserver-connector Beispielcode für die SQLServer-Datenquelle. google-datacatalog-sqlserver-connector
redshift-connector Beispielcode für Redshift-Datenquelle. google-datacatalog-redshift-connector
oracle-connector Beispielcode für die Oracle-Datenquelle. google-datacatalog-oracle-connector
teradata-connector Beispielcode für die Teradata-Datenquelle. google-datacatalog-teradata-connector
vertica-connector Beispielcode für die Vertica-Datenquelle. google-datacatalog-vertica-connector
greenplum-connector Beispielcode für die Greenplum-Datenquelle. google-datacatalog-greenplum-connector
rdbmscsv-connector Beispielcode für die allgemeine RDBMS-CSV-Aufnahme google-datacatalog-rdbmscsv-connector
saphana-connector Beispielcode für die SAP-Datenquelle google-datacatalog-saphana-connector
BI looker-connector Beispielcode für die Looker-Datenquelle. google-datacatalog-looker-connector
qlik-connector Beispielcode für die Qlik Sense-Datenquelle. google-datacatalog-qlik-connector
tableau-connector Beispielcode für die Tableau-Datenquelle. google-datacatalog-tableau-connector
Hive hive-connector Beispielcode für die Hive-Datenquelle. google-datacatalog-hive-connector
apache-atlas-connector Beispielcode für die Apache Atlas-Datenquelle. google-datacatalog-apache-atlas-connector

Nicht unterstützte Datenquellen einbinden

Wenn Sie keinen Connector für die Datenquelle finden, können Sie ihn manuell einbinden. Erstellen Sie dazu Eintragsgruppen und benutzerdefinierte Einträge. Gehen Sie dazu so vor:

Informieren Sie sich über Einträge und Eintragsgruppen, bevor Sie Ihre Quellen einbinden, und folgen Sie der Anleitung unter Benutzerdefinierte Data Catalog-Einträge für Datenquellen erstellen.

Nächste Schritte