Verwaltete Verbindung – Übersicht

In diesem Dokument finden Sie einen Überblick über die verwalteten Verbindungspipelines, mit denen Sie Metadaten aus Drittanbieterquellen in Dataplex importieren können.

Mit der verwalteten Konnektivität können Sie Metadaten in großem Umfang in Dataplex importieren. Eine verwaltete Verbindungspipeline extrahiert Metadaten aus Ihren Datenquellen und importiert sie dann in Dataplex. Bei Bedarf kann die Pipeline erstellt außerdem Dataplex Catalog-Eintragsgruppen in Ihrem Google Cloud-Projekt Sie können die Workflows orchestrieren und die Importjobs entsprechend Ihren Anforderungen planen.

Sie erstellen eigene benutzerdefinierte Connectors, um Metadaten aus Drittanbieterquellen zu extrahieren. Sie können beispielsweise einen Connector erstellen, um Metadaten aus Quellen wie MySQL, SQL Server, Oracle, Snowflake und Databricks zu extrahieren. Für Schritte zum Erstellen ein Beispiel für einen benutzerdefinierten Connector finden Sie unter Benutzerdefinierten Connector für den Metadatenimport entwickeln

Schritte zum Ausführen einer verwalteten Verbindungspipeline finden Sie unter Metadaten aus einer benutzerdefinierten Quelle mit Workflows importieren.

So funktioniert die verwaltete Konnektivität

Das folgende Diagramm zeigt eine verwaltete Verbindungspipeline.

Eine verwaltete Konnektivitätspipeline.

So funktioniert die verwaltete Verbindung grob:

  1. Sie erstellen einen Connector für Ihre Datenquelle.

    Der Connector muss ein Artifact Registry-Image sein, das auf Dataproc Serverless

  2. Sie führen die verwaltete Konnektivitätspipeline in Workflows aus, einer Orchestrierungsplattform.

  3. Die Pipeline für die verwaltete Konnektivität führt folgende Aufgaben aus:

    1. Erstellt eine Zieleintragsgruppe basierend auf Ihrer Konfiguration, wenn der Eintrag Die Gruppe ist noch nicht vorhanden.
    2. Führt den Connector aus. Der Connector extrahiert die Metadaten aus Ihrer Datenquelle und generiert eine Metadatenimportdatei, die in den Dataplex-Katalog importiert werden kann.
    3. Hier wird der Fortschritt der Metadatenextraktion überwacht.
    4. Führt einen Metadatenimportjob aus, in den die Metadaten importiert werden Dataplex-Katalog.
    5. Überwacht den Fortschritt des Metadatenimportjobs.

In der verwalteten Verbindungspipeline wird Dataproc Serverless zum Ausführen des Connectors und die Dataplex-Metadatenimport-API-Methoden zum Ausführen des Metadatenimportjobs verwendet.

Die importierten Metadaten bestehen aus Dataplex Catalog Beiträge und ihre Aspekte. Weitere Informationen zu Dataplex Catalog-Metadaten finden Sie in der Dataplex Catalog-Übersicht.

Nächste Schritte