Einführung in Cloud Data Fusion: Console

Auf dieser Seite wird die Cloud Data Fusion Console, auch Kontrollebene genannt, vorgestellt. Es handelt sich um eine Reihe von API-Vorgängen und eine Google Cloud Console-Oberfläche, mit der Sie eine Cloud Data Fusion-Instanz verwalten können. So können Sie beispielsweise mit der Console eine Instanz erstellen, löschen, neu starten oder aktualisieren.

Hinweis

Cloud Data Fusion: Console – Übersicht

In den folgenden Abschnitten werden wichtige Aspekte der Konsole beschrieben.

Instanzen

Eine Instanz ist eine einmalige Bereitstellung von Cloud Data Fusion. Wenn Sie Cloud Data Fusion verwenden möchten, müssen Sie zuerst eine Instanz in der Google Cloud Console erstellen. Sie können mehrere Cloud Data Fusion-Instanzen in einem einzigenGoogle Cloud -Projekt erstellen. Sie können für jede Instanz eine Google Cloud Region angeben. Jede Instanz ist eine eindeutige, unabhängige Cloud Data Fusion-Bereitstellung, die eine Reihe von Diensten für die Verwaltung des Pipelinelebenszyklus, die Orchestrierung, Koordinierung und die Metadatenverwaltung enthält. Diese Dienste werden mit lang laufenden Ressourcen in einem Mandantenprojekt ausgeführt.

Berücksichtigen Sie beim Erstellen der Instanz die folgenden Optionen.

Version

Sie erstellen die Instanz in einer der folgenden Cloud Data Fusion-Versionen: Developer, Basic oder Enterprise. Wählen Sie die Version anhand der folgenden Kriterien aus:

  • Kosten
  • Limits für die Gleichzeitigkeit bei der Pipelineausführung
  • Verfügbarkeit der rollenbasierten Zugriffssteuerung (RBAC)

Die Versionen sind für die folgenden Anwendungsfälle vorgesehen:

Cloud Data Fusion-Version Anwendungsfall
Entwicklerversion Für Entwicklung, Tests oder kleine Integrationen
Basic Edition Für die Produktion mit durchschnittlichen Anforderungen
Enterprise-Version Für umfangreiche, geschäftskritische Datenpipelines mit RBAC

Öffentliche oder private Instanz

Entscheiden Sie je nach Ihren Anforderungen, ob Sie eine öffentliche oder eine private Instanz benötigen. Die wichtigsten Unterschiede zwischen privaten und öffentlichen Instanzen in Cloud Data Fusion sind Netzwerkkonnektivität und Sicherheit:

Cloud Data Fusion-Instanztyp Verhalten
Öffentliche Instanz
  • Netzwerkverbindung: Verwendet öffentliche IP-Adressen, um eine Verbindung zum Internet herzustellen.
  • Datenzugriff: Hier wird direkt auf Datenquellen im öffentlichen Internet zugegriffen.
Weitere Informationen finden Sie unter Öffentliche Instanz erstellen.
Private Instanz
  • Netzwerkkonnektivität: Es werden private IP-Adressen in einem VPC-Netzwerk (Virtual Private Cloud) verwendet.
  • Datenzugriff: Erfordert vorkonfigurierte Verbindungen, um auf Datenquellen zuzugreifen. Folgende Verbindungen werden unterstützt:
    • Lokale Datenquellen, die über VPN oder Cloud Interconnect verbunden sind
    • Andere Google Cloud Dienste, die privat innerhalb desselben VPC ausgeführt werden.

Autorisierung und Dienstkonto

Cloud Data Fusion hat in der Regel zwei Dienstkonten:

Dienstkonto für die Designzeit
Dieses von Google verwaltete Dienstkonto, der sogenannte Cloud Data Fusion API-Dienst-Agent, wird im Mandantenprojekt von Cloud Data Fusion verwendet, um auf Kundenprojektressourcen zuzugreifen.
Dienstkonto für die Ausführung
Das ist das Compute Engine-Standarddienstkonto, das von Cloud Data Fusion erstellt wird, um Jobs bereitzustellen, die auf andereGoogle Cloud -Ressourcen zugreifen. Dieses Konto wird standardmäßig einer Dataproc-Cluster-VM hinzugefügt, damit Cloud Data Fusion während der Ausführung einer Pipeline auf Dataproc-Ressourcen zugreifen kann.

Weitere Informationen finden Sie unter Dienstkonten in Cloud Data Fusion.

Logging und Monitoring

Cloud Logging und Cloud Monitoring sind entscheidend, um den Status und die Leistung Ihrer Cloud Data Fusion-Pipelines zu analysieren. Sie aktivieren Logging und Monitoring nur beim Erstellen der Cloud Data Fusion-Instanz.

Wenn Sie Logging und Monitoring aktivieren, können Sie Cloud Data Fusion-Pipeline-Logs in der Google Cloud Console auf der Seite Loganzeige aufrufen.

Monitoring bietet integrierte Dashboards für Cloud Data Fusion. Sie können auch benutzerdefinierte Dashboards erstellen, um bestimmte Messwerte zu überwachen.

Lineage-Einbindung in Dataplex

Cloud Data Fusion bietet eine Integration mit Dataplex für die Herkunftsermittlung. Weitere Informationen finden Sie unter Herkunft in Dataplex ansehen.

Verschlüsselung

Mit vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK) können Sie inaktive Daten mit einem Schlüssel verschlüsseln, den Sie über den Cloud Key Management Service verwalten können. CMEK bietet Nutzern die Kontrolle über die Daten, die in internen Ressourcen in Mandantenprojekten und über Daten, die von Cloud Data Fusion-Pipelines geschrieben werden. Google Cloud Weitere Informationen finden Sie unter Vom Kunden verwaltete Datenverschlüsselung.

Berechtigungen mit der rollenbasierten Zugriffssteuerung (RBAC) verwalten

In Cloud Data Fusion können Sie die Zugriffssteuerung mit Identity and Access Management (IAM) steuern.

Verwenden Sie die RBAC, um detaillierte Berechtigungen für Aktionen zu erhalten, die in Cloud Data Fusion: Studio ausgeführt werden. Weitere Informationen finden Sie in der Übersicht über die rollenbasierte Zugriffssteuerung.

Versionsupgrades

Cloud Data Fusion hat Versionen. Sie können eine Instanz in der Cloud Data Fusion-Konsole auf eine neuere Version aktualisieren. Weitere Informationen finden Sie unter Versionierung in Cloud Data Fusion.

Nächste Schritte