Einführung in Cloud Data Fusion: Console

Auf dieser Seite wird die Cloud Data Fusion Console, auch Kontrollebene genannt, vorgestellt. Es besteht aus einer Reihe von API- Operations und eine Google Cloud Console-Oberfläche, können Sie eine Cloud Data Fusion-Instanz verwalten. So können Sie beispielsweise mit der Console eine Instanz erstellen, löschen, neu starten oder aktualisieren.

Hinweis

Cloud Data Fusion: Console-Übersicht

In den folgenden Abschnitten werden wichtige Aspekte der Konsole beschrieben.

Instanzen

Eine Instanz ist eine einmalige Bereitstellung von Cloud Data Fusion. So verwenden Sie Cloud Data Fusion erstellen Sie eine Instanz in der Google Cloud Console. Sie können mehrere Cloud Data Fusion-Instanzen in einem einzigen Google Cloud-Projekt erstellen. Sie können für jede Instanz eine Google Cloud-Region angeben. Jede Instanz ist eine eindeutige, unabhängige Cloud Data Fusion-Bereitstellung, die eine Reihe von Diensten für die Verwaltung des Pipelinelebenszyklus, die Orchestrierung, Koordinierung und die Metadatenverwaltung enthält. Diese Dienste werden mit lang laufenden Ressourcen in einem Mandantenprojekt ausgeführt.

Berücksichtigen Sie beim Erstellen der Instanz die folgenden Optionen.

Version

Sie erstellen die Instanz in einer der folgenden Cloud Data Fusion-Versionen: Entwickler, Basic oder Enterprise. Wählen Sie die Version anhand der folgenden Kriterien aus:

  • Kosten
  • Limits für die Gleichzeitigkeit bei der Pipelineausführung
  • Verfügbarkeit der rollenbasierten Zugriffssteuerung (RBAC)

Die Versionen sind für folgende Anwendungsfälle vorgesehen:

Cloud Data Fusion-Version Anwendungsfall
Entwicklerversion Für Entwicklung, Tests oder kleine Integrationen
Basic Edition Für die Produktion mit durchschnittlichen Anforderungen
Enterprise-Version Für umfangreiche, geschäftskritische Datenpipelines mit RBAC

Öffentliche oder private Instanz

Entscheiden Sie je nach Bedarf, ob Sie eine öffentliche oder eine private Instanz. Die Hauptunterschiede zwischen privaten und öffentlichen Instanzen in Cloud Data Fusion umfasst Netzwerkkonnektivität und -sicherheit:

Cloud Data Fusion-Instanztyp Verhalten
Öffentliche Instanz
  • Netzwerkverbindung: Verwendet öffentliche IP-Adressen, um eine Verbindung zum Internet herzustellen.
  • Datenzugriff: greift direkt auf Datenquellen auf der öffentlich zugänglichen Internet.
Weitere Informationen finden Sie unter Öffentliche Instanz erstellen.
Private Instanz
  • Netzwerkverbindung: Verwendet private IP-Adressen in einem VPC-Netzwerk (Virtual Private Cloud)
  • Datenzugriff: Erfordert vorkonfigurierte Verbindungen, um auf Datenquellen zuzugreifen. Die folgenden Verbindungen werden unterstützt:
    • Lokale Datenquellen, die über VPN oder Cloud Interconnect
    • Andere Google Cloud-Dienste, die privat innerhalb desselben VPC

Autorisierung und Dienstkonto

Cloud Data Fusion hat in der Regel zwei Dienstkonten:

Dienstkonto für die Designzeit
Dieses von Google verwaltete Dienstkonto, der sogenannte Cloud Data Fusion API-Dienst-Agent, wird im Mandantenprojekt von Cloud Data Fusion verwendet, um auf Kundenprojektressourcen zuzugreifen.
Dienstkonto für die Ausführung
Das ist das standardmäßige Compute Engine-Dienstkonto, das von Cloud Data Fusion erstellt wird, um Jobs bereitzustellen, die auf andere Google Cloud-Ressourcen zugreifen. Standardmäßig wird es an Dataproc angehängt. Cluster-VM, damit Cloud Data Fusion auf Dataproc zugreifen kann während einer Pipelineausführung.

Weitere Informationen finden Sie unter Dienstkonten in Cloud Data Fusion.

Logging und Monitoring

Cloud Logging und Cloud Monitoring sind entscheidend, um Informationen zum Status und die Leistung Ihrer Cloud Data Fusion-Pipelines. Sie aktivieren Logging und Monitoring nur, wenn Sie die Cloud Data Fusion-Instanz erstellen.

Wenn Sie Logging und Monitoring aktivieren, können Sie Cloud Data Fusion-Pipelinelogs in der Google Cloud Console auf der Logging-Viewer:

Monitoring bietet integrierte Dashboards für Cloud Data Fusion. Sie können auch benutzerdefinierte Dashboards erstellen, spezifischer Metriken.

Lineage-Einbindung in Dataplex

Cloud Data Fusion bietet eine Integration mit Dataplex für die Herkunftsermittlung. Weitere Informationen finden Sie unter Herkunft in Dataplex ansehen.

Verschlüsselung

Mit vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK) können Sie inaktive Daten mit einem Schlüssel verschlüsseln, den Sie über den Cloud Key Management Service verwalten können. CMEK bietet Nutzern die Kontrolle über die Daten, die in internen Google Cloud-Ressourcen in Mandantenprojekten und über Daten, die von Cloud Data Fusion-Pipelines geschrieben werden. Weitere Informationen finden Sie unter Vom Kunden verwaltete Datenverschlüsselung.

Berechtigungen mit der rollenbasierten Zugriffssteuerung (RBAC) verwalten

In Cloud Data Fusion können Sie die Zugriffssteuerung mit Identity and Access Management (IAM) steuern.

Für detaillierte Berechtigungen für Aktionen in Cloud Data Fusion: Studio mit RBAC. Weitere Informationen finden Sie in der Übersicht über die rollenbasierte Zugriffssteuerung.

Versionsupgrades

Für Cloud Data Fusion gibt es Versionen. Sie können eine Instanz auf eine spätere Instanz upgraden Version in der Cloud Data Fusion-Konsole. Weitere Informationen finden Sie unter Versionierung in Cloud Data Fusion.

Nächste Schritte