Studio-Verwaltung verwalten

Auf dieser Seite werden die Verwaltungsfunktionen beschrieben, die Cloud Data Fusion Studio für die Konfigurationsverwaltung bietet. Cloud Data Fusion folgt einer Hierarchie, in der jede Instanz mehrere Namespaces haben kann. In Cloud Data Fusion Studio können Administratoren alle Namespaces zentral oder einzeln verwalten. Cloud Data Fusion Studio bietet die folgenden System- und Namespace-Steuerelemente.

Systemverwaltung

Wenn Sie in Cloud Data Fusion Studio auf Systemadministrator klicken, werden die folgenden Tabs angezeigt:

  • Auf dem Tab Verwaltung sehen Sie den Systemstatus verschiedener Cloud Data Fusion-Dienste. Außerdem können Sie sich Protokolle für jeden der Dienste ansehen.

  • Auf dem Tab Konfiguration können Sie die folgenden Steuerelemente erstellen, aufrufen und bearbeiten:

Bereitsteller sind für das Erstellen, Initialisieren und Löschen der Cloud-Umgebung verantwortlich, in der Pipelines ausgeführt werden. Jeder Bereitsteiler stellt eine Reihe von Konfigurationen bereit, mit denen gesteuert wird, welche Art von Cluster erstellt und gelöscht wird. Unterschiedliche Bereitsteller erstellen unterschiedliche Arten von Clustern.

Jedes Compute-Profil hat einen Umfang: „System“ oder „Nutzer“. Sie können ein System-Berechnungsprofil für alle darunter liegenden Namespaces verwenden. Nutzer-Compute-Profile befinden sich in einem Namespace und können nur von Pipelines in diesem Namespace verwendet werden.

Auf dem Tab Konfigurationen können Sie ein Systemrechenprofil erstellen, das auf alle Namespaces angewendet wird. Cloud Data Fusion weist ein Standard-Rechenprofil zu.

Wenn Sie ein Compute-Profil erstellen, wählen Sie den Bereitsteller aus, mit dem die Cloud-Laufzeitdetails im Profil erstellt und konfiguriert werden.

Systemeinstellungen

Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion gelten, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme innerhalb von Pipelines. In den Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Diese Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich sich wiederholende Konfigurationsaufgaben reduzieren lassen. Weitere Informationen finden Sie unter Makros, Einstellungen und Laufzeitargumente verwalten.

HTTP-Aufrufaktion

Mit der HTTP-Aufrufaktion auf der Seite Systemadministrator können Sie direkt über die Cloud Data Fusion Studio-Benutzeroberfläche mit der Cloud Data Fusion API oder möglicherweise anderen Google Cloud Dienst-APIs interagieren. Wenn Sie jedoch Datenverarbeitungspipelines mit externen Datenquellen erstellen, sollten Sie stattdessen das HTTP-Plug-in und den HTTP-Aufruf-Executor in Ihren Pipelines verwenden. Sie unterscheidet sich geringfügig von der HTTP-Aufruf-Aktion, die zugrunde liegenden Konzepte sind jedoch ähnlich.

Konfigurationen und Anwendungsfälle

Die HTTP-Aufruf-Aktion wird hauptsächlich für Verwaltungsaufgaben oder Konfigurationszwecke in Cloud Data Fusion verwendet. Sie können direkt über Cloud Data Fusion Studio mit der Cloud Data Fusion API oder anderen Google Cloud Diensten interagieren, die eine HTTP API bereitstellen.

Konfigurationen

Sie können die folgenden Details für einen HTTP-Aufruf definieren:

  • URL: Der Zielendpunkt des Webdienstes, den Sie aufrufen möchten.
  • Method: Die zu verwendende HTTP-Methode, z. B. GET, POST oder PUT.
  • Optional: Header: Alle benutzerdefinierten Header, die für die Anfrage erforderlich sind.
  • Optional: Body: Daten, die im Anfragetext gesendet werden sollen, z. B. für POST- und PUT-Aufrufe.

Sie können dann den definierten HTTP-Aufruf ausführen und die Antwort des Webdienstes in Cloud Data Fusion Studio ansehen.

Anwendungsfälle
  • Cloud Data Fusion API-Aufrufe testen Mit der HTTP-Aufrufaktion können Sie die Funktionen der Cloud Data Fusion API direkt über die Weboberfläche testen oder untersuchen. Diese Aktion kann hilfreich sein, um das API-Verhalten zu verstehen oder potenzielle Probleme zu beheben.
  • Namespaces verwalten (erweitert) Es gibt zwar eine spezielle Benutzeroberfläche für die Namespaceverwaltung, aber die HTTP-Aufrufaktion kann für erweiterte Aufgaben verwendet werden, indem direkt die Cloud Data Fusion API zum Erstellen, Löschen oder Konfigurieren von Namespaces aufgerufen wird.
  • Interaktion mit anderen Google Cloud Diensten (eingeschränkt) Wenn andere Google Cloud von Ihnen verwendete Dienste eine öffentlich dokumentierte HTTP-API haben, können Sie die HTTP-Aufruf-Aktion verwenden, um mit diesen Diensten zu interagieren. Dies ist jedoch ein seltener Anwendungsfall.
Wichtige Aspekte
  • Sicherheit: Verwenden Sie die HTTP-Aufrufaktion mit Vorsicht, insbesondere bei sensiblen Daten oder Cloud Data Fusion API-Aufrufen, die sich auf Ihre Umgebung auswirken könnten. Machen Sie sich mit den Auswirkungen jedes API-Aufrufs vertraut, bevor Sie ihn ausführen.
  • Einschränkungen: Die HTTP-Aufruf-Aktion dient hauptsächlich zu administrativen Aufgaben und zu Testzwecken. Er ist nicht für die Erstellung komplexer Datenverarbeitungspipelines mit Datenmanipulation in Cloud Data Fusion konzipiert.
  • Alternative für Pipelines: Wenn Sie externe Datenquellen oder ‑dienste in Ihre Datenpipelines einbinden möchten, verwenden Sie das HTTP-Plug-in und den zugehörigen HTTP-Aufrufausführer in Ihren Pipelinedefinitionen. So können Sie HTTP-Interaktionen in Ihren Datenverarbeitungsworkflows robuster und kontrollierter verwalten.

Namespace-Verwaltung

Wenn Sie in Cloud Data Fusion Studio auf Namespace-Administrator klicken, können Sie die Konfigurationen für den jeweiligen Namespace verwalten. Für jeden Namespace können Sie die folgenden Aspekte definieren:

  • Compute-Profile: Die Profile, die unter Namespace-Administrator eingerichtet wurden, sind Nutzer-Compute-Profile. Diese Nutzer-Compute-Profile können nur von Pipelines in diesem Namespace verwendet werden. Weitere Informationen finden Sie unter Computing-Profile verwalten.
  • Einstellungen: Einstellungen, die auf Namespaceebene definiert sind, gelten für den Namespace, Anwendungen (die Pipelines enthalten) und einzelne Programme innerhalb von Pipelines. Weitere Informationen finden Sie unter Makros, Einstellungen und Laufzeitargumente verwalten.
  • Verbindungen: In Cloud Data Fusion können Sie Verbindungen zu Quellen und Senken in Datenpipelines wiederverwenden. Sie können Verbindungen auf der Seite „Namespace-Administrator“ hinzufügen. Weitere Informationen finden Sie unter Verbindungen erstellen und verwalten.
  • Treiber: Für einige Plug-ins in Cloud Data Fusion muss dem Namensbereich ein JDBC-Treiber hinzugefügt werden. Bevor Sie beispielsweise eine Pipeline mit einem MySQL-Batch-Quell-Plug-in ausführen können, müssen Sie dem Namespace den unterstützten MySQL-Treiber hinzufügen. Sie können JDBC-Treiber auf der Seite „Namespace-Verwaltung“ oder direkt im Hub in einen Namespace hochladen oder daraus entfernen. Weitere Informationen finden Sie unter Plug-in-Treiber.
  • Versionsverwaltung: Mit der Versionsverwaltung können Sie einen Namensbereich mit dem Repository Ihres Versionskontrollsystems verbinden, um den Entwicklungsvorgang für bereitgestellte Pipelines effizient zu verwalten. Weitere Informationen finden Sie unter Pipelines mithilfe der Versionskontrolle verwalten.
  • Dienstkonto: Für die Zugriffssteuerung auf Google Cloud -Ressourcen verwenden Namespaces in Cloud Data Fusion standardmäßig den Cloud Data Fusion API-Dienst-Agent.

Für eine bessere Datenisolierung können Sie jedem Namespace ein benutzerdefiniertes IAM-Dienstkonto (Identity and Access Management) zuweisen, das als Dienstkonto pro Namespace bezeichnet wird. Mit dem benutzerdefinierten IAM-Dienstkonto, das sich für verschiedene Namespaces unterscheiden kann, können Sie den Zugriff auf Google Cloud Ressourcen zwischen Namespaces für Pipeline-Vorgänge zur Entwurfszeit in Cloud Data Fusion steuern, z. B. Pipeline-Vorschau, Wrangler und Pipeline-Validierung. Weitere Informationen finden Sie unter Zugriffssteuerung mit Namespace-Dienstkonto.

Nächste Schritte