Auf dieser Seite wird erläutert, wie Sie Einstellungen, Makros und Laufzeitargumente in Cloud Data Fusion-Pipelines festlegen.
Wichtige Begriffe
- Makros
- Makros sind Platzhalter in Plug-in-Konfigurationen von Cloud Data Fusion. Sie werden durch Variablen dargestellt, die in
${ }eingeschlossen sind, z. B.${input_file_path}. Makros machen Ihre Pipelines flexibler, da Sie Platzhalterwerte verwenden können, die zur Laufzeit durch tatsächliche Werte ersetzt werden. Dies ermöglicht die dynamische Konfiguration von Parametern wie Dateipfaden und Tabellennamen. - Einstellungen
- Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion gelten. Dazu gehören das System selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelne Programme innerhalb von Pipelines. Mit Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Die Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich wiederholende Konfigurationsaufgaben reduziert werden.
- Laufzeitargumente
- Laufzeitargumente sind Schlüssel/Wert-Paare, die Werte für Makros liefern und möglicherweise Einstellungen überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen. Sie sind hochgradig anpassbar, sodass Sie Konfigurationen für jede Pipeline-Ausführung anpassen können, ohne die zugrunde liegende Pipeline oder die Einstellungen ändern zu müssen.
Makros einrichten
So verwenden Sie ein Makro für einen Plug-in-Eigenschaftswert:
- Rufen Sie in Cloud Data Fusion Studio den Plug-in-Knoten auf und klicken Sie auf „Eigenschaften“.
- Gehen Sie zu dem Feld, in dem Sie ein Makro verwenden möchten, und klicken Sie auf** M** neben dem Feld.
- Geben Sie einen Schlüssel für das Makro ein. Geben Sie beispielsweise in den Plug-in-Eigenschaften der Dateiquelle den folgenden Schlüssel in das Feld „Format“ ein:
${format.type}.
Makrowerte festlegen
Legen Sie Werte für Makros fest, bevor Sie eine Vorschau der Daten für eine Pipeline anzeigen und bevor Sie eine Pipeline ausführen. Sie können Makrowerte an folgenden Stellen festlegen:
- Argumentsetter-Plug-ins
- Laufzeitargumente
- Anwendungseinstellungen
- Namespace-Einstellungen
- Systemeinstellungen
Das Ausführen einer Pipeline mit Makros hat folgende Auswirkungen:
- Cloud Data Fusion prüft zuerst, ob die Pipeline ein Argumentsetter-Plug-in enthält:
- Wenn Cloud Data Fusion einen Argument-Setter hat, verwendet es die Werte für Makros daraus.
- Wenn kein Argumentsetter oder Makros vorhanden sind, die nicht im Argumentsetter zugewiesen sind, verwendet Cloud Data Fusion stattdessen die Werte in den Pipelinelaufzeitargumenten.
- Laufzeitargumente übernehmen Makros aus den Anwendungseinstellungen.
- Anwendungseinstellungen übernehmen Makros aus Namespace-Einstellungen
- Namespace-Einstellungen übernehmen Makros aus den Systemeinstellungen.
Beispiele
Makros werden häufig in Pfadfeldern verwendet. Anstelle hartcodierter Pfade können Sie dynamische Pfade verwenden. In einem Cloud Storage-Quell-Plug-in können Sie beispielsweise den Pfadwert durch mehrere Makros ersetzen. Durch den folgenden Wert werden die Bucket-, Ordner- und Dateielemente aufgeteilt: gs://${bucket.name}/${folder}/${file.name}.
Im folgenden Beispiel werden Daten aus einem statischen Bucket und einer Datei mit einem nicht statischen Namen geladen. Geben Sie den Namen des Buckets ein und verwenden Sie als Dateinamen ein Makro: gs://<BUCKET_NAME>/${folder}/${file.name}.
Einstellungen einrichten
Im folgenden Abschnitt wird die Hierarchie der Einstellungen beschrieben, in der Einstellungen festgelegt, übernommen oder überschrieben werden.
Systemeinstellungen festlegen
Sie können Einstellungen für das System festlegen. Da Makronamen eindeutig sein müssen, gilt jede Einstellung für alle Pipelines, die dieses Makro verwenden.
Angenommen, Sie haben eine Pipeline mit einer Datenbankquelle und verwenden Makros für den Datenbanknamen und den Nutzernamen. Sie können die Datenbank- und Nutzernameneinstellungen in den Systemeinstellungen festlegen. Jeder Namespace und jede Pipeline in dieser Instanz übernimmt diese Einstellungen.
So legen Sie die Systemeinstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Systemeinstellungen > Systemeinstellungen bearbeiten.
- Geben Sie im Dialogfeld Einstellungen neue Einstellungen ein oder bearbeiten Sie vorhandene.
- Klicken Sie auf Speichern & schließen. Diese Einstellungen sind in allen Namespaces, Anwendungen und Pipelines verfügbar.
Namespace-Einstellungen festlegen
Sie können Einstellungen für einzelne Namespaces festlegen.
Wenn Sie Namespace-Einstellungen festlegen, werden alle übernommenen Systemeinstellungen angezeigt. Wenn Sie Einstellungen für einen Namespace festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen. Sie können auch neue Namespace-Einstellungen hinzufügen.
So legen Sie Namespace-Einstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Namespaces und wählen Sie einen Namespace aus, um die zugehörige Konfigurationsseite zu öffnen.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Die Namespace-Einstellung wird mit dem neuen Wert erstellt, der Vorrang vor den Systemeinstellungen hat.
App-Einstellungen festlegen
Sie können Einstellungen für jede bereitgestellte Pipeline in einem Namespace festlegen. Wenn Sie Anwendungseinstellungen festlegen, werden alle übernommenen System- und Namespace-Einstellungen angezeigt. Wenn Sie Einstellungen für eine Anwendung festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen, oder neue Einstellungen für die Anwendung hinzufügen:
- Klicken Sie in Cloud Data Fusion Studio auf und dann auf das Menü Namespace, um den Namespace auszuwählen, dem Sie Anwendungseinstellungen hinzufügen möchten.
- Klicken Sie auf Kontrollzentrum.
- Klicken Sie auf das Schraubenschlüssel-Symbol Einstellungen festlegen. Die Seite „Preferences“ (Einstellungen) mit allen übernommenen Einstellungen wird angezeigt.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Die Anwendungseinstellung wird mit dem neuen Wert erstellt, der die System- oder Namespace-Einstellungen überschreibt. Wenn Sie die bereitgestellte Pipeline ausführen, werden die Anwendungseinstellungen als Laufzeitargumente angezeigt, die Sie optional bearbeiten können.
Laufzeitargumente einrichten
Richten Sie Laufzeitargumente ein, um Werte für Makros bereitzustellen und möglicherweise Präferenzen zu überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen.
Laufzeitargumente für die Datenvorschau
Klicken Sie auf Liste > Konfigurieren, um die Werte für jedes Makro in der Pipeline festzulegen, wenn Sie eine Vorschau der Daten in Cloud Data Fusion Studio anzeigen lassen.
Laufzeitargumente zum Ausführen bereitgestellter Pipelines
Enthält eine Pipeline Makros, fügen Sie nach der Bereitstellung der Pipeline Laufzeitargumente hinzu, die die Werte für die Makros festlegen.
Wenn Sie eine Pipeline mit Makros bereitstellen, klicken Sie neben Ausführen auf das Drop-down-Menü , um das Dialogfeld Laufzeitargumente zu öffnen und die Werte für jedes Makro festzulegen.
Pipeline-Einstellungen festlegen
So legen Sie Einstellungen für eine Pipeline fest:
- Klicken Sie in Cloud Data Fusion Studio auf Liste > Bereitgestellt und wählen Sie eine bereitgestellte Pipeline aus, um sie anzusehen.
- Klicken Sie im Pipeline-Canvas neben Ausführen auf das Drop-down-Menü . Das Dialogfeld Laufzeitargumente wird geöffnet.
- Geben Sie im Dialogfeld Laufzeitargumente den Wert für jedes Makro in der Pipeline an.
Übersicht über Einstellungen, Makros und Laufzeitargumente
Sie können Einstellungen auf folgenden Ebenen festlegen:
- Systemeinstellungen: Die höchste Ebene, auf der Sie Einstellungen für die gesamte Instanz festlegen, z. B. Standardeinstellungen.
- Namespace-Einstellungen: Übernimmt Einstellungen aus den Systemeinstellungen. Sie können Einstellungen für einen bestimmten Namespace festlegen.
- Anwendungseinstellungen: Übernimmt Einstellungen aus Namespace-Einstellungen. Sie können für einzelne Anwendungen (mit Pipelines) spezifisch sein.
- Laufzeitargumente: Schlüssel/Wert-Paare, die Einstellungen auf höheren Ebenen überschreiben.
Wenn Sie eine Einstellung auf der Ebene der Systemeinstellungen festlegen, werden die Makrowerte automatisch in den Namespace-Einstellungen, Anwendungseinstellungen und Laufzeitargumenten eingefügt.
Wenn Sie Einstellungen auf Namespace-Ebene festlegen, werden sie in der Liste der übernommenen Einstellungen in den Einstellungen der Anwendung angezeigt. Wenn eine Pipeline ein Makro verwendet, das in einer Präferenz definiert ist, nutzen die Laufzeitargumente das in der Einstellung definierte Schlüssel/Wert-Paar. Sie können die Werte für Einstellungen auf jeder Einstellungsebene und in Laufzeitargumenten überschreiben.
Verwenden Sie Einstellungen, Makros und Laufzeitargumente für die folgenden Anwendungsfälle:
- Pipeline entwickeln. Betten Sie Makros dort ein, wo Sie dynamische Werte für Plug-in-Eigenschaften benötigen.
- Optional: Einstellungen festlegen. Legen Sie auf verschiedenen Ebenen Standardwerte für die Makros in den Einstellungen fest.
- Pipeline bereitstellen und ausführen Wenn Sie eine Pipeline ausführen, geschieht Folgendes:
- Es werden Einstellungen für die jeweilige Ebene angewendet, z. B. System- oder Namespace-Einstellungen.
- Alle von Ihnen angegebenen Laufzeitargumente überschreiben die Werte, die den Makros in den Einstellungen zugewiesen sind.
- Cloud Data Fusion löst die Makros auf, indem ihre Werte durch die Laufzeitargumente (oder Einstellungen, wenn kein Laufzeitargument angegeben ist) ersetzt werden.
Beispiel
Eine Pipeline hat eine BigQuery-Senke mit einem Tabellennamenswert, der sich dynamisch ändern muss. So richten Sie diese Funktion ein:
- Legen Sie das Makro fest. Verwenden Sie in den Attributen der Senke das folgende Makro im Feld Tabellenname:
${output_table}. - **Legen Sie die Einstellungen fest. **Legen Sie in den Anwendungseinstellungen eine Einstellung für
${output_table}mit dem folgenden Standardwert fest:data_staging. - Legen Sie das Laufzeitargument fest. Geben Sie beim Ausführen der Pipeline ein Laufzeitargument an, z. B.
output_table=final_analytics_data.
Während der Pipelineausführung wird das Makro ${output_table}, durch final_analytics_data ersetzt.