Auf dieser Seite wird erläutert, wie Sie Einstellungen, Makros und Laufzeitargumente in Cloud Data Fusion-Pipelines festlegen.
Wichtige Begriffe
- Makros
- Makros sind Platzhalter in Cloud Data Fusion-Plug-in-Konfigurationen. Sie werden durch Variablen dargestellt, die in
${ }eingeschlossen sind, z. B.${input_file_path}. Makros sorgen für Flexibilität in Ihren Pipelines, da Sie Platzhalterwerte verwenden können, die zur Laufzeit durch tatsächliche Werte ersetzt werden. Dies ermöglicht die dynamische Konfiguration von Parametern wie Dateipfaden und Tabellennamen. - Einstellungen
- Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion angewendet werden, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme innerhalb von Pipelines. In den Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Die Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich wiederkehrende Konfigurationsaufgaben reduzieren lassen.
- Laufzeitargumente
- Laufzeitargumente sind Schlüssel/Wert-Paare, die Werte für Makros liefern und beim Bereitstellen oder Ausführen einer Pipeline möglicherweise Einstellungen überschreiben. Sie sind sehr anpassbar und ermöglichen es, Konfigurationen pro Pipelineausführung anzupassen, ohne die zugrunde liegende Pipeline oder die Einstellungen zu ändern.
Makros einrichten
So verwenden Sie ein Makro für den Wert einer Plug-in-Property:
- Klicken Sie in Cloud Data Fusion Studio auf den Plug-in-Knoten und dann auf „Eigenschaften“.
- Klicken Sie auf das Feld, in dem Sie ein Makro verwenden möchten, und dann auf das „M“ daneben.
- Geben Sie einen Schlüssel für das Makro ein. Geben Sie beispielsweise in den Plug-in-Eigenschaften der Dateiquelle im Feld „Format“ den folgenden Schlüssel ein:
${format.type}.
Makrowerte festlegen
Legen Sie Werte für Makros fest, bevor Sie eine Vorschau der Daten für eine Pipeline anzeigen und bevor Sie eine Pipeline ausführen. Sie können Makrowerte an folgenden Stellen festlegen:
- Argument Setter-Plug-ins
- Laufzeitargumente
- App-Einstellungen
- Namespace-Einstellungen
- Systemeinstellungen
Wenn Sie eine Pipeline mit Makros ausführen, geschieht Folgendes:
- In Cloud Data Fusion wird zuerst geprüft, ob die Pipeline ein Plug-in zum Festlegen von Argumenten enthält:
- Wenn es einen Argument-Setter hat, verwendet Cloud Data Fusion die Werte für Makros daraus.
- Wenn kein Argument-Setter vorhanden ist oder Makros nicht im Argument-Setter zugewiesen sind, verwendet Cloud Data Fusion stattdessen die Werte in den Pipeline-Laufzeitargumenten.
- Laufzeitargumente übernehmen Makros aus den Anwendungseinstellungen.
- Makros aus den Namespace-Einstellungen werden in die Anwendungseinstellungen übernommen
- Namespace-Einstellungen übernehmen Makros aus den Systemeinstellungen.
Beispiele
Makros werden häufig in Pfadfeldern verwendet. Anstatt hartcodierte Pfade zu verwenden, können Sie dynamische Pfade verwenden. In einem Cloud Storage-Quell-Plug-in können Sie beispielsweise den Pfadwert durch mehrere Makros ersetzen. Die Bucket-, Ordner- und Dateielemente werden durch den folgenden Wert unterteilt: gs://${bucket.name}/${folder}/${file.name}.
Im folgenden Beispiel werden Daten aus einem statischen Bucket und einer Datei mit einem nicht statischen Namen geladen. Geben Sie den Namen des Buckets ein und verwenden Sie ein Makro für den Dateinamen: gs://<BUCKET_NAME>/${folder}/${file.name}.
Weitere Informationen finden Sie unter Makros und Makrofunktionen.
Einstellungen festlegen
Im folgenden Abschnitt wird die Einstellungshierarchie beschrieben, in der Einstellungen festgelegt, übernommen oder überschrieben werden.
Systemeinstellungen festlegen
Sie können Einstellungen für das System festlegen. Da Makronamen eindeutig sein müssen, gilt jede Einstellung für alle Pipelines, in denen dieses Makro verwendet wird.
Angenommen, Sie haben eine Pipeline mit einer Datenbankquelle und verwenden Makros für den Datenbanknamen und den Nutzernamen. Sie können die Datenbank- und Nutzereinstellungen in den Systemeinstellungen festlegen. Diese Einstellungen werden von jedem Namespace und jeder Pipeline in dieser Instanz übernommen.
So legen Sie die Systemeinstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Systemeinstellungen > Systemeinstellungen bearbeiten.
- Geben Sie im Dialogfeld Einstellungen neue Einstellungen ein oder bearbeiten Sie vorhandene Einstellungen.
- Klicken Sie auf Speichern & schließen. Diese Einstellungen sind in allen Namespaces, Anwendungen und Pipelines verfügbar.
Namespace-Einstellungen festlegen
Sie können Einstellungen für einzelne Namespaces festlegen.
Wenn Sie Namespaceeinstellungen festlegen, werden alle übernommenen Systemeinstellungen angezeigt. Wenn Sie Einstellungen für einen Namespace festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen. Sie können auch neue Namespaceeinstellungen hinzufügen.
So legen Sie Namespace-Einstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Namespaces und wählen Sie einen Namespace aus, um die Konfigurationsseite zu öffnen.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Hier können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Die Namespace-Einstellung wird mit dem neuen Wert erstellt, der Vorrang vor der Systemeinstellung hat.
App-Einstellungen festlegen
Sie können Einstellungen für jede bereitgestellte Pipeline in einem Namespace festlegen. Wenn Sie die Anwendungseinstellungen festlegen, werden alle übernommenen System- und Namespaceeinstellungen angezeigt. Wenn Sie Einstellungen für eine Anwendung festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen, oder neue Einstellungen für die Anwendung hinzufügen:
- Klicken Sie in Cloud Data Fusion Studio auf und dann auf das Menü Namespace, um den Namespace auszuwählen, dem Sie Anwendungseinstellungen hinzufügen möchten.
- Klicken Sie auf Steuerfeld.
- Klicke auf das Schraubenschlüsselsymbol für die Einstellungen. Die Seite „Einstellungen“ wird angezeigt. Dort sind alle übernommenen Einstellungen aufgeführt.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Hier können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Die Anwendungseinstellung wird mit dem neuen Wert erstellt, wodurch die System- oder Namespaceeinstellungen überschrieben werden. Wenn Sie die bereitgestellte Pipeline ausführen, werden die Anwendungseinstellungen als Laufzeitargumente angezeigt, die Sie optional bearbeiten können.
Laufzeitargumente einrichten
Sie können Laufzeitargumente einrichten, um Werte für Makros anzugeben und beim Bereitstellen oder Ausführen einer Pipeline möglicherweise Einstellungen zu überschreiben.
Laufzeitargumente für die Datenvorschau
Wenn Sie die Werte für jedes Makro in der Pipeline festlegen möchten, während Sie eine Datenvorschau in Cloud Data Fusion Studio anzeigen, klicken Sie auf Liste > Konfigurieren.
Laufzeitargumente für das Ausführen bereitgestellter Pipelines
Wenn eine Pipeline Makros enthält, fügen Sie nach dem Bereitstellen der Pipeline Laufzeitargumente hinzu, mit denen die Werte für die Makros festgelegt werden.
Wenn Sie eine Pipeline mit Makros bereitstellen, klicken Sie auf das Drop-down-Menü neben Ausführen, um das Dialogfeld Laufzeitargumente zu öffnen und die Werte für jedes Makro festzulegen.
Pipelineeinstellungen festlegen
So legen Sie die Einstellungen für eine Pipeline fest:
- Klicken Sie in Cloud Data Fusion Studio auf Liste > Deployed (Bereitgestellt) und wählen Sie eine bereitgestellte Pipeline aus, um sie aufzurufen.
- Klicken Sie auf dem Pipeline-Canvas auf das Drop-down-Menü neben Ausführen. Das Dialogfeld Laufzeitargumente wird geöffnet.
- Geben Sie im Dialogfeld Laufzeitargumente den Wert für jedes Makro in der Pipeline an.
Einstellungen, Makros und Laufzeitargumente
Sie können die Einstellungen auf den folgenden Ebenen festlegen:
- Systemeinstellungen: Die höchste Ebene, auf der Sie Einstellungen wie Standardeinstellungen für die gesamte Instanz festlegen.
- Namespace-Einstellungen: Erbt Einstellungen von den Systemeinstellungen. Sie können Einstellungen für einen bestimmten Namespace festlegen.
- Anwendungseinstellungen: Erbt Einstellungen von den Namespace-Einstellungen. Sie können für einzelne Anwendungen (mit Pipelines) eindeutig sein.
- Laufzeitargumente: Schlüssel/Wert-Paare, die Einstellungen auf höheren Ebenen überschreiben.
Wenn Sie eine Einstellung auf Ebene der Systemeinstellungen festlegen, werden die Makrowerte automatisch in den Namespace-Einstellungen, den Anwendungseinstellungen und den Laufzeitargumenten eingefügt.
Wenn Sie Einstellungen auf Namespaceebene festlegen, werden sie in der Liste der übernommenen Einstellungen in den Einstellungen der Anwendung angezeigt. Wenn in einer Pipeline ein Makro verwendet wird, das in einer Einstellung definiert ist, wird in den Laufzeitargumenten das in der Einstellung definierte Schlüssel/Wert-Paar verwendet. Sie können die Werte für die Einstellungen auf jeder Einstellungsebene und in den Laufzeitargumenten überschreiben.
Verwenden Sie Einstellungen, Makros und Laufzeitargumente für die folgenden Anwendungsfälle:
- Pipeline entwickeln Fügen Sie Makros ein, wenn Sie dynamische Werte für Plug-in-Properties benötigen.
- Optional: Einstellungen festlegen Legen Sie in den Einstellungen auf verschiedenen Ebenen Standardwerte für die Makros fest.
- Pipeline bereitstellen und ausführen Wenn Sie eine Pipeline ausführen, geschieht Folgendes:
- Die Einstellungen für die entsprechende Ebene, z. B. System- oder Namespace-Einstellungen, werden angewendet.
- Alle von Ihnen angegebenen Laufzeitargumente überschreiben die Werte, die den Makros in den Einstellungen zugewiesen sind.
- In Cloud Data Fusion werden die Makros durch Ersetzen ihrer Werte aus den Laufzeitargumenten (oder den Einstellungen, falls kein Laufzeitargument angegeben ist) aufgelöst.
Beispiel
Eine Pipeline hat eine BigQuery-Senke mit einem Tabellennamen, der sich dynamisch ändern muss. So richten Sie dies ein:
- Legen Sie das Makro fest. Verwenden Sie in den Eigenschaften des Sinks im Feld Tabellenname das folgende Makro:
${output_table}. - **Legen Sie die Einstellung fest. **Legen Sie in den Anwendungseinstellungen eine Einstellung für
${output_table}mit dem folgenden Standardwert fest:data_staging. - Legen Sie das Laufzeitargument fest. Geben Sie beim Ausführen der Pipeline ein Argument für die Laufzeit an, z. B.
output_table=final_analytics_data.
Während der Pipelineausführung wird das Makro ${output_table}, durch final_analytics_data ersetzt.