Auf dieser Seite wird erläutert, wie Sie Einstellungen, Makros und Laufzeitargumente in Cloud Data Fusion-Pipelines festlegen.
Wichtige Begriffe
- Makros
- Makros sind Platzhalter in Cloud Data Fusion-Plug-in-Konfigurationen. Sie werden durch Variablen dargestellt, die in
${ }eingeschlossen sind, z. B.${input_file_path}. Makros machen Ihre Pipelines flexibler, da Sie Platzhalterwerte verwenden können, die zur Laufzeit durch tatsächliche Werte ersetzt werden. Dies ermöglicht die dynamische Konfiguration von Parametern wie Dateipfaden und Tabellennamen. - Einstellungen
- Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion angewendet werden, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme in Pipelines. Mit Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Die Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich sich wiederholende Konfigurationsaufgaben reduzieren.
- Laufzeitargumente
- Laufzeitargumente sind Schlüssel/Wert-Paare, mit denen Werte für Makros bereitgestellt und möglicherweise Einstellungen überschrieben werden, wenn Sie eine Pipeline bereitstellen oder ausführen. Sie lassen sich genau anpassen. So können Sie Konfigurationen für jeden Pipeline-Lauf anpassen, ohne die zugrunde liegende Pipeline oder die Einstellungen zu ändern.
Makros einrichten
So verwenden Sie ein Makro für einen Plug-in-Attributwert:
- Rufen Sie in Cloud Data Fusion Studio den Plug-in-Knoten auf und klicken Sie auf „Properties“ (Eigenschaften).
- Klicken Sie neben dem Feld, in dem Sie ein Makro verwenden möchten, auf M.
- Geben Sie einen Schlüssel für das Makro ein. Geben Sie beispielsweise in den Plug-in-Eigenschaften der Dateiquelle den folgenden Schlüssel in das Feld „Format“ ein:
${format.type}.
Makrowerte festlegen
Legen Sie Werte für Makros fest, bevor Sie eine Vorschau der Daten für eine Pipeline aufrufen und bevor Sie eine Pipeline ausführen. Sie können Makrowerte an den folgenden Stellen festlegen:
- Argument Setter-Plug-ins
- Laufzeitargumente
- Anwendungseinstellungen
- Namespace-Einstellungen
- Systemeinstellungen
Wenn Sie eine Pipeline mit Makros ausführen, passiert Folgendes:
- Cloud Data Fusion prüft zuerst, ob die Pipeline ein Argument-Setter-Plug-in enthält:
- Wenn es einen Argument-Setter hat, verwendet Cloud Data Fusion die Werte für Makros daraus.
- Wenn kein Argument Setter vorhanden ist oder Makros nicht im Argument Setter zugewiesen sind, verwendet Cloud Data Fusion stattdessen die Werte in den Laufzeitargumenten der Pipeline.
- Laufzeitargumente übernehmen Makros aus den Anwendungseinstellungen.
- Anwendungseinstellungen übernehmen Makros aus Namespace-Einstellungen
- Namespace-Einstellungen übernehmen Makros aus den Systemeinstellungen.
Beispiele
Makros werden häufig in Pfadfeldern verwendet. Anstelle von hartcodierten Pfaden können Sie dynamische Pfade verwenden. In einem Cloud Storage-Quell-Plug-in können Sie beispielsweise den Pfadwert durch mehrere Makros ersetzen. Der folgende Wert trennt die Elemente „Bucket“, „Ordner“ und „Datei“: gs://${bucket.name}/${folder}/${file.name}.
Im folgenden Beispiel werden Daten aus einem statischen Bucket und einer Datei mit einem nicht statischen Namen geladen. Geben Sie den Namen des Buckets ein und verwenden Sie ein Makro für den Dateinamen: gs://<BUCKET_NAME>/${folder}/${file.name}.
Weitere Informationen finden Sie unter Makros und Makrofunktionen.
Einstellungen festlegen
Im folgenden Abschnitt wird die Hierarchie der Einstellungen beschrieben, in der Einstellungen festgelegt, übernommen oder überschrieben werden.
Systemeinstellungen festlegen
Sie können Einstellungen für das System festlegen. Da Makronamen eindeutig sein müssen, gilt jede Einstellung für alle Pipelines, in denen dieses Makro verwendet wird.
Sie haben beispielsweise eine Pipeline mit einer Datenbankquelle und verwenden Makros für den Datenbanknamen und den Nutzernamen. Sie können Datenbank- und Nutzernameneinstellungen in den Systemeinstellungen festlegen. Jeder Namespace und jede Pipeline in dieser Instanz übernimmt diese Einstellungen.
So legen Sie Systemeinstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Systemeinstellungen > Systemeinstellungen bearbeiten.
- Geben Sie im Dialogfeld Einstellungen neue Einstellungen ein oder bearbeiten Sie vorhandene Einstellungen.
- Klicken Sie auf Speichern & schließen. Diese Einstellungen sind in allen Namespaces, Anwendungen und Pipelines verfügbar.
Namespace-Einstellungen festlegen
Sie können Einstellungen für einzelne Namespaces festlegen.
Wenn Sie Namespace-Einstellungen festlegen, werden alle geerbten Systemeinstellungen angezeigt. Wenn Sie Einstellungen für einen Namespace festlegen, können Sie die übernommenen Einstellungen überschreiben, indem Sie andere Werte festlegen. Sie können auch neue Namespace-Einstellungen hinzufügen.
So legen Sie Namespace-Einstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadministrator > Konfiguration.
- Klicken Sie auf Namespaces und wählen Sie einen Namespace aus, um die zugehörige Konfigurationsseite zu öffnen.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab „Einstellungen“ auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder geerbte Systemeinstellungen überschreiben. Klicken Sie auf Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein.
- Klicken Sie auf Speichern & schließen. Die Namespace-Einstellung wird mit dem neuen Wert erstellt, der Vorrang vor der Systemeinstellung hat.
App-Einstellungen festlegen
Sie können Einstellungen für jede bereitgestellte Pipeline in einem Namespace festlegen. Wenn Sie Anwendungseinstellungen festlegen, werden alle geerbten System- und Namespace-Einstellungen angezeigt. Wenn Sie Einstellungen für eine Anwendung festlegen, können Sie geerbte Einstellungen überschreiben, indem Sie andere Werte festlegen, oder neue Einstellungen für die Anwendung hinzufügen:
- Klicken Sie in Cloud Data Fusion Studio auf und dann auf das Menü Namespace, um den Namespace auszuwählen, dem Sie Anwendungseinstellungen hinzufügen möchten.
- Klicken Sie auf Steuerzentrale.
- Klicken Sie auf das Schraubenschlüsselsymbol Einstellungen festlegen. Eine Liste aller übernommenen Einstellungen wird angezeigt.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab „Einstellungen“ auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Dort können Sie eine neue Einstellung eingeben oder geerbte Systemeinstellungen überschreiben. Klicken Sie auf Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein.
- Klicken Sie auf Speichern & schließen. Die Anwendungseinstellung wird mit dem neuen Wert erstellt, der die System- oder Namespace-Einstellungen überschreibt. Wenn Sie die bereitgestellte Pipeline ausführen, werden die Anwendungseinstellungen als Laufzeitargumente angezeigt, die Sie optional bearbeiten können.
Laufzeitargumente einrichten
Richten Sie Laufzeitargumente ein, um Werte für Makros bereitzustellen und möglicherweise Einstellungen zu überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen.
Laufzeitargumente für die Vorschau von Daten
Wenn Sie die Werte für die einzelnen Makros in der Pipeline festlegen möchten, wenn Sie eine Vorschau der Daten in Cloud Data Fusion Studio aufrufen, klicken Sie auf Liste > Konfigurieren.
Laufzeitargumente zum Ausführen bereitgestellter Pipelines
Wenn eine Pipeline Makros enthält, fügen Sie nach der Bereitstellung der Pipeline Laufzeitargumente hinzu, mit denen die Werte für die Makros festgelegt werden.
Wenn Sie eine Pipeline mit Makros bereitstellen, klicken Sie neben Ausführen auf das Drop-down-Menü , um das Dialogfeld Laufzeitargumente zu öffnen und die Werte für jedes Makro festzulegen.
Pipelineeinstellungen festlegen
So legen Sie Einstellungen für eine Pipeline fest:
- Klicken Sie in Cloud Data Fusion Studio auf Liste > Bereitgestellt und wählen Sie eine bereitgestellte Pipeline aus, um sie aufzurufen.
- Klicken Sie im Pipeline-Arbeitsbereich auf das Drop-down-Menü neben Ausführen. Das Dialogfeld Laufzeitargumente wird geöffnet.
- Geben Sie im Dialogfeld Laufzeitargumente, das sich öffnet, den Wert für jedes Makro in der Pipeline an.
Übersicht über Einstellungen, Makros und Laufzeitargumente
Sie können Einstellungen auf den folgenden Ebenen festlegen:
- Systemeinstellungen: Die höchste Ebene, auf der Sie Einstellungen wie Standardwerte für die gesamte Instanz festlegen.
- Namespace-Einstellungen: übernimmt Einstellungen aus den Systemeinstellungen. Sie können Einstellungen für einen bestimmten Namespace festlegen.
- Anwendungseinstellungen: übernimmt Einstellungen aus Namespace-Einstellungen. Sie können für einzelne Anwendungen (mit Pipelines) eindeutig sein.
- Laufzeitargumente: Schlüssel/Wert-Paare, mit denen Einstellungen auf höheren Ebenen überschrieben werden.
Wenn Sie eine Einstellung auf der Ebene der Systemeinstellungen festlegen, werden die Makrowerte automatisch in den Namespace-Einstellungen, Anwendungseinstellungen und Laufzeitargumenten eingefügt.
Wenn Sie Einstellungen auf Namespace-Ebene festlegen, werden sie in den Einstellungen der Anwendung in der Liste der übernommenen Einstellungen angezeigt. Wenn in einer Pipeline ein Makro verwendet wird, das in einer Einstellung definiert ist, werden für die Laufzeitargumente das in der Einstellung definierte Schlüssel/Wert-Paar verwendet. Sie können die Werte für Einstellungen auf jeder Einstellungsebene und in Laufzeitargumenten überschreiben.
Verwenden Sie Einstellungen, Makros und Laufzeitargumente für die folgenden Anwendungsfälle:
- Pipeline entwickeln Betten Sie Makros ein, wenn Sie dynamische Werte für Plug-in-Attribute benötigen.
- Optional: Einstellungen festlegen Sie können Standardwerte für die Makros in den Einstellungen auf verschiedenen Ebenen festlegen.
- Pipeline bereitstellen und ausführen Wenn Sie eine Pipeline ausführen, passiert Folgendes:
- Einstellungen für die relevante Ebene, z. B. Systemeinstellungen oder Namespace-Einstellungen, werden angewendet.
- Alle Laufzeitargumente, die Sie angeben, überschreiben die Werte, die den Makros in den Einstellungen zugewiesen sind.
- Cloud Data Fusion löst die Makros auf, indem die Werte aus den Laufzeitargumenten (oder den Einstellungen, wenn kein Laufzeitargument angegeben ist) eingesetzt werden.
Beispiel
Eine Pipeline hat eine BigQuery-Senke mit einem Tabellennamenwert, der sich dynamisch ändern muss. So richten Sie das ein:
- Makro festlegen: Verwenden Sie in den Eigenschaften der Senke das folgende Makro im Feld Tabellenname:
${output_table}. - Einstellung festlegen Legen Sie in den Anwendungseinstellungen eine Einstellung für
${output_table}mit dem folgenden Standardwert fest:data_staging. - Laufzeitargument festlegen Geben Sie beim Ausführen der Pipeline ein Laufzeitargument an, z. B.
output_table=final_analytics_data.
Bei der Ausführung der Pipeline wird das Makro ${output_table}, durch final_analytics_data ersetzt.