Auf dieser Seite werden die Einstellungen, Makros und Laufzeitargumente in Cloud Data Fusion-Pipelines
Wichtige Begriffe
- Makros
- Makros sind Platzhalter in Cloud Data Fusion-Plug-in-Konfigurationen. Sie werden durch Variablen dargestellt, die in
${ }eingeschlossen sind, z. B.:${input_file_path}. Makros machen Ihre Pipelines flexibler, können Sie Platzhalterwerte verwenden, die durch tatsächliche Werte ersetzt werden. Laufzeit. Dies ermöglicht die dynamische Konfiguration von Parametern wie Dateipfaden und Tabellennamen. - Einstellungen
- Einstellungen sind vordefinierte Konfigurationen, die auf verschiedenen Ebenen in Cloud Data Fusion angewendet werden, einschließlich des Systems selbst, Namespaces, Anwendungen (die Pipelines enthalten) und einzelner Programme innerhalb von Pipelines. In den Einstellungen können Sie Standardwerte für häufig verwendete Konfigurationen festlegen. Die Standardeinstellungen können von Pipelines und Programmen auf niedrigeren Ebenen übernommen werden, wodurch sich wiederkehrende Konfigurationsaufgaben reduzieren lassen.
- Laufzeitargumente
- Laufzeitargumente sind Schlüssel/Wert-Paare, die Werte für und möglicherweise Einstellungen überschreiben, wenn Sie eine Pipeline bereitstellen oder ausführen. Sie sind sehr anpassbar und ermöglichen es, Konfigurationen pro Pipelineausführung anzupassen, ohne die zugrunde liegende Pipeline oder die Einstellungen zu ändern.
Makros einrichten
So verwenden Sie ein Makro für einen Plug-in-Eigenschaftswert:
- Klicken Sie in Cloud Data Fusion Studio auf den Plug-in-Knoten und dann auf „Eigenschaften“.
- Gehen Sie zu dem Feld, in dem Sie ein Makro verwenden möchten, und klicken Sie auf** M** neben auf das Feld.
- Geben Sie einen Schlüssel für das Makro ein. Zum Beispiel im Plug-in der Dateiquelle
geben Sie den folgenden Schlüssel in das Feld "Format" ein:
${format.type}.
Makrowerte festlegen
Legen Sie Werte für Makros fest, bevor Sie eine Vorschau der Daten für eine Pipeline anzeigen und bevor Sie eine Pipeline ausführen. Sie können Makrowerte an folgenden Stellen festlegen:
- Argumentsetter-Plug-ins
- Laufzeitargumente
- Anwendungseinstellungen
- Namespace-Einstellungen
- Systemeinstellungen
Das Ausführen einer Pipeline mit Makros hat folgende Auswirkungen:
- In Cloud Data Fusion wird zuerst geprüft, ob die Pipeline ein Plug-in zum Festlegen von Argumenten enthält:
- Wenn es einen Argument-Setter hat, verwendet Cloud Data Fusion die Werte für Makros daraus.
- Wenn kein Argument-Setter vorhanden ist oder Makros nicht im Argument-Setter zugewiesen sind, verwendet Cloud Data Fusion stattdessen die Werte in den Pipeline-Laufzeitargumenten.
- Laufzeitargumente übernehmen Makros aus den Anwendungseinstellungen.
- Anwendungseinstellungen übernehmen Makros aus Namespace-Einstellungen
- Namespace-Einstellungen übernehmen Makros aus den Systemeinstellungen.
Beispiele
Makros werden häufig in Pfadfeldern verwendet. Anstatt hartcodierte Pfade zu verwenden, können Sie dynamische Pfade verwenden. Beispiel: In einem Cloud Storage-Quell-Plug-in
kann den Pfadwert durch mehrere Makros ersetzen. Der folgende Wert dividiert die
Bucket-, Ordner- und Dateielemente: gs://${bucket.name}/${folder}/${file.name}.
Im folgenden Beispiel werden Daten aus einem statischen Bucket und einer Datei mit einem
der nicht statisch ist, geben Sie den Namen des Buckets ein und verwenden Sie ein Makro
Dateiname: gs://<BUCKET_NAME>/${folder}/${file.name}.
Einstellungen einrichten
Im folgenden Abschnitt wird die Hierarchie der Präferenzen beschrieben, in der Einstellungen festgelegt, übernommen oder überschrieben.
Systemeinstellungen festlegen
Sie können Einstellungen für das System festlegen. Da Makronamen eindeutig sein müssen, gilt jede Einstellung für alle Pipelines, in denen dieses Makro verwendet wird.
Angenommen, Sie haben eine Pipeline mit einer Datenbankquelle und verwenden Makros für den Datenbanknamen und den Nutzernamen. Sie können Datenbank- und Nutzernameneinstellungen festlegen in Systemeinstellungen. Jeder Namespace und jede Pipeline in dieser Instanz übernimmt die diese Präferenzen.
So legen Sie die Systemeinstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadmin >. Konfiguration.
- Klicken Sie auf Systemeinstellungen > Systemeinstellungen bearbeiten.
- Geben Sie im Dialogfeld Einstellungen neue Einstellungen ein oder bearbeiten Sie vorhandene Einstellungen.
- Klicken Sie auf Speichern & schließen. Diese Einstellungen sind in allen Namespaces, Anwendungen und Pipelines.
Namespace-Einstellungen festlegen
Sie können Einstellungen für einzelne Namespaces festlegen.
Wenn Sie Namespaceeinstellungen festlegen, werden alle übernommenen Systemeinstellungen angezeigt. Wenn Sie Einstellungen für einen Namespace festlegen, können Sie übernommene Einstellungen überschreiben, indem Sie andere Werte festlegen. Sie können auch neue Namespace-Einstellungen hinzufügen.
So legen Sie Namespace-Einstellungen fest:
- Klicken Sie in Cloud Data Fusion Studio auf Systemadmin > Konfiguration:
- Klicken Sie auf Namespaces. und wählen Sie einen Namespace aus, um die zugehörige Konfigurationsseite zu öffnen.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet.
Hier können Sie eine neue Einstellung eingeben oder das übernommene System überschreiben
Einstellungen. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Namespace-Einstellung wird mit dem neuen , der Vorrang vor den Systemeinstellungen hat.
App-Einstellungen festlegen
Sie können Einstellungen für jede bereitgestellte Pipeline in einem Namespace festlegen. Wenn Sie die Anwendungseinstellungen festlegen, werden alle übernommenen System- und Namespaceeinstellungen angezeigt. Wenn Sie Einstellungen für eine Anwendung festlegen, können Sie übernommene Einstellungen überschreiben Einstellungen ändern, indem Sie andere Werte festlegen, oder neue Einstellungen für die Anwendung:
- Klicken Sie in Cloud Data Fusion Studio auf und dann auf das Menü Namespace, um den Namespace auszuwählen, dem Sie Anwendungseinstellungen hinzufügen möchten.
- Klicken Sie auf Kontrollzentrum.
- Klicke auf das Schraubenschlüsselsymbol für die Einstellungen. Die Seite „Einstellungen“ wird angezeigt und werden alle übernommenen Einstellungen aufgelistet.
- Wenn Sie die übernommenen Einstellungen bearbeiten oder neue hinzufügen möchten, rufen Sie den Tab Einstellungen auf und klicken Sie auf Bearbeiten. Das Dialogfeld Einstellungen wird geöffnet. Hier können Sie eine neue Einstellung eingeben oder übernommene Systemeinstellungen überschreiben. Klicken Sie auf
<span class="material-icons">add</span>Hinzufügen und geben Sie den Schlüssel und den neuen Wert für das Makro ein. - Klicken Sie auf Speichern & schließen. Die Anwendungseinstellung wird mit dem neuen Wert, der die System- oder Namespace-Einstellungen überschreibt. Wenn Sie Bereitgestellte Pipeline ausführen, werden die Anwendungseinstellungen als Laufzeit angezeigt Argumente, die Sie optional bearbeiten können.
Laufzeitargumente einrichten
Laufzeitargumente einrichten, um Werte für Makros bereitzustellen, und ggf. überschreiben beim Bereitstellen oder Ausführen einer Pipeline.
Laufzeitargumente für die Datenvorschau
Um die Werte für jedes Makro in der Pipeline festzulegen, wenn Sie eine Vorschau der Daten im Klicken Sie in Cloud Data Fusion Studio auf Liste > Konfigurieren.
Laufzeitargumente für das Ausführen bereitgestellter Pipelines
Wenn eine Pipeline Makros enthält, fügen Sie nach der Bereitstellung einer Pipeline Laufzeit hinzu. , mit denen die Werte für die Makros festgelegt werden.
Wenn Sie eine Pipeline mit Makros bereitstellen, klicken Sie auf Drop-down-Menü neben Klicken Sie auf Ausführen, um das Dialogfeld Laufzeitargumente zu öffnen, und legen Sie die Werte für jedes Argument fest. .
Pipeline-Einstellungen festlegen
So legen Sie Einstellungen für eine Pipeline fest:
- Klicken Sie in Cloud Data Fusion Studio auf Liste >. Bereitgestellt und wählen Sie eine bereitgestellte Pipeline aus, um sie anzusehen.
- Klicken Sie im Pipeline-Canvas auf Drop-down-Menü neben Ausführen. Das Dialogfeld Laufzeitargumente wird geöffnet.
- Geben Sie im Dialogfeld Laufzeitargumente den Wert für in der Pipeline zu erstellen.
Einstellungen, Makros und Laufzeitargumente
Sie können die Einstellungen auf den folgenden Ebenen einrichten:
- Systemeinstellungen: Die höchste Ebene, auf der Sie Einstellungen wie Standardeinstellungen für die gesamte Instanz festlegen.
- Namespace-Einstellungen: übernimmt die Einstellungen von System Einstellungen. Sie können Einstellungen für einen bestimmten Namespace festlegen.
- Anwendungseinstellungen: übernimmt Einstellungen aus Namespace Einstellungen. Sie können für individuelle Anwendungen (mit Pipelines).
- Laufzeitargumente: Schlüssel/Wert-Paare, die Einstellungen auf höheren Ebenen überschreiben.
Wenn Sie eine Einstellung auf Ebene der Systemeinstellungen festlegen, werden die Makrowerte automatisch in den Namespace-Einstellungen, den Anwendungseinstellungen und den Laufzeitargumenten eingefügt.
Wenn Sie Einstellungen auf Namespaceebene festlegen, werden sie in der Liste der übernommenen Einstellungen in den Einstellungen der Anwendung angezeigt. Wenn eine Pipeline das in einer Einstellung definiert ist, verwenden die Laufzeitargumente das Schlüssel/Wert-Paar das in der Einstellung definierte Paar. Sie können die Werte für Einstellungen überschreiben unter jede Präferenzstufe und in Laufzeitargumenten.
Verwenden Sie Einstellungen, Makros und Laufzeitargumente für die folgenden Anwendungsfälle:
- Pipeline entwickeln Makros lassen sich dort einbetten, wo dynamische Werte benötigt werden für Plug-in-Attribute.
- Optional: Einstellungen festlegen Standardwerte für die Makros festlegen in auf verschiedenen Ebenen.
- Pipeline bereitstellen und ausführen Wenn Sie eine Pipeline ausführen,
passiert Folgendes:
- Einstellungen für die jeweilige Ebene, z. B. Systemeinstellungen oder Namespace-Einstellungen angewendet werden.
- Alle von Ihnen angegebenen Laufzeitargumente überschreiben die Werte, die die den Makros in den Einstellungen zugewiesen sind.
- In Cloud Data Fusion werden die Makros durch Ersetzen ihrer Werte aus den Laufzeitargumenten (oder den Einstellungen, falls kein Laufzeitargument angegeben ist) aufgelöst.
Beispiel
Eine Pipeline hat eine BigQuery-Senke mit einem Tabellennamenswert, der sich dynamisch ändern. So richten Sie diese Funktion ein:
- Legen Sie das Makro fest. Verwenden Sie in den Eigenschaften des Sinks im Feld Tabellenname das folgende Makro:
${output_table}. - **Legen Sie die Einstellungen fest. ** Legen Sie in den Anwendungseinstellungen eine Einstellung für
${output_table}mit dem folgenden Standardwert fest:data_staging. - Legen Sie das Laufzeitargument fest. Geben Sie beim Ausführen der Pipeline ein Argument für die Laufzeit an, z. B.
output_table=final_analytics_data.
Während der Pipelineausführung wird das Makro ${output_table}, durch final_analytics_data ersetzt.