Auf dieser Seite wird beschrieben, wie Sie Konfigurationen für bereitgestellte Pipelines verwalten können.
Hinweis
Für diese Seite ist ein gewisses Hintergrundwissen zu Compute-Profilen und Pipelineleistung erforderlich.
Konfiguration des Berechnungsprofils
Sie können das Compute-Profil ändern oder die Parameter des Standard-Compute-Profils anpassen, mit dem die Pipeline ausgeführt wird. Weitere Informationen finden Sie unter Rechenprofile verwalten und Dataproc-Bereitstellungseigenschaften.
Pipelinekonfiguration
Für jede Pipeline können Sie die Instrumentierung aktivieren oder deaktivieren, z. B. Zeitmesswerte. Die Instrumentierung ist standardmäßig aktiviert. Wenn die Instrumentierung aktiviert ist, generiert Cloud Data Fusion bei der Ausführung der Pipeline Messwerte für jeden Pipelineknoten. Die folgenden Messwerte werden auf dem Tab Messwerte jedes Knotens angezeigt. Die Messwerte für Quelle, Transformation und Senke unterscheiden sich geringfügig.
- Ausgegebene Einträge
- Einträge in
- Gesamtzahl der Fehler
- Ausgehende Datensätze pro Sekunde
- Minimale Verarbeitungszeit (ein Datensatz)
- Maximale Verarbeitungszeit (ein Datensatz)
- Standardabweichung
- Durchschnittliche Verarbeitungszeit
Wir empfehlen, die Instrumentierung immer zu aktivieren, es sei denn, der Ressourcenbedarf der Umgebung ist zu hoch.
Bei Streamingpipelines können Sie auch das Batch-Intervall (Sekunden/Minuten) für Streamingdaten festlegen.
Engine-Konfiguration
Apache Spark ist die Standardausführungs-Engine. Sie können benutzerdefinierte Parameter für Spark übergeben. Weitere Informationen finden Sie unter Parallele Verarbeitung.
Ressourcen
Sie können den Arbeitsspeicher und die Anzahl der CPUs für den Spark-Treiber und den Spark-Executor angeben. Der Treiber orchestriert den Spark-Job. Der Executor übernimmt die Datenverarbeitung in Spark. Weitere Informationen finden Sie unter Ressourcenverwaltung.
Pipelinewarnung
Sie können die Pipeline so konfigurieren, dass Benachrichtigungen gesendet und Aufgaben zur Nachbearbeitung gestartet werden, nachdem die Pipeline ausgeführt wurde. Sie erstellen Pipeline-Benachrichtigungen, wenn Sie die Pipeline entwerfen. Nach der Bereitstellung der Pipeline können Sie sich die Benachrichtigungen ansehen. Sie können die Pipeline bearbeiten, um die Benachrichtigungseinstellungen zu ändern. Weitere Informationen finden Sie unter Benachrichtigungen erstellen.
Transformations-Push-down
Sie können das Transformations-Push-down aktivieren, wenn bestimmte Transformationen in BigQuery in einer Pipeline ausgeführt werden sollen. Weitere Informationen finden Sie in der Übersicht über den Transformations-Push-down.