Auf dieser Seite wird beschrieben, wie Sie Konfigurationen für bereitgestellte Pipelines verwalten können.
Hinweise
Für diese Seite ist ein gewisses Hintergrundwissen zu Compute-Profilen und Pipelineleistung erforderlich.
Konfiguration des Compute-Profils
Sie können das Compute-Profil ändern oder die Parameter des Standardprofils anpassen Compute-Profil erstellen, das die Pipeline ausführt. Weitere Informationen finden Sie unter Rechenprofile verwalten und Attribute des Dataproc-Bereitstellers
Pipelinekonfiguration
Sie können für jede Pipeline die Instrumentierung, z. B. die Zeitmessung, aktivieren oder deaktivieren Messwerte. Standardmäßig ist die Instrumentierung aktiviert. Wenn die Instrumentierung aktiviert ist, Wenn Sie die Pipeline ausführen, generiert Cloud Data Fusion Messwerte für jede Pipeline Knoten. Die folgenden Messwerte werden auf dem Tab Messwerte jedes Knotens angezeigt. Die Quelle-, Transformations- und Senkenmesswerte variieren geringfügig.
- Rekorde
- Rekorde in
- Gesamtzahl der Fehler
- Aufzeichnung pro Sekunde
- Minimale Verarbeitungszeit (ein Eintrag)
- Maximale Verarbeitungszeit (ein Eintrag)
- Standardabweichung
- Durchschnittliche Verarbeitungszeit
Wir empfehlen, die Instrumentierung immer zu aktivieren, es sei denn, die Umgebung ist kurz zu Ressourcen.
Für Streamingpipelines können Sie auch das Batchintervall festlegen. (Sekunden/Minuten) für Streamingdaten.
Engine-Konfiguration
Apache Spark ist die Standardausführungs-Engine. Sie können benutzerdefinierte Parameter für Spark übergeben. Weitere Informationen finden Sie unter Parallele Verarbeitung.
Ressourcen
Sie können den Arbeitsspeicher und die Anzahl der CPUs für den Spark-Treiber und Executor. Der Treiber orchestriert den Spark-Job. Der Executor verarbeitet die Daten in Spark verarbeitet werden. Weitere Informationen finden Sie unter Ressourcenverwaltung.
Pipelinewarnung
Sie können die Pipeline so konfigurieren, dass Benachrichtigungen gesendet und Aufgaben zur Nachbearbeitung gestartet werden, nachdem die Pipeline ausgeführt wurde. Sie erstellen Pipeline-Benachrichtigungen beim Entwerfen des zu erstellen. Nachdem Sie die Pipeline bereitgestellt haben, können Sie sich die Benachrichtigungen ansehen. Sie können Folgendes bearbeiten: um die Benachrichtigungseinstellungen zu ändern. Weitere Informationen finden Sie unter Benachrichtigungen erstellen.
Transformations-Push-down
Sie können das Transformations-Push-down aktivieren, wenn eine Pipeline ausgeführt werden soll. bestimmte Transformationen in BigQuery. Weitere Informationen finden Sie unter Transformation Push-Down – Übersicht.