Apache Beam ist ein einheitliches Open-Source-Modell, mit dem sowohl Batch- als auch Streamingpipelines zur parallelen Datenverarbeitung ausgeführt werden können. Bevor Sie mit Dataflow beginnen, sollten Sie wissen, wie Sie Apache Beam-Pipelines entwerfen, erstellen und testen.
Apache Beam-Ressourcen
Auf der Apache Beam-Website finden Sie eine Dokumentation über:
Das Gestalten von Pipelines – liefert Informationen zum Festlegen der Struktur einer Pipeline, zur Auswahl der Transformationen, die auf Daten angewendet werden sollen, und zur Bestimmung der Eingabe- und Ausgabemethoden.
Das Erstellen von Pipelines – erläutert die Funktionsweise der Verwendung der Klassen in den Beam SDKs und die nötigen Schritte zur Erstellung einer Pipeline.
Testmöglichkeiten für Pipelines – stellt die besten Vorgehensweisen zum Testen von Pipelines vor.