Anwendungsfälle für Dataflows

Dataflow wurde entwickelt, um Streaming- und Batchpipelines im großen Maßstab zu unterstützen. Dataflow basiert auf dem Open-Source-Framework Apache Beam.

Auf dieser Seite finden Sie Links zu Anleitungen und Beispielanwendungsfällen, die Ihnen den Einstieg erleichtern.

Informationen zu Dataflow Apache Beam

Datenverschiebung

In dieser Anleitung wird gezeigt, wie Sie eine Dataflow-Vorlage ausführen, die Daten aus Managed Service for Apache Kafka liest und die Datensätze in eine BigQuery-Tabelle schreibt.
In dieser Anleitung wird gezeigt, wie Sie eine Dataflow-Vorlage ausführen, die JSON-codierte Nachrichten aus Pub/Sub liest und in eine BigQuery-Tabelle schreibt.

Dataflow ML

In diesem Notebook wird gezeigt, wie Sie ML-Modelle in Apache Beam-Pipelines verwenden, die die RunInference-Transformation verwenden.
In diesem Notebook wird gezeigt, wie Sie ML-Inferenz mit vLLM und GPUs ausführen. vLLM ist eine Bibliothek für LLM-Inferenz und -Bereitstellung.

Weitere Informationen

Links zu Beispielcode und technischen Referenzleitfäden für gängige Dataflow-Anwendungsfälle
In dieser Anleitung erstellen Sie eine Pipeline, die E‑Commerce-Daten aus Pub/Sub transformiert und die Daten in BigQuery und Bigtable ausgibt.
Mit Dataflow können Sie hochgradig parallele Arbeitslasten in einer einzigen Pipeline ausführen, wodurch sich die Effizienz verbessert und Ihr Workflow einfacher zu verwalten wird.