Dataflow-Dokumentation

Dataflow ist ein verwalteter Dienst zur Ausführung eines breiten Spektrums an Datenverarbeitungsmustern. Die Dokumentation auf dieser Website zeigt Ihnen, wie Sie Ihre Batch- und Streaming-Datenverarbeitungspipelines mit Dataflow bereitstellen. Sie enthält auch Anweisungen zur Verwendung der Servicefunktionen.

Das Apache Beam SDK ist ein Open-Source-Programmiermodell, mit dem Sie sowohl Batch- als auch Streamingpipelines entwickeln können. Sie erstellen Ihre Pipelines mit einem Apache Beam-Programm und führen sie dann im Dataflow-Dienst aus. Die Apache Beam-Dokumentation enthält ausführliche konzeptionelle Informationen und Referenzmaterial für das Apache Beam-Programmiermodell, SDKs und andere Runner.

Grundlegende Apache Beam-Konzepte finden Sie in der Tour zu Beam und Beam Playground. Das Repository Dataflow Cookbook bietet außerdem einsatzbereite und eigenständige Pipelines sowie die gängigsten Dataflow-Anwendungsfälle.

Apache, Apache Beam, Beam, das Beam-Logo und das Beam-Maskottchen sind eingetragene Marken der Apache Software Foundation in den USA und/oder anderen Ländern.

Dokumentationsressourcen

Finden Sie Kurzanleitungen und Leitfäden, prüfen Sie wichtige Referenzen und erhalten Sie Hilfe bei häufigen Problemen.

Leitfäden

Referenz

Ressourcen

Entdecken Sie Schulungen von Google Cloud Skills Boost, Anwendungsfälle, Referenzarchitekturen und Codebeispiele mit Details zur Verwendung und Verbindung von Google Cloud-Diensten.

Hochgradig parallele HPC-Arbeitslasten ausführen

Mit Dataflow können Sie Ihre hochgradig parallelen Arbeitslasten in einer einzigen Pipeline ausführen, wodurch sich die Effizienz verbessert und Ihr Workflow einfacher zu verwalten wird.

Streaming

Inferenz mit Dataflow ML ausführen

Mit Dataflow ML können Sie vollständige ML-Pipelines (maschinelles Lernen) mithilfe von Dataflow bereitstellen und verwalten. Verwenden Sie ML-Modelle für lokale und Remote-Inferenz mit Batch- und Streaming-Pipelines. Verwenden Sie Datenverarbeitungstools, um Ihre Daten für das Modelltraining vorzubereiten und die Ergebnisse der Modelle zu verarbeiten.

ML Streaming

E-Commerce-Streamingpipeline erstellen

End-to-End-E-Commerce-Beispielanwendung erstellen, die Daten aus einem Webstore an BigQuery und Bigtable streamt. Die Beispielanwendung veranschaulicht gängige Anwendungsfälle und Best Practices für die Implementierung von Streamingdatenanalysen und KI in Echtzeit.

ecommerce ecommerce