Dataflow ist ein verwalteter Dienst zur Ausführung eines breiten Spektrums an Datenverarbeitungsmustern. Die Dokumentation auf dieser Website zeigt Ihnen, wie Sie Ihre Batch- und Streaming-Datenverarbeitungspipelines mit Dataflow bereitstellen. Sie enthält auch Anweisungen zur Verwendung der Servicefunktionen.

Das Apache Beam SDK ist ein Open-Source-Programmiermodell, mit dem Sie sowohl Batch- als auch Streamingpipelines entwickeln können. Sie erstellen Ihre Pipelines mit einem Apache Beam-Programm und führen sie dann im Dataflow-Dienst aus. Die Apache Beam-Dokumentation enthält ausführliche konzeptionelle Informationen und Referenzmaterial für das Apache Beam-Programmiermodell, SDKs und andere Runner.

Informationen zu grundlegenden Apache Beam-Konzepten finden Sie in der Tour zu Beam und Beam Playground. Das Repository Dataflow Cookbook bietet außerdem einsatzbereite und eigenständige Pipelines sowie die gängigsten Dataflow-Anwendungsfälle.

Apache, Apache Beam, Beam, das Beam-Logo und das Beam-Maskottchen sind eingetragene Marken der Apache Software Foundation in den USA und/oder anderen Ländern.

Dokumentationsressourcen

Hier finden Sie Kurzanleitungen und Leitfäden, prüfen wichtige Referenzen und erhalten Hilfe bei häufigen Problemen.
Entdecken Sie Schulungen von Google Cloud Skills Boost, Anwendungsfälle, Referenzarchitekturen und Codebeispiele mit Beispielen zur Verwendung und Verbindung von Google Cloud-Diensten.
Anwendungsfall
Anwendungsfälle

Hochgradig parallele HPC-Arbeitslasten ausführen

Mit Dataflow können Sie Ihre hochgradig parallelen Arbeitslasten in einer einzigen Pipeline ausführen, wodurch sich die Effizienz verbessert und Ihr Workflow einfacher zu verwalten wird.

Streaming

Weitere Informationen  
Anwendungsfall
Anwendungsfälle

Inferenz mit Dataflow ML ausführen

Mit Dataflow ML können Sie vollständige ML-Pipelines (maschinelles Lernen) mithilfe von Dataflow bereitstellen und verwalten. Verwenden Sie ML-Modelle für lokale und Remote-Inferenz mit Batch- und Streaming-Pipelines. Verwenden Sie Datenverarbeitungstools, um Ihre Daten für das Modelltraining vorzubereiten und die Ergebnisse der Modelle zu verarbeiten.

ML Streaming

Weitere Informationen  
Anwendungsfall
Anwendungsfälle

E-Commerce-Streamingpipeline erstellen

End-to-End-E-Commerce-Beispielanwendung erstellen, die Daten aus einem Webstore an BigQuery und Bigtable streamt Die Beispielanwendung veranschaulicht gängige Anwendungsfälle und Best Practices für die Implementierung von Streamingdatenanalysen und KI in Echtzeit.

ecommerce ecommerce

Weitere Informationen  

Ähnliche Videos