Dataflow-Dokumentation | Google Cloud

Dataflow ist ein verwalteter Dienst zur Ausführung eines breiten Spektrums an Datenverarbeitungsmustern. Die Dokumentation auf dieser Website zeigt Ihnen, wie Sie Ihre Batch- und Streaming-Datenverarbeitungspipelines mit Dataflow bereitstellen. Sie enthält auch Anweisungen zur Verwendung der Servicefunktionen.

Das Apache Beam SDK ist ein Open-Source-Programmiermodell, mit dem Sie sowohl Batch- als auch Streamingpipelines entwickeln können. Sie erstellen Ihre Pipelines mit einem Apache Beam-Programm und führen sie dann im Dataflow-Dienst aus. Die Apache Beam-Dokumentation enthält ausführliche konzeptionelle Informationen und Referenzmaterial für das Apache Beam-Programmiermodell, SDKs und andere Runner.

Apache, Apache Beam, Beam, das Beam-Logo und das Beam-Maskottchen sind Marken der Apache Software Foundation in den USA und/oder anderen Ländern.

Apache Beam SDK 2.x: Java, Python, oder Go
REST API
Dataflow SQL
gcloud-Befehlszeilenfunktionen

Anwendungsfälle

Architektur

Produktionsbereite Datenpipelines mit Dataflow erstellen: Übersicht

Eine Übersicht darüber, wie Sie Dataflow einsetzen können, um die Produktionsbereitschaft Ihrer Datenpipelines zu verbessern. Erster Teil einer Reihe

Transformationen

Anwendungsfall

Erkennen von Anomalien in Finanztransaktionen mit AI Platform, Dataflow und BigQuery

Beschreibt die Implementierung einer Anomalieerkennung, die betrügerische Transaktionen mithilfe eines Boosted-Tree-Modells identifiziert.

ML Erkennung

Anwendungsfall

Produktionsbereite Logexporte mithilfe von Dataflow in Splunk bereitstellen

Erstellen Sie mit Cloud Logging, Pub/Sub und Dataflow einen skalierbaren, fehlertoleranten Logexportmechanismus. Streamen Sie Ihre Logs und Ereignisse von Ressourcen in Google Cloud entweder in Splunk Enterprise oder Splunk Cloud für IT-Vorgänge oder Anwendungsfälle im Bereich Sicherheit.

Splunk Streaming

Leitfäden

Referenz

Ressourcen

Anwendungsfälle

Videos