Konzepte

• Apache Beam-Programmiermodell

  Eine Übersicht über das einheitliche Programmiermodell von Apache Beam für die Batch- und Streaming-Datenverarbeitung. Informationen über die Programmiermodell-Grundlagen, einschließlich Pipelines, PCollections, Transformationen und Pipeline-E/A.

• Streamingpipelines

  Eine Übersicht über die Verarbeitung von Streaming-Daten durch Dataflow.

• Dataflow-Vorlagen

  Ein Übersicht darüber, wie Sie Dataflow-Vorlagen verwenden, um Ihre Pipelines in der Google Cloud zu erstellen und sie über die Google Cloud Console, die Google Cloud CLI oder REST API-Aufrufe auszuführen.

• Sicherheit und Berechtigungen

  Eine Übersicht darüber, wie Dataflow die Sicherheit und Berechtigungen für Ihre Daten und der verwalteten Cloud-Ressourcen Ihrer Pipeline handhabt.

• Zugriffssteuerung mit IAM

  Eine Übersicht darüber, wie Dataflow den Zugriff der Nutzer Ihres Projekts auf Dataflow-spezifische Ressourcen handhabt.

• SDK- und Worker-Abhängigkeiten

  Eine Übersicht über Abhängigkeiten und Worker-Pakete für Apache Beam und Dataflow SDKs.

• Regionale Endpunkte

  Eine Übersicht der regionalen Endpunkte von Dataflow, mit deren Hilfe Sie eine Region für die Bereitstellung Ihrer Dataflow-Jobs festlegen können.

• Streaming mit Pub/Sub

  Eine Übersicht über die Einbindung von Dataflow in Pub/Sub.

• GPU-Unterstützung

  Eine Übersicht über die Funktionsweise von GPUs mit Dataflow.

• Ausführungsdetails

  Eine Übersicht über den Tab Ausführungsdetails in der webbasierten Monitoring-Benutzeroberfläche.

• Audit-Logging

  Eine Übersicht über die Audit-Logs, die von Dataflow als Teil der Cloud-Audit-Logs erstellt werden.