Anleitungen

• Apache Beam SDK installieren

  Hier erfahren Sie, wie Sie das Apache Beam SDK installieren, damit Sie Ihre Pipelines im Dataflow-Dienst ausführen können.

Pipeline erstellen

• Pipelinegrundlagen für die Apache Beam SDKs

  Hier erfahren Sie, wie Sie Ihre Pipeline mit den Apache Beam SDKs entwerfen, erstellen und testen.

• Mit Apache Beam-Notebooks entwickeln

  Hier erfahren Sie, wie Sie Pipelines mit JupyterLab-Notebooks und mit dem interaktiven Apache Beam-Runner iterativ entwickeln.

Pipelineoptionen und -ressourcen festlegen

• Pipelineoptionen festlegen

  Hier erfahren Sie, wie Sie Pipelineoptionen festlegen, z. B. wo die Pipeline ausgeführt wird.

• Dataflow Prime Right Fitting konfigurieren^Vorschau

  Hier erfahren Sie, wie Sie Ressourcenhinweise verwenden, um der Pipeline und ihren Phasen Ressourcen zuzuweisen.

• Pipeline bereitstellen

  Hier erfahren Sie, wie Sie Ihre Pipeline bereitstellen und wie der von Dataflow verwaltete Dienst funktioniert. Dies schließt Informationen zu Standardeinstellungen und -einschränkungen ein.

• Dataflow Prime ^Vorschau verwenden

  Hier erfahren Sie, wie Sie mit Dataflow Prime starten.

• Monitoring-UI verwenden

  Hier erfahren Sie, wie Sie eine laufende Apache Beam-Pipeline mithilfe der Monitoring-Benutzeroberfläche überwachen.

• Befehlszeilenschnittstelle verwenden

  Hier erfahren Sie, wie Sie eine laufende Apache Beam-Pipeline mithilfe der Befehlszeilenschnittstelle überwachen.

• Cloud Monitoring verwenden

  Hier erfahren Sie, wie Sie die Dataflow-Einbindung in Cloud Monitoring verwenden.

• Pipelinenachrichten protokollieren

  Hier erfahren Sie, wie Sie während und nach der Ausführung der Pipeline protokollierte Informationen überwachen.

• Benutzerdefinierte Container in Dataflow verwenden

  Hier finden Sie Informationen zum Anpassen der Laufzeitumgebung für Nutzercode in Dataflow-Pipelines, indem ein benutzerdefiniertes Container-Image von Ihnen bereitgestellt wird.

Pipelinefehler beheben

• Fehlerbehebung

  Leitfaden zur Behebung von Fehlern und Problemen, die bei der Ausführung Ihrer Pipeline entstehen.

• Hinweise zu gängigen Fehlern

  Hier erfahren Sie, wie Sie Dataflow-Jobfehler beheben.

• Profilerstellung für eine Pipeline

  Hier erfahren Sie, wie Sie Profile für Dataflow-Pipelines mithilfe von Cloud Profiler erstellen.

• Vorhandene Pipeline aktualisieren

  Hier erfahren Sie, wie Sie eine laufende Pipeline mit neuem Pipelinecode oder verschiedenen Ausführungsoptionen aktualisieren und gleichzeitig den Status Ihres Jobs erhalten.

• Dataflow-Snapshots verwenden

  Hier erfahren Sie, wie Sie mit Snapshots den Status einer Streamingpipeline speichern.

• Laufende Pipeline anhalten

  Hier erfahren Sie, wie Sie eine laufende Apache Beam-Pipeline anhalten.

Vorlagen erstellen und ausführen

• Vorlagen – Übersicht

  Übersicht über das Erstellen und Verwenden von Vorlagen

• Vorlagen erstellen

  Wie Vorlagen erstellt werden

• Vorlagen verwenden

  Hier erfahren Sie, wie Sie mithilfe von Vorlagen Ihre Pipelines bereitstellen und von verschiedenen Umgebungen aus ausführen.

• Erste Schritte mit von Google bereitgestellten Vorlagen

  Hier erfahren Sie, wie Sie von Google bereitgestellte Vorlagen zum Einstieg verwenden.

• Von Google bereitgestellte Streamingvorlagen

  Hier erfahren Sie, wie Sie von Google bereitgestellte Vorlagen für die kontinuierliche Verarbeitung von Daten verwenden.

• Von Google bereitgestellte Batchvorlagen

  Hier erfahren Sie, wie Sie von Google bereitgestellte Vorlagen für die Bulk-Verarbeitung von Daten verwenden.

• Von Google bereitgestellte Hilfsvorlagen

  Hier erfahren Sie, wie Sie von Google bereitgestellte Hilfsvorlagen verwenden.

• Migration von App Engine MapReduce

  Hier erfahren Sie, wie Sie von App Engine MapReduce zu Apache Beam und Dataflow migrieren.

Netzwerke konfigurieren

• Netzwerke angeben

  Hier erfahren Sie, wie Sie beim Ausführen von Cloud Dataflow-Jobs ein Netzwerk und ein Subnetzwerk angeben.

• Internetzugriff und Firewallregeln konfigurieren

  Hier erfahren Sie, wie Sie Routen bereitstellen und Ihre Google Cloud-Firewallregeln für das Netzwerk definieren, das Ihren Dataflow-Jobs zugeordnet ist.

• Cloud Pub/Sub Seek mit Cloud Dataflow verwenden

  Hier erfahren Sie, wie Sie Pub/Sub Seek mit Dataflow verwenden.

• Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden

  Hier erfahren Sie, wie Sie einen Cloud Key Management Service-Schlüssel (Cloud KMS) zum Verschlüsseln mit Dataflow verwenden.

• Flexible Resource Scheduling in Cloud Dataflow verwenden

  Hier erfahren Sie, wie Sie Flexible Resource Scheduling (FlexRS) in Dataflow verwenden.

Dataflow SQL-Jobs erstellen

• Dataflow SQL verwenden

  Hier erfahren Sie, wie Sie Dataflow SQL verwenden und Dataflow SQL-Jobs erstellen.

• Parametrisierte Dataflow-SQL-Abfragen verwenden

  Hier erfahren Sie, wie Sie parametrisierte Dataflow-SQL-Abfragen ausführen.

• Datenquellen und -ziele verwenden

  Daten mit Dataflow SQL abfragen und damit Abfrageergebnisse schreiben

• GPUs verwenden

  Hier erfahren Sie, wie Sie eine Apache Beam-Pipeline in Dataflow mit GPUs ausführen.

• Mit Datenpipelines arbeiten^Vorschau

  Hier erfahren Sie, wie Sie von Dataflow verwaltete Pipelines verwenden.