Supportstatus für SDK-Versionen

Diese Seite enthält den Supportstatus der SDK-Releases von Apache Beam und Dataflow:

Definition der Supportstufen

Die folgenden Supportstufen gelten für das Apache Beam SDK:

  • Unterstützt: Apache Beam SDK-Versionen werden vom Releasedatum bis zum Zeitpunkt der Einstellung von Dataflow unterstützt.
  • Verworfen: Sobald das Verwerfen einer SDK-Version angekündigt wurde, funktioniert sie weiterhin mit Dataflow, kann jedoch außer Betrieb genommen werden. Die verworfene Version wird nicht zwangsläufig außer Betrieb genommen. Bei Anfragen für Jobs, die von veralteten SDK-Versionen gesendet werden, erhalten Sie eine Warnmeldung. Umgebungen, die eine verworfene SDK-Version verwenden, sollten auf eine unterstützte Version aktualisiert werden, um Unterbrechungen zu vermeiden.
  • Außer Betrieb genommen: Nach der Phase der Einstellung funktonieren außer Betrieb genommene nicht mehr unterstützte SDK-Versionen nicht mehr mit Dataflow. Anfragen für Jobs, die von außer Betrieb genommenen SDK-Versionen gesendet wurden, führen zu einem Fehler. Umgebungen, die eine außer Betrieb genommene Version eines SDK verwenden, müssen auf eine unterstützte Version aktualisiert werden, damit sie mit Dataflow verwendet werden können.

Die oben genannten Definitionen gelten nicht für SDKs oder Features, die noch nie unterstützt wurden, z. B. das Apache Beam SDK für Go.

Apache Beam 2.x SDKs

Apache Beam ist ein Open-Source-Community-Projekt. Google ist Teil der Community, aber wir sind nicht die Eigentümer des Projekts und kontrollieren nicht den Releaseprozess. Im Auftrag von Dataflow-Kunden können wir Programmfehler melden oder Patches an die Apache Beam-Codebasis senden. Jedoch können wir nicht auf Anfrage Hotfixes oder offizielle Releases von Apache Beam erstellen. Weitere Informationen zu den Releaserichtlinien finden Sie auf der Seite zu den Apache Beam-Richtlinien.

Dataflow unterstützt spezifische Apache Beam SDK-Komponenten für die unten aufgeführten SDK-Releases. Diese Komponenten wurden gründlich mit Dataflow getestet. Experimentelle Features werden nicht unterstützt.

Informationen zu Änderungen finden Sie in den Versionshinweisen zu Apache Beam.

Hinweis: SDK-Versionen für die Entwicklung (mit der Kennzeichnung -SNAPSHOT für Java und .dev für Python) werden nicht unterstützt.

Nachstehende Tabellen enthalten den Supportstatus für die Apache Beam 2.x SDKs:

Java

SDK-Version(en) Status Unterstützte Komponenten Details
2.34.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
 Diese Version wird am 11. November 2022 verworfen.
2.33.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Diese Version wurde am 7. Oktober 2022 verworfen.
2.32.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Diese Version wird am 25. August 2022 verworfen.
2.31.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Diese Version wird am 08. Juli 2022 verworfen.
2.30.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Diese Version wird am 10. Juni 2022 verworfen.
2.29.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Diese Version wird am 29. April 2022 verworfen.

Bekanntes Problem: Wenn Sie Runner V2 verwenden, verwendet Dataflow standardmäßig einen Java 8 SDK-Container, unabhängig von der Java-Version des Nutzers. Zur Umgehung von Java 11 können Sie das Standard-SDK-Image überschreiben. Geben Sie dazu die Pipeline-Option `--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0` an. Apache Beam-Problemverfolgung Weitere Informationen

2.28.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Diese Version wird am 22. Februar 2022 euingestellt.
2.27.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Diese Version wird am 7. Januar 2022 verworfen.

In dieser Version wird JDK 11 unterstützt.
2.26.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Diese Version wird am 11. Dezember 2021 verworfen.
2.25.0 Unterstützt org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Diese Version wird am 23. Oktober 2021 verworfen.
2.24.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 18. September 2021 verworfen.

Bekanntes Problem: Wenn Sie Timer verwenden, die zurückgesetzt werden, statt Timer, die nur einmal festgelegt und nur einmal ausgelöst werden, sollten Sie kein Upgrade auf Version 2.24.0 durchführen. Wenn ein Timer ausgelöst, aber vor der Ausführung zurückgesetzt wird, kann dies durch ein Wasserzeichen geschehen, sodass der Pipelinejob hängen bleiben. Weitere Informationen finden Sie in der Apache Beam-Problemverfolgung.
2.23.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 29. Juli 2021 verworfen.
2.22.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud-E/A-Connectors unter Modul org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 8. Juni 2021 verworfen.
2.21.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 27. Mai 2021 verworfen.
2.20.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 15. April 2021 verworfen.
2.19.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 4. Februar 2021 verworfen.
2.18.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 23. Januar 2021 verworfen.
2.17.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 6. Januar 2021 verworfen.
2.16.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 7. Oktober 2020 verworfen.
2.15.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 23. August 2020 verworfen.

Bekannte Probleme:
  • Dataflow-Nutzer, die Schemafeatures (einschließlich SQL-Transformationen) verwenden, sollten aufgrund eines bekannten Problems kein Upgrade auf Version 2.15.0 durchführen. Weitere Informationen finden Sie in der Apache Beam-Problemverfolgung.
2.14.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 1. August 2020 verworfen.
2.13.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 6. Juni 2020 verworfen.

Dieses Release bietet zusätzliche experimentelle Unterstützung für JDK 9 oder höher. Weitere Informationen finden Sie in der Apache Beam-Problemverfolgung.
2.12.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 25. April 2020 verworfen.

Bekannte Probleme:
  • Die Logging-Konfiguration des Dataflow-Runners ist fehlerhaft und kann dazu führen, dass sämtliche Logs fehlen. Fügen Sie Ihren Laufzeitabhängigkeiten slf4j-jdk14 hinzu, um dieses Problem zu umgehen.
2.11.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 1. März 2020 verworfen.

Bekannte Probleme:
  • Die Logging-Konfiguration des Dataflow-Runners ist fehlerhaft und kann dazu führen, dass sämtliche Logs fehlen. Fügen Sie Ihren Laufzeitabhängigkeiten slf4j-jdk14 hinzu, um dieses Problem zu umgehen.
2.10.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 11. Februar 2020 verworfen.

Bekannte Probleme:
  • Das SDK 2.10.0 hängt von der gcsio-Clientbibliothek Version 1.9.13 ab, in der bekannte Probleme vorliegen:

    Als Behelfslösung für diese Probleme können Sie entweder auf das SDK 2.11.0 upgraden oder die gcsio-Clientbibliothek auf Version 1.9.16 oder höher aktualisieren.

  • Die Logging-Konfiguration des Dataflow-Runners ist fehlerhaft und kann dazu führen, dass sämtliche Logs fehlen. Fügen Sie Ihren Laufzeitabhängigkeiten slf4j-jdk14 hinzu, um dieses Problem zu umgehen.
2.9.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 13. Dezember 2019 verworfen.

Bekannte Probleme:
  • Nutzer, die die experimentelle Betaversion von Streaming Engine aktivieren, sollten aufgrund eines bekannten Problems kein Upgrade auf das SDK 2.9.0 durchführen. Wenn Sie das SDK 2.9.0 verwenden möchten, müssen Sie auch das experimentelle Flag enable_conscrypt_security_provider zum Aktivieren von Conscrypt setzen, das bekannte Stabilitätsprobleme hat.
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.8.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 25. Oktober 2019 verworfen.

Bekannte Probleme:
  • Aufgrund eines Problems mit der Conscrypt-Bibliothek können Pipelines hängen bleiben. Wenn in Stackdriver Logging Fehler mit Stacktraces angezeigt werden, die sich auf Aufrufe in Zusammenhang mit Conscrypt beziehen, sind Sie möglicherweise von diesem Problem betroffen. Führen Sie zur Problembehebung ein Upgrade auf eine SDK-Version ab 2.9.0 durch.
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.7.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 3. Oktober 2019 verworfen.

Bekannte Probleme:
  • Aufgrund eines Problems mit der Conscrypt-Bibliothek können Pipelines hängen bleiben. Wenn in Stackdriver Logging Fehler mit Stacktraces angezeigt werden, die sich auf Aufrufe in Zusammenhang mit Conscrypt beziehen, sind Sie möglicherweise von diesem Problem betroffen. Führen Sie zur Problembehebung ein Upgrade auf eine SDK-Version ab 2.9.0 durch.
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.6.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 8. August 2019 verworfen.

Bekannte Probleme:
  • Aufgrund eines Problems mit der Conscrypt-Bibliothek können Pipelines hängen bleiben. Wenn in Stackdriver Logging Fehler mit Stacktraces angezeigt werden, die sich auf Aufrufe in Zusammenhang mit Conscrypt beziehen, sind Sie möglicherweise von diesem Problem betroffen. Führen Sie zur Problembehebung ein Upgrade auf eine SDK-Version ab 2.9.0 durch.
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.5.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Am 6. Juni 2019 verworfen.

Bekannte Probleme:
  • Aufgrund eines Problems mit der Conscrypt-Bibliothek können Pipelines hängen bleiben. Wenn in Stackdriver Logging Fehler mit Stacktraces angezeigt werden, die sich auf Aufrufe in Zusammenhang mit Conscrypt beziehen, sind Sie möglicherweise von diesem Problem betroffen. Führen Sie zur Problembehebung ein Upgrade auf eine SDK-Version ab 2.9.0 durch.
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.4.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Am 20. März 2019 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.3.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Am 30. Januar 2019 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.2.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Am 2. Dezember 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.1.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Am 23. August 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.0.0 Verworfen org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Am 17. Mai 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Apache Beam Java SDKs bis Version 2.9.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.

Python

SDK-Version(en) Status Unterstützte Komponenten Details
2.34.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 11. November 2022 verworfen.
2.33.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wurde am 7. Oktober 2022 verworfen.
2.32.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 25. August 2022 verworfen.
2.31.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 08. Juli 2022 verworfen.
2.30.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 10. Juni 2022 verworfen.
2.29.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 29. April 2022 verworfen.
2.28.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 22. Februar 2022 euingestellt.
2.27.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 7. Januar 2022 verworfen.
2.26.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, dataframe (Vorschau), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 11. Dezember 2021 verworfen.
2.25.0 Unterstützt Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Diese Version wird am 23. Oktober 2021 verworfen.
2.24.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Am 18. September 2021 verworfen. Diese Version ist die letzte Version des Apache Beam SDK für Python 2 und Python 3.5.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.23.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Am 29. Juli 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.22.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp: bigquery, datastore, pubsub

Am 8. Juni 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.21.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 27. Mai 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.20.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 15. April 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.19.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 4. Februar 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.18.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 23. Januar 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.17.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 6. Januar 2021 verworfen.

Dataflow unterstützt nicht mehr Pipelines mit Python 2. Weitere Informationen finden Sie auf der Seite Python 2-Unterstützung in Google Cloud.
2.16.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp
 Am 7. Oktober 2020 verworfen.
2.15.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp
 Am 23. August 2020 verworfen.
2.14.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp

Am 1. August 2020 verworfen.

Bekannte Probleme:
  • Bei der in diesem Release hinzugefügten MongoDB-Quelle gibt es ein bekanntes Problem, das zu Datenverlust führen kann. Weitere Informationen finden Sie unter BEAM-7866.
2.13.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp
 Am 6. Juni 2020 verworfen.
2.12.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp
 Am 25. April 2020 verworfen.
2.11.0 Verworfen Core Python SDK-Bibliothek unter Modul apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Dateibasierte Quellen und Senken und zugehörige Module unter Modul apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud-E/A-Connectors unter Modul apache_beam.io.gcp
 Am 1. März 2020 verworfen.
2.10.0 Verworfen Am 11. Februar 2020 verworfen.
2.9.0 Verworfen Am 13. Dezember 2019 verworfen.
2.8.0 Verworfen Am 25. Oktober 2019 verworfen.
2.7.0 Verworfen

Am 3. Oktober 2019 verworfen.
2.6.0 Verworfen Am 8. August 2019 verworfen.
2.5.0 Verworfen Am 6. Juni 2019 verworfen.
2.4.0 Verworfen Am 20. März 2019 verworfen.
2.3.0 Verworfen Am 30. Januar 2019 verworfen.
2.2.0 Verworfen Am 2. Dezember 2018 verworfen.
2.1.1
2.1.0		 Verworfen Am 23. August 2018 verworfen.
2.0.0 Verworfen Am 17. Mai 2018 verworfen.

Dataflow 2.x SDKs

Hinweis: SDK-Versionen für die Entwicklung (mit der Kennzeichnung -SNAPSHOT für Java und .dev für Python) werden nicht unterstützt.

In den folgenden Tabellen ist der Supportstatus für die Dataflow 2.x SDKs aufgeführt:

Java

Informationen zu Änderungen finden Sie in den Versionshinweisen zum Dataflow SDK 2.x für Java.

SDK-Version(en) Status Details
2.5.0 Verworfen

Am 6. Juni 2019 verworfen.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.4.0 Verworfen

Am 20. März 2019 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.3.0 Verworfen

Am 30. Januar 2019 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.2.0 Verworfen

Am 2. Dezember 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.1.0 Verworfen

Am 23. August 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.0.0 Verworfen

Am 17. Mai 2018 verworfen.

Diese Version wird bis zum 12. August 2020 außer Betrieb genommen, da JSON-RPC und globale HTTP-Batchendpunkte nicht mehr unterstützt werden.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Außer Betrieb genommen

Am 28. Februar 2018 außer Betrieb genommen.

Bekanntes Problem:
  • In einem bestimmten Fall können Nutzer von Dataflow Java SDKs bis Version 2.5.0 Datenduplizierungen beobachten, wenn Dateien aus Cloud Storage gelesen werden. Eine Duplizierung kann auftreten, wenn alle der folgenden Bedingungen erfüllt sind:
    • Sie lesen Dateien, deren Inhaltscodierung auf "gzip" eingestellt ist und die von Cloud Storage dynamisch dekomprimierend transcodiert werden.
    • Die Dateigröße ist (dekomprimiert) größer als 2,14 GB.
    • Der Eingabestream erzeugt nach dem Lesen von 2,14 GB einen Fehler (und wird neu erstellt).
    Legen Sie als Behelfslösung den Header für die Inhaltscodierung nicht fest und speichern Sie komprimierte Dateien in Cloud Storage mit der richtigen Erweiterung (z. B. gz für gzip). Bei vorhandenen Dateien können Sie den Header für die Inhaltscodierung und den Dateinamen mit dem gsutil-Tool aktualisieren.

Python

Informationen zu Änderungen finden Sie in den Versionshinweisen zum Dataflow SDK 2.x für Python.

SDK-Version(en) Status Details
2.5.0 Verworfen Am 6. Juni 2019 verworfen.
2.4.0 Verworfen Am 20. März 2019 verworfen.
2.3.0 Verworfen Am 30. Januar 2019 verworfen.
2.2.0 Verworfen Am 2. Dezember 2018 verworfen.
2.1.1 Verworfen Am 23. August 2018 verworfen.
Behebt ein Kompatibilitätsproblem mit dem Python-Paket six.
Weitere Informationen finden Sie in den Versionshinweisen.
2.1.0 Verworfen Am 23. August 2018 verworfen.
Diese Version hat ein Kompatibilitätsproblem mit dem Python-Paket six 1.11.0.
Weitere Informationen finden Sie in den Versionshinweisen.
2.0.0 Verworfen Am 17. Mai 2018 verworfen.
Diese Version hat ein Kompatibilitätsproblem mit dem Python-Paket six 1.11.0.
Weitere Informationen finden Sie in den Versionshinweisen.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Außer Betrieb genommen Am 29. Januar 2018 außer Betrieb genommen.
0.2.7 und ältere Versionen Außer Betrieb genommen Am 23. März 2017 außer Betrieb genommen.