État de la compatibilité des versions du SDK

Cette page répertorie l'état de compatibilité de Dataflow pour les versions du SDK Apache Beam et du SDK Dataflow :

Définitions de la compatibilité avec le SDK Apache Beam

Les niveaux de compatibilité du SDK Apache Beam sont les suivants :

  • Compatible : les versions du SDK Apache Beam sont compatibles avec Dataflow de leur date de disponibilité jusqu'à leur date d'abandon.
  • Obsolète : lorsqu'une version du SDK est obsolète, elle continue à fonctionner avec Dataflow, mais peut être mise hors service ultérieurement. Avant la mise hors service d'une version du SDK, les clients en sont informés et ont le temps de mettre à niveau leurs environnements. Les requêtes des tâches envoyées à partir de versions obsolètes du SDK renvoient un message d'avertissement. Il est recommandé de mettre à jour les environnements qui utilisent une version obsolète du SDK vers une version compatible, mais les versions obsolètes du SDK continuent de fonctionner avec Dataflow.
  • Mise hors service : les versions du SDK hors service ne fonctionnent plus avec Dataflow. Les requêtes des tâches envoyées à partir de versions de SDK hors service renvoient une erreur. Pour utiliser le SDK avec Dataflow, vous devez mettre à jour votre environnement vers une version du SDK qui n'est pas mise hors service. Nous vous recommandons de mettre à jour le SDK vers une version compatible. Les versions du SDK sont rarement mises hors service. Avant la mise hors service d'une version du SDK, les clients en sont informés et ont le temps de mettre à niveau leurs environnements.

Les définitions précédentes ne s'appliquent pas aux SDK ou aux fonctionnalités qui n'ont jamais été compatibles.

SDK Apache Beam 2.x

Apache Beam est un projet de développement collaboratif Open Source. Google et Google Cloud font partie de la communauté Apache Beam, mais nous ne sommes pas propriétaires du projet et ne contrôlons pas le processus de publication. Nous pouvons soumettre des rapports de bug ou des correctifs applicables au codebase Apache Beam pour le compte de clients Dataflow. Nous ne pouvons pas créer de correctifs ni de versions officielles d'Apache Beam à la demande. Pour en savoir plus sur les règles de publication, consultez la page traitant des règles d'Apache Beam.

Certains composants spécifiques du SDK Apache Beam sont compatibles avec Dataflow pour les versions de SDK répertoriées sur cette page. Ces composants ont été minutieusement testés avec Dataflow. Les fonctionnalités expérimentales ne sont pas disponibles.

Consultez les notes de version d'Apache Beam pour en savoir plus sur les modifications.

Les tableaux suivants contiennent l'état de compatibilité des SDK Apache Beam 2.x, y compris le SDK Apache Beam pour Python, le SDK Java Apache Beam et le SDK Apache Beam Go :

Java

Version du SDK État Composants avec assistance Détails
2.55.1 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 8 avril 2025.
2.55.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql

Cette version sera obsolète le 25 mars 2025.

Problème connu: La transformation WriteToJson dans les pipelines multilingues échoue et renvoie une erreur. Pour résoudre ce problème, effectuez une mise à niveau vers Apache Beam 2.55.1. Pour en savoir plus, consultez la section Problème n° 30776 : échec du fichier YAML WriteToJson de Beam.
2.54.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 14 février 2025.
2.53.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 04 janvier 2025.
2.52.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 17 novembre 2024.
2.51.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 12 octobre 2024.
2.50.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 30 août 2024.
2.49.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 17 juillet 2024.
2.48.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 31 mai 2024.
2.47.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Cette version sera obsolète le 10 mai 2024.
2.46.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 10 mars 2024.
2.45.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 15 février 2024.
2.44.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 13 janvier 2024.
2.43.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 17 novembre 2023.
2.42.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 17 octobre 2023.
2.41.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 23 août 2023.
2.40.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 27 juin 2023.
2.39.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 25 mai 2023.
2.38.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 20 avril 2023.
2.37.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 4 mars 2023.
2.36.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 7 février 2023.
2.35.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 29 décembre 2022.
2.34.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
 Obsolète depuis le 11 novembre 2022.
2.33.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Obsolète depuis le 7 octobre 2022.
2.32.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Obsolète depuis le 25 août 2022.
2.31.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Obsolète depuis le 8 juillet 2022.
2.30.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Obsolète depuis le 10 juin 2022.
2.29.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 29 avril 2022.

Problème connu : si vous utilisez l'exécuteur V2, par défaut, Dataflow utilise un conteneur du SDK Java 8, quelle que soit la version Java de l'utilisateur. Comme solution de contournement pour Java 11, vous pouvez remplacer l'image par défaut du SDK en fournissant l'option de pipeline "`--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0". Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.

2.28.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 22 février 2022.
2.27.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 7 janvier 2022.

Cette version est compatible avec JDK 11.
2.26.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 11 décembre 2021.
2.25.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 23 octobre 2021.
2.24.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 18 septembre 2021.

Problème connu : Si vous utilisez des minuteurs qui réinitialisent la configuration, et non ceux qui sont définis et déclenchés une seule fois, vous ne devez pas passer à la version 2.24.0. Lorsqu'un minuteur se déclenche, mais qu'il est réinitialisé avant l'exécution, une préservation à titre conservatoire du watermark peut être désactivée. Dans ce cas, la tâche de pipeline est bloquée. Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.
2.23.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 29 juillet 2021.
2.22.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 8 juin 2021.
2.21.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 27 mai 2021.
2.20.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 15 avril 2021.
2.19.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 4 février 2021.
2.18.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 23 janvier 2021.
2.17.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 janvier 2021.
2.16.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 7 octobre 2020.
2.15.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 23 août 2020.

Problèmes connus :
  • Les utilisateurs de Dataflow qui font appel à des fonctionnalités de schéma (y compris des transformations SQL) ne doivent pas effectuer la mise à niveau vers la version 2.15.0 en raison d'un problème connu. Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.
2.14.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 1er août 2020.
2.13.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 juin 2020.

Cette version ajoute une compatibilité expérimentale pour les versions de JDK 9 et ultérieures. Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.
2.12.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 25 avril 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.11.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 1er mars 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.10.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 11 février 2020.

Problèmes connus :
  • Le SDK 2.10.0 dépend de la version 1.9.13 de la bibliothèque cliente gcsio, qui présente des problèmes connus :

    Pour contourner ces problèmes, effectuez une mise à niveau vers le SDK 2.11.0 ou remplacez la bibliothèque cliente gcsio par la version 1.9.16 ou ultérieure.

  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.9.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 13 décembre 2019.

Problèmes connus :
  • Si vous activez le test Streaming Engine (bêta), n'effectuez pas la mise à niveau vers le SDK 2.9.0 en raison d'un problème connu. Si vous choisissez d'utiliser le SDK 2.9.0, vous devez également définir l'indicateur expérimental enable_conscrypt_security_provider pour activer Conscrypt, qui présente des problèmes de stabilité connus.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.8.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 25 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans Stackdriver Logging avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.7.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 3 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans Stackdriver Logging avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.6.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 8 août 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans Stackdriver Logging avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.5.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 juin 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans Stackdriver Logging avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.4.0 Hors service org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.3.0 Hors service org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.2.0 Hors service org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.1.0 Hors service org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.0.0 Hors service org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.

Python

Version du SDK État Composants avec assistance Détails
2.55.1 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql, yaml
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 8 avril 2025.

Problème connu : les pipelines Python qui utilisent ce SDK peuvent rencontrer des blocages occasionnels. Pour en savoir plus, consultez le problème GitHub Apache Beam n° 30867.
2.55.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql, yaml
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 25 mars 2025.

Problème connu: La transformation WriteToJson dans les pipelines multilingues échoue et renvoie une erreur. Pour résoudre ce problème, effectuez une mise à niveau vers Apache Beam 2.55.1. Pour en savoir plus, consultez la section Problème n° 30776 : échec du fichier YAML WriteToJson de Beam.

Problème connu : les pipelines Python qui utilisent ce SDK peuvent rencontrer des blocages occasionnels. Pour en savoir plus, consultez le problème GitHub Apache Beam n° 30867.
2.54.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql, yaml
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 14 février 2025.
2.53.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 04 janvier 2025.
2.52.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 17 novembre 2024.
2.51.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 12 octobre 2024.
2.50.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 30 août 2024.
2.49.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 17 juillet 2024.
2.48.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 31 mai 2024.
2.47.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 10 mai 2024.
2.46.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Cette version sera obsolète le 10 septembre 2024. Le délai de compatibilité pour cette version a été prolongé en raison de problèmes connus détectés dans les versions ultérieures.
2.45.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 15 février 2024.
2.44.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 13 janvier 2024.
2.43.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 17 novembre 2023.
2.42.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 17 octobre 2023.
2.41.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 23 août 2023.
2.40.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, ml.inference (sauf PytorchModelHandlerKeyedTensor et SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 27 juin 2023.
2.39.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 25 mai 2023.
2.38.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 20 avril 2023.
2.37.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 4 mars 2023.

Problèmes connus :
  • Lorsque vous utilisez WriteToBigQuery avec le paramètre ignore_unknown_columns défini sur true, la valeur du paramètre est ignorée. Ce problème est résolu dans la version 2.38.0. Pour en savoir plus, consultez l'article BEAM-14039.
2.36.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 7 février 2023.

Problèmes connus :
  • Lorsque vous utilisez WriteToBigQuery avec le paramètre ignore_unknown_columns défini sur true, la valeur du paramètre est ignorée. Ce problème est résolu dans la version 2.38.0. Pour en savoir plus, consultez l'article BEAM-14039.
2.35.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub
Les connecteurs sous apache_beam.io.jdbc : ReadFromJdbc, WriteToJdbc.

Obsolète depuis le 29 décembre 2022.
2.34.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 11 novembre 2022.
2.33.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 7 octobre 2022.
2.32.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 25 août 2022.
2.31.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 8 juillet 2022.
2.30.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 10 juin 2022.
2.29.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 29 avril 2022.
2.28.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 22 février 2022.
2.27.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 7 janvier 2022.
2.26.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 11 décembre 2021.
2.25.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 23 octobre 2021.
2.24.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 18 septembre 2021. De plus, le SDK Apache Beam version 2.24.0 est le dernier compatible avec Python 2 et Python 3.5.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.23.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 29 juillet 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.22.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 8 juin 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.21.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 27 mai 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.20.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 15 avril 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.19.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 4 février 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.18.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 23 janvier 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.17.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 6 janvier 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.16.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 7 octobre 2020.
2.15.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 23 août 2020.
2.14.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 1er août 2020.

Problèmes connus :
  • La source MongoDB ajoutée dans cette version présente un problème connu pouvant entraîner une perte de données. Pour en savoir plus, consultez l'article BEAM-7866.
2.13.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 6 juin 2020.
2.12.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 25 avril 2020.
2.11.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : submodules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 1er mars 2020.
2.10.0 Obsolète Obsolète depuis le 11 février 2020.
2.9.0 Obsolète Obsolète depuis le 13 décembre 2019.
2.8.0 Obsolète Obsolète depuis le 25 octobre 2019.
2.7.0 Obsolète

Obsolète depuis le 3 octobre 2019.
2.6.0 Obsolète Obsolète depuis le 8 août 2019.
2.5.0 Obsolète Obsolète depuis le 6 juin 2019.
2.4.0 Obsolète Obsolète depuis le 20 mars 2019.
2.3.0 Obsolète Obsolète depuis le 30 janvier 2019.
2.2.0 Obsolète Obsolète depuis le 2 décembre 2018.
2.1.1
2.1.0		 Obsolète Obsolète depuis le 23 août 2018.
2.0.0 Obsolète Obsolète depuis le 17 mai 2018.

Go

Version du SDK État Composants avec assistance Détails
2.55.1 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 8 avril 2025.
2.55.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 25 mars 2025.
2.54.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 14 février 2025.
2.53.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 04 janvier 2025.
2.52.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 17 novembre 2024.
2.51.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 12 octobre 2024.
2.50.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 30 août 2024.
2.49.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 17 juillet 2024.
2.48.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 31 mai 2024.
2.47.0 Compatible Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Cette version sera obsolète le 10 mai 2024.
2.46.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 10 mars 2024.
2.45.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 15 février 2024.
2.44.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 13 janvier 2024.
2.43.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 17 novembre 2023.
2.42.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 17 octobre 2023.
2.41.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 23 août 2023.
2.40.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 27 juin 2023.
2.39.0 Obsolète Packages dans les répertoires suivants :
-Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Obsolète depuis le 25 mai 2023.
2.38.0 Obsolète Packages dans les répertoires suivants :
- Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
 Obsolète depuis le 20 avril 2023.
2.37.0 Obsolète Packages dans les répertoires suivants :
-Package SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Obsolète depuis le 4 mars 2023.

SDK Dataflow 2.x

Les tableaux suivants contiennent l'état de compatibilité des SDK Dataflow 2.x, y compris le SDK Java Dataflow et le SDK Dataflow pour Python :

Java

Consultez les notes de version du SDK Dataflow 2.x pour Java afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Obsolète

Obsolète depuis le 6 juin 2019.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.4.0 Hors service

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.3.0 Hors service

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.2.0 Hors service

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.1.0 Hors service

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.0.0 Hors service

Hors service depuis le 12 août 2020.

Cette version est mise hors service, car le protocole JSON-RPC et les points de terminaison mondiaux ne sont plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Hors service

Hors service depuis le 28 février 2018.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom de fichier à l'aide des commandes gcloud storage.

Python

Consultez les notes de version du SDK Dataflow 2.x pour Python afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Obsolète Obsolète depuis le 6 juin 2019.
2.4.0 Obsolète Obsolète depuis le 20 mars 2019.
2.3.0 Obsolète Obsolète depuis le 30 janvier 2019.
2.2.0 Obsolète Obsolète depuis le 2 décembre 2018.
2.1.1 Obsolète Obsolète depuis le 23 août 2018.
Résout un problème de compatibilité avec le package Python six.
Consultez les notes de version pour plus d'informations.
2.1.0 Obsolète Obsolète depuis le 23 août 2018.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
2.0.0 Obsolète Obsolète depuis le 17 mai 2018.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Hors service Hors service à compter du 29 janvier 2018.
0.2.7 et versions antérieures Hors service Hors service depuis le 23 mars 2017.