État de la compatibilité des versions du SDK

Cette page répertorie l'état de compatibilité des versions du SDK Apache Beam et Dataflow :

Définitions des niveaux d'assistance

Les niveaux d'assistance du SDK Apache Beam sont les suivants :

  • Compatible : les versions du SDK Apache Beam sont compatibles avec Dataflow de leur date de disponibilité jusqu'à leur date d'abandon.
  • Obsolète : une fois qu'une version du SDK a été annoncée comme obsolète, elle continue à fonctionner avec Dataflow, mais peut être mise hors service. La version obsolète peut ou non être mise hors service. Les requêtes des tâches envoyées à partir de versions obsolètes du SDK renvoient un message d'avertissement. Les environnements utilisant une version obsolète du SDK doivent être mis à jour vers une version compatible pour éviter les interruptions.
  • Mise hors service : après la période d'abandon, les versions du SDK hors service ne fonctionnent plus avec Dataflow. Les requêtes des tâches envoyées à partir de versions de SDK hors service renvoient une erreur. Les environnements utilisant une version hors service d'un SDK doivent être mis à jour vers une version compatible pour pouvoir utiliser Dataflow.

Notez que les définitions ci-dessus ne s'appliquent pas aux SDK ou aux fonctionnalités qui n'ont jamais été acceptés, tels que le SDK Apache Beam pour Go.

SDK Apache Beam 2.x

Apache Beam est un projet de développement collaboratif Open Source. Google fait partie de la communauté, mais nous ne sommes pas propriétaires du projet et ne contrôlons pas le processus de publication. Nous pouvons soumettre des rapports de bug ou des correctifs applicables au codebase Apache Beam pour le compte de clients Dataflow, mais nous ne pouvons pas créer de correctifs ni de versions officielles d'Apache Beam à la demande. Pour en savoir plus sur les règles de publication, consultez la page traitant des règles d'Apache Beam.

Certains composants spécifiques du SDK Apache Beam sont compatibles avec Dataflow pour les versions de SDK répertoriées ci-dessous. Ces composants ont été minutieusement testés avec Dataflow. Les fonctionnalités expérimentales ne sont pas disponibles.

Consultez les notes de version d'Apache Beam pour en savoir plus sur les modifications.

Remarque : Les versions du SDK de développement (marquées -SNAPSHOT pour Java et .dev pour Python) ne sont pas compatibles.

Les tableaux suivants contiennent l'état de compatibilité des SDK Apache Beam 2.x :

Java

Version du SDK État Composants avec assistance Détails
2.32.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Cette version sera obsolète le 25 août 2022.
2.31.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Cette version sera obsolète le 8 juillet 2022.
2.30.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Cette version sera obsolète le 10 juin 2022.
2.29.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 29 avril 2022.

Problème connu : si vous utilisez l'exécuteur V2, par défaut, Dataflow utilise un conteneur du SDK Java 8, quelle que soit la version Java de l'utilisateur. Comme solution de contournement pour Java 11, vous pouvez remplacer l'image par défaut du SDK en fournissant l'option de pipeline "`--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0". Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.

2.28.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 22 février 2022.
2.27.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 7 janvier 2022.

Cette version est compatible avec JDK 11.
2.26.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 11 décembre 2021.
2.25.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 23 octobre 2021.
2.24.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 18 septembre 2021.

Problème connu : Si vous utilisez des minuteurs qui réinitialisent la configuration, et non ceux qui sont définis et déclenchés une seule fois, vous ne devez pas passer à la version 2.24.0. Lorsqu'un minuteur se déclenche, mais qu'il est réinitialisé avant l'exécution, une préservation à titre conservatoire du watermark peut être désactivée. Dans ce cas, la tâche de pipeline est bloquée. Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.
2.23.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 29 juillet 2021.
2.22.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Connecteurs d'E/S Google Cloud sous le module org.apache.beam:beam-runners-google-cloud-dataflow-java : bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 8 juin 2020.
2.21.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 27 mai 2021.
2.20.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 15 avril 2021.
2.19.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 4 février 2021.
2.18.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 23 janvier 2021.
2.17.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 janvier 2021.
2.16.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 7 octobre 2020.
2.15.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 23 août 2020.

Problèmes connus :
  • Les utilisateurs de Dataflow qui font appel à des fonctionnalités de schéma (y compris des transformations SQL) ne doivent pas effectuer la mise à niveau vers la version 2.15.0 en raison d'un problème connu. Pour en savoir plus, consultez la page sur l'outil de suivi des problèmes Apache Beam.
2.14.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 1er août 2020.
2.13.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 juin 2020.

Cette version ajoute une compatibilité expérimentale pour la version de JDK 9 ou ultérieure. Consultez la page sur l'outil de suivi des problèmes Apache Beam pour plus d'informations.
2.12.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 25 avril 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.11.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 1er mars 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.10.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 11 février 2020.

Problèmes connus :
  • Le SDK 2.10.0 dépend de la version 1.9.13 de la bibliothèque cliente gcsio, qui présente des problèmes connus :

    Pour contourner ces problèmes, effectuez une mise à niveau vers le SDK 2.11.0 ou remplacez la bibliothèque cliente gcsio par la version 1.9.16 ou ultérieure.

  • Il y a une erreur de configuration de la journalisation dans l'exécuteur Dataflow qui peut entraîner la disparition de tous les journaux. Afin de contourner ce problème, ajoutez slf4j-jdk14 à vos dépendances d'exécution.
2.9.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 13 décembre 2019.

Problèmes connus :
  • Les utilisateurs activant l'expérimentation de Streaming Engine (version bêta) ne doivent pas effectuer la mise à niveau vers le SDK 2.9.0 en raison d'un problème connu. Si vous choisissez d'utiliser le SDK 2.9.0, vous devez également définir l'indicateur expérimental enable_conscrypt_security_provider pour activer Conscrypt, qui présente des problèmes de stabilité connus.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.8.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 25 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.7.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 3 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.6.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 8 août 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.5.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsolète depuis le 6 juin 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.4.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète depuis le 20 mars 2019.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.3.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète depuis le 30 janvier 2019.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.2.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète depuis le 2 décembre 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.1.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète depuis le 23 août 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète depuis le 17 mai 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.

Python

Version du SDK État Composants avec assistance Détails
2.32.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 25 août 2022.
2.31.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 8 juillet 2022.
2.30.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 10 juin 2022.

2.29.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 29 avril 2022.

2.28.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 22 février 2022.
2.27.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 7 janvier 2022.
2.26.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, dataframe (bêta), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 11 décembre 2021.
2.25.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 23 octobre 2021.
2.24.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 18 septembre 2021. Il s'agit également de la dernière version du SDK Apache Beam, qui est compatible avec Python 2 et Python 3.5.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.23.0 Compatible Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Cette version sera obsolète le 29 juillet 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.22.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp : bigquery, datastore, pubsub

Obsolète depuis le 8 juin 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.21.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 27 mai 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.20.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 15 avril 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.19.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 4 février 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.18.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 23 janvier 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.17.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 6 janvier 2021.

Dataflow n'est plus compatible avec les pipelines utilisant Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.
2.16.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 7 octobre 2020.
2.15.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 23 août 2020.
2.14.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp

Obsolète depuis le 1er août 2020.

Problèmes connus :
  • La source MongoDB ajoutée dans cette version présente un problème connu pouvant entraîner une perte de données. Pour en savoir plus, consultez l'article BEAM-7866.
2.13.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 6 juin 2020.
2.12.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 25 avril 2020.
2.11.0 Obsolète Bibliothèque du SDK Python principal sous le module apache_beam : sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Sources et récepteurs basés sur des fichiers et modules associés sous le module apache_beam.io : textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Connecteurs d'E/S Google Cloud sous le module apache_beam.io.gcp
 Obsolète depuis le 1er mars 2020.
2.10.0 Obsolète Obsolète depuis le 11 février 2020.
2.9.0 Obsolète Obsolète depuis le 13 décembre 2019.
2.8.0 Obsolète Obsolète depuis le 25 octobre 2019.
2.7.0 Obsolète

Obsolète depuis le 3 octobre 2019.
2.6.0 Obsolète Obsolète depuis le 8 août 2019.
2.5.0 Obsolète Obsolète depuis le 6 juin 2019.
2.4.0 Obsolète Obsolète depuis le 20 mars 2019.
2.3.0 Obsolète Obsolète depuis le 30 janvier 2019.
2.2.0 Obsolète Obsolète depuis le 2 décembre 2018.
2.1.1
2.1.0		 Obsolète Obsolète depuis le 23 août 2018.
2.0.0 Obsolète Obsolète depuis le 17 mai 2018.

SDK Dataflow 2.x

Remarque : Les versions du SDK de développement (marquées -SNAPSHOT pour Java et .dev pour Python) ne sont pas compatibles.

Les tableaux suivants contiennent l'état de compatibilité des SDK Dataflow 2.x :

Java

Consultez les notes de version du SDK Dataflow 2.x pour Java afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Obsolète

Obsolète depuis le 6 juin 2019.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.4.0 Obsolète

Obsolète depuis le 20 mars 2019.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.3.0 Obsolète

Obsolète depuis le 30 janvier 2019.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.2.0 Obsolète

Obsolète depuis le 2 décembre 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.1.0 Obsolète

Obsolète depuis le 23 août 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0 Obsolète

Obsolète depuis le 17 mai 2018.

Cette version sera mise hors service d'ici le 12 août 2020, car le protocole JSON-RPC et les points de terminaison mondiaux ne seront plus pris en charge pour les requêtes HTTP par lot.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Hors service

Hors service depuis le 28 février 2018.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont réunies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.

Python

Consultez les notes de version du SDK Dataflow 2.x pour Python afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Obsolète Obsolète depuis le 6 juin 2019.
2.4.0 Obsolète Obsolète depuis le 20 mars 2019.
2.3.0 Obsolète Obsolète depuis le 30 janvier 2019.
2.2.0 Obsolète Obsolète depuis le 2 décembre 2018.
2.1.1 Obsolète Obsolète depuis le 23 août 2018.
Résout un problème de compatibilité avec le package Python six.
Consultez les notes de version pour plus d'informations.
2.1.0 Obsolète Obsolète depuis le 23 août 2018.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
2.0.0 Obsolète Obsolète depuis le 17 mai 2018.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Hors service Hors service à compter du 29 janvier 2018.
0.2.7 et versions antérieures Hors service Hors service depuis le 23 mars 2017.

SDK Dataflow 1.x

Le tableau suivant contient l'état de compatibilité des SDK Dataflow 1.x pour Java. Consultez les notes de version du SDK Dataflow 1.x pour Java afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
1.9.1
1.9.0 		Non compatible Non compatible depuis le 16 octobre 2018.
1.8.1
1.8.0
 Non compatible Non compatible à compter du 9 avril 2018.
1.7.0
 Non compatible Non compatible depuis le 12 mars 2018.
1.6.1
1.6.0		 Non compatible Non compatible depuis le 22 janvier 2018.
1.5.1
1.5.0
1.4.0
1.3.0
 Non compatible Non compatible depuis le 1er octobre 2017.
1.2.1
1.2.0
1.1.0
1.0.0
 Non compatible Non compatible depuis le 26 février 2017.
Antérieure à 1.0.0 (y compris 0.4.* et 0.3.*) Non compatible