État de la compatibilité des versions du SDK

Cette page répertorie l'état de compatibilité des versions du SDK Apache Beam et Cloud Dataflow :

SDK Apache Beam 2.x

Apache Beam est un projet de développement collaboratif Open Source. Google fait partie de la communauté, mais nous ne sommes pas propriétaire du projet et ne contrôlons pas le processus de publication. Nous pouvons soumettre des rapports de bug ou des correctifs applicables au codebase Apache Beam pour le compte de clients Cloud Dataflow, mais nous ne pouvons pas créer de correctifs ni de versions officielles d'Apache Beam à la demande.

Cependant, la communauté Apache Beam désigne des versions spécifiques comme versions LTS (Long Term Support). Les versions LTS reçoivent des correctifs pour résoudre les problèmes majeurs pendant une période donnée. Consultez la page Policies d'Apache Beam pour en savoir plus sur les règles de publication.

Remarque : Les versions du SDK de développement (marquées -SNAPSHOT pour Java et .dev pour Python) ne sont pas compatibles.

Les tableaux suivants contiennent l'état de compatibilité des SDK Apache Beam 2.x :

Java

Certains composants spécifiques du SDK Apache Beam sont compatibles avec Cloud Dataflow pour les versions de SDK répertoriées ci-dessous. Ces composants ont été minutieusement testés avec Cloud Dataflow. Les fonctionnalités expérimentales ne sont pas disponibles.

Consultez les notes de version d'Apache Beam pour en savoir plus sur les modifications.

Version du SDK État Composants avec assistance Détails
2.13.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 6 juin 2020.

Cette version ajoute une compatibilité expérimentale pour la version de JDK 9 ou ultérieure. Consultez la page sur l'outil de suivi des problèmes Apache Beam pour plus d'informations.
2.12.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 25 avril 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans le gestionnaire d'exécution de Cloud Dataflow qui peut entraîner la disparition de tous les journaux. Afin d'éviter ce problème, ajoutez slf4j-jdk14 à vos dépendances d'environnement d'exécution.
2.11.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 1er mars 2020.

Problèmes connus :
  • Il y a une erreur de configuration de la journalisation dans le gestionnaire d'exécution de Cloud Dataflow qui peut entraîner la disparition de tous les journaux. Afin d'éviter ce problème, ajoutez slf4j-jdk14 à vos dépendances d'environnement d'exécution.
2.10.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 11 février 2020.

Problèmes connus :
  • Le SDK 2.10.0 dépend de la version 1.9.13 de la bibliothèque cliente gcsio, qui présente des problèmes connus :

    Pour contourner ces problèmes, effectuez une mise à niveau vers le SDK 2.11.0 ou remplacez la bibliothèque cliente gcsio par la version 1.9.16 ou ultérieure.

  • Il y a une erreur de configuration de la journalisation dans le gestionnaire d'exécution de Cloud Dataflow qui peut entraîner la disparition de tous les journaux. Afin d'éviter ce problème, ajoutez slf4j-jdk14 à vos dépendances d'environnement d'exécution.
2.9.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 13 décembre 2019.

Problèmes connus :
  • Les utilisateurs activant l'expérimentation de Streaming Engine (version bêta) ne doivent pas effectuer la mise à niveau vers le SDK 2.9.0 en raison d'un problème connu. Si vous choisissez d'utiliser le SDK 2.9.0, vous devez également définir l'indicateur expérimental enable_conscrypt_security_provider pour activer Conscrypt, qui présente des problèmes de stabilité connus.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.8.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 25 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.7.0 LTS Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Le SDK Apache Beam 2.7.0 est une version LTS (Long Term Support) qui recevra des correctifs jusqu'au 16 mai 2019.

Cette version sera obsolète le 3 octobre 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.6.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 8 août 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.5.0 Compatible org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Cette version sera obsolète le 6 juin 2019.

Problèmes connus :
  • Les pipelines peuvent se bloquer en raison d'un problème avec la bibliothèque Conscrypt. Si vous constatez des erreurs dans la journalisation Stackdriver avec des traces de pile incluant des appels liés à Conscrypt, vous pouvez être concerné par ce problème. Pour résoudre le problème, effectuez une mise à niveau vers le SDK 2.9.0 ou version ultérieure.
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.4.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète à compter du 20 mars 2019.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.3.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète à compter du 30 janvier 2019.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.2.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète à compter du 2 décembre 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.1.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète à compter du 23 août 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0 Obsolète org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsolète à compter du 17 mai 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Apache Beam Java 2.9.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.

Python

Version du SDK État Détails
2.13.0 Compatible Cette version sera obsolète le 6 juin 2020.
2.12.0 Compatible Cette version sera obsolète le 25 avril 2020.
2.11.0 Compatible Cette version sera obsolète le 1er mars 2020.
2.10.0 Compatible Cette version sera obsolète le 11 février 2020.
2.9.0 Compatible Cette version sera obsolète le 13 décembre 2019.
2.8.0 Compatible Cette version sera obsolète le 25 octobre 2019.
2.7.0 LTS Compatible

Le SDK 2.7.0 est une version LTS (Long Term Support) qui recevra des correctifs jusqu'au 16 mai 2019.

Cette version sera obsolète le 3 octobre 2019.
2.6.0 Compatible Cette version sera obsolète le 8 août 2019.
2.5.0 Compatible Cette version sera obsolète le 6 juin 2019.
2.4.0 Obsolète Obsolète à compter du 20 mars 2019. Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.3.0 Obsolète Obsolète à compter du 30 janvier 2019.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.2.0 Obsolète Obsolète à compter du 2 décembre 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.1.1
2.1.0		 Obsolète Obsolète à compter du 23 août 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.0.0 Obsolète Obsolète à compter du 17 mai 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

SDK Cloud Dataflow 2.x

Remarque : Les versions du SDK de développement (marquées -SNAPSHOT pour Java et .dev pour Python) ne sont pas compatibles.

Les tableaux suivants contiennent l'état de compatibilité des SDK Cloud Dataflow 2.x :

Java

Consultez les notes de version du SDK Cloud Dataflow 2.x pour Java afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Compatible

Cette version sera obsolète le 6 juin 2019.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.4.0 Obsolète

Obsolète à compter du 20 mars 2019.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.3.0 Obsolète

Obsolète à compter du 30 janvier 2019.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.2.0 Obsolète

Obsolète à compter du 2 décembre 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.1.0 Obsolète

Obsolète à compter du 23 août 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0 Obsolète

Obsolète à compter du 17 mai 2018.

Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Hors service

Hors service à compter du 28 février 2018.

Problème connu :
  • Dans un cas spécifique, les utilisateurs des SDK Cloud Dataflow Java 2.5.0 et versions antérieures peuvent être confrontés à la duplication des données lors de la lecture de fichiers à partir de Cloud Storage. La duplication peut se produire lorsque toutes les conditions suivantes sont remplies :
    • Vous lisez des fichiers dont l'encodage du contenu est défini sur gzip, et les fichiers sont transcodés de façon dynamique par décompression par Cloud Storage.
    • La taille du fichier (décompressé) est supérieure à 2,14 Go.
    • Le flux d'entrée rencontre une erreur (et est recréé) après la lecture de 2,14 Go.
    Pour contourner ce problème, ne définissez pas l'en-tête d'encodage du contenu, et stockez les fichiers compressés dans Cloud Storage avec l'extension appropriée (par exemple, gz pour gzip). Pour les fichiers existants, vous pouvez mettre à jour l'en-tête d'encodage du contenu et le nom du fichier avec l'outil gsutil.

Python

Consultez les notes de version du SDK Cloud Dataflow 2.x pour Python afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
2.5.0 Compatible Cette version sera obsolète le 6 juin 2019.
2.4.0 Obsolète Obsolète à compter du 20 mars 2019.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.3.0 Obsolète Obsolète à compter du 30 janvier 2019.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.2.0 Obsolète Obsolète à compter du 2 décembre 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
2.1.1 Obsolète Obsolète à compter du 23 août 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
Résout un problème de compatibilité avec le package Python six.
Consultez les notes de version pour plus d'informations.
2.1.0 Obsolète Obsolète à compter du 23 août 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
2.0.0 Obsolète Obsolète à compter du 17 mai 2018.
Cette version sera mise hors service fin 2019 en raison de l'interruption de la compatibilité avec le protocole JSON-RPC et les points de terminaison mondiaux pour les requêtes HTTP par lots.
Cette version pose un problème de compatibilité avec le package Python six 1.11.0.
Consultez les notes de version pour plus d'informations.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Hors service Hors service à compter du 29 janvier 2018.
0.2.7 et versions antérieures Hors service Hors service à compter du 23 mars 2017.

SDK Cloud Dataflow 1.x

Le tableau suivant contient l'état de compatibilité des SDK Cloud Dataflow 1.x pour Java. Consultez les notes de version du SDK Cloud Dataflow 1.x pour Java afin d'obtenir des informations sur les modifications.

Version du SDK État Détails
1.9.1
1.9.0 		Non compatible Non compatible à compter du 16 octobre 2018.
1.8.1
1.8.0
 Non compatible Non compatible à compter du 9 avril 2018.
1.7.0
 Non compatible Non compatible à compter du 12 mars 2018.
1.6.1
1.6.0		 Non compatible Non compatible à compter du 22 janvier 2018.
1.5.1
1.5.0
1.4.0
1.3.0
 Non compatible Non compatible à compter du 1er octobre 2017.
1.2.1
1.2.0
1.1.0
1.0.0
 Non compatible Non compatible à partir du 26 février 2017.
Antérieure à 1.0.0 (y compris 0.4.* et 0.3.*) Non compatible