Dépendances des SDK et des nœuds de calcul

Les SDK Apache Beam et les nœuds de calcul Cloud Dataflow dépendent de composants tiers courants qui importent ensuite des dépendances supplémentaires. Les conflits de version peuvent entraîner un comportement inattendu au niveau du service. Si vous utilisez l'un de ces packages dans votre code, sachez que certaines bibliothèques peuvent ne pas offrir une compatibilité ascendante et que vous devrez peut-être épingler les versions incluses dans le champ d'application pendant l'exécution.

Cette page contient des informations sur les dépendances et les packages de nœud de calcul pour les versions suivantes des SDK Apache Beam et Cloud Dataflow :

SDK Apache Beam 2.x

SDK pour Java

Remarque : Les informations sur les dépendances pour les SDK Apache Beam pour Java sont répertoriées sur la page Apache Beam SDK for Java dependencies.

SDK pour Python

Remarque : Les informations sur les dépendances pour les SDK Apache Beam pour Python sont répertoriées sur la page Apache Beam SDK for Python dependencies.

Version 2.13.0

Les packages suivants sont déjà installés sur les nœuds de calcul Cloud Dataflow.

Python 2.7

PackageVersion
absl-py0.7.1
astor0.8.0
avro1.8.2
backports.weakref1.0.post1
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
enum341.1.6
fastavro0.21.14
fasteners0.15
funcsigs1.0.2
future0.17.1
futures3.2.0
gast0.2.2
google-api-core1.11.1
google-api-python-client1.7.9
google-apitools0.5.28
google-auth1.6.3
google-auth-httplib20.0.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-python-cloud-debugger1.9
google-resumable-media0.3.2
googleapis-common-protos1.6.0
googledatastore7.0.2
grpc-google-iam-v10.11.4
grpcio1.20.1
guppy0.1.10
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
proto-google-cloud-datastore-v10.90.4
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyVCF0.6.8
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
typing3.6.6
uritemplate3.0.0
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.5

PackageVersion
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.6

PackageVersion
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

Python 3.7

PackageVersion
absl-py0.7.1
astor0.8.0
avro-python31.8.2
beautifulsoup44.5.1
bs40.0.1
cachetools3.1.1
certifi2019.3.9
chardet3.0.4
crcmod1.7
Cython0.28.1
dill0.2.9
docopt0.6.2
fastavro0.21.14
fasteners0.15
future0.17.1
gast0.2.2
google-api-core1.11.1
google-apitools0.5.28
google-auth1.6.3
google-cloud-bigquery1.6.0
google-cloud-bigtable0.32.1
google-cloud-core0.29.1
google-cloud-datastore1.7.3
google-cloud-pubsub0.39.1
google-pasta0.1.6
google-resumable-media0.3.2
googleapis-common-protos1.6.0
grpc-google-iam-v10.11.4
grpcio1.20.1
h5py2.9.0
hdfs2.5.2
httplib20.12.0
idna2.8
Keras-Applications1.0.7
Keras-Preprocessing1.0.9
Markdown3.1.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.16.3
oauth2client3.0.0
pandas0.24.2
pbr5.2.0
Pillow3.4.1
pip19.1.1
protobuf3.7.1
protorpc0.11.1
pyarrow0.13.0
pyasn10.4.5
pyasn1-modules0.2.5
pydot1.2.4
pyparsing2.4.0
python-dateutil2.8.0
python-gflags3.0.6
python-snappy0.5.3
pytz2019.1
PyYAML3.13
requests2.22.0
rsa4.0
scikit-learn0.20.3
scipy1.2.1
setuptools41.0.1
six1.12.0
tensorboard1.13.1
tensorflow1.14.0rc0
termcolor1.1.0
tf-estimator-nightly1.14.0.dev2019042301
urllib31.25.3
Werkzeug0.15.4
wheel0.32.1
wrapt1.11.1

SDK Cloud Dataflow 2.x

SDK pour Java

Pour déterminer si votre fichier JAR utilise une version conflictuelle, inspectez l'arbre des dépendances de votre projet. Vous pouvez le générer à l'aide de divers outils, tels que Maven.

Dans votre fichier pom.xml, évitez de spécifier "latest" pour les bibliothèques décrites dans le tableau suivant.

SDK pour Python

SDK Cloud Dataflow 1.x

SDK pour Java

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.