Dépendances des SDK et des nœuds de calcul

Les SDK Apache Beam et les nœuds de calcul Dataflow dépendent de composants tiers courants qui importent ensuite des dépendances supplémentaires. Les conflits de version peuvent entraîner un comportement inattendu au niveau du service. Si vous utilisez l'un de ces packages dans votre code, sachez que certaines bibliothèques peuvent ne pas offrir une compatibilité ascendante et que vous devrez peut-être épingler les versions incluses dans le champ d'application pendant l'exécution.

Cette page contient des informations sur les dépendances et les packages de nœud de calcul pour les versions suivantes des SDK Apache Beam et Dataflow :

SDK Apache Beam 2.x

SDK pour Java

Remarque : Les informations sur les dépendances pour les SDK Apache Beam pour Java sont répertoriées sur la page Apache Beam SDK for Java dependencies (SDK Apache Beam pour les dépendances Java).

SDK pour Python

Remarque : Les informations sur les dépendances pour les SDK Apache Beam pour Python sont répertoriées sur la page Apache Beam SDK for Python dependencies (SDK Apache Beam pour les dépendances Python).

Le 7 octobre 2020, Dataflow cessera de prendre en charge les pipelines qui fonctionnent sous Python 2. Pour plus d'informations, consultez la page Compatibilité avec Python 2 sur Google Cloud.

Version 2.19.0

Les packages suivants sont déjà installés sur les nœuds de calcul Dataflow.

Python 2.7.13

PackageVersion
absl-py0.9.0
astor0.8.1
atomicwrites1.3.0
attrs19.3.0
avro1.8.2
backports.functools-lru-cache1.6.1
backports.weakref1.0.post1
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi28/11/2019
chardet3.0.4
configparser4.0.2
contextlib20.6.0.post1
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
enum341.1.6
fastavro0.21.24
fasteners0.15
freezegun0.3.12
funcsigs1.0.2
functools323.2.3.post2
future0.17.1
futures3.3.0
gast0.2.2
google-api-core1.16.0
google-api-python-client1.7.11
google-apitools0.5.28
google-auth1.11.0
google-auth-httplib20.0.3
google-auth-oauthlib0.4.1
google-cloud-bigquery1.17.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-pubsub1.0.2
google-pasta0.1.8
google-python-cloud-debugger1.9
google-resumable-media0.4.1
googleapis-common-protos1.51.0
googledatastore7.0.2
grpc-google-iam-v10.12.3
grpcio1.24.3
guppy0.1.11
h5py2.10.0
hdfs2.5.8
httplib20.12.0
idna2.8
importlib-metadata1.5.0
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools5.0.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.16.5
oauth2client3.0.0
oauthlib3.1.0
opt-einsum2.3.2
packaging20.1
pandas0.24.2
pathlib22.3.5
pbr5.4.4
Pillow6.2.1
pip20.0.2
pluggy0.13.1
proto-google-cloud-datastore-v10.90.4
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.15.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.6
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyVCF0.6.8
PyYAML3.13
requests2.22.0
requests-oauthlib1.3.0
rsa4.0
scandir1.10.0
scikit-learn0.20.4
scipy1.2.2
setuptools44.0.0
singledispatch3.4.0.3
six1.14.0
soupsieve1.9.5
tensorboard2.1.0
tensorflow-cpu2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.1
uritemplate3.0.1
urllib31.25.8
wcwidth0.1.8
Werkzeug0.16.1
roue0.34.2
wrapt1.11.2
zipp1.1.0

Python 3.5.9

PackageVersion
absl-py0.9.0
astor0.8.1
atomicwrites1.3.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi28/11/2019
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.21.24
fasteners0.15
freezegun0.3.12
future0.17.1
gast0.2.2
google-api-core1.16.0
google-apitools0.5.28
google-auth1.11.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.17.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-pubsub1.0.2
google-pasta0.1.8
google-resumable-media0.4.1
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
h5py2.10.0
hdfs2.5.8
httplib20.12.0
idna2.8
importlib-metadata1.5.0
joblib0.14.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools8.2.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.1.0
packaging20.1
pandas0.25.2
pathlib22.3.5
pbr5.4.4
Pillow6.2.1
pip20.0.2
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.15.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.6
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.22.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools45.1.0
six1.14.0
soupsieve1.9.5
tensorboard2.1.0
tensorflow-cpu2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.1
urllib31.25.8
wcwidth0.1.8
Werkzeug0.16.1
roue0.34.2
wrapt1.11.2
zipp1.1.0

Python 3.6.10

PackageVersion
absl-py0.9.0
astor0.8.1
atomicwrites1.3.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi28/11/2019
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.21.24
fasteners0.15
freezegun0.3.12
future0.17.1
gast0.2.2
google-api-core1.16.0
google-apitools0.5.28
google-auth1.11.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.17.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-pubsub1.0.2
google-pasta0.1.8
google-resumable-media0.4.1
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
h5py2.10.0
hdfs2.5.8
httplib20.12.0
idna2.8
importlib-metadata1.5.0
joblib0.14.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools8.2.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.1.0
packaging20.1
pandas0.25.2
pbr5.4.4
Pillow6.2.1
pip20.0.2
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.15.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.6
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.22.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools45.1.0
six1.14.0
soupsieve1.9.5
tensorboard2.1.0
tensorflow-cpu2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.1
urllib31.25.8
wcwidth0.1.8
Werkzeug0.16.1
roue0.34.2
wrapt1.11.2
zipp2.1.0

Python 3.7.6

PackageVersion
absl-py0.9.0
astor0.8.1
atomicwrites1.3.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi28/11/2019
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.21.24
fasteners0.15
freezegun0.3.12
future0.17.1
gast0.2.2
google-api-core1.16.0
google-apitools0.5.28
google-auth1.11.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.17.1
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-pubsub1.0.2
google-pasta0.1.8
google-resumable-media0.4.1
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
h5py2.10.0
hdfs2.5.8
httplib20.12.0
idna2.8
importlib-metadata1.5.0
joblib0.14.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.0
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools8.2.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.1.0
packaging20.1
pandas0.25.2
pbr5.4.4
Pillow6.2.1
pip20.0.2
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.15.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.6
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.22.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools45.1.0
six1.14.0
soupsieve1.9.5
tensorboard2.1.0
tensorflow-cpu2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.1
urllib31.25.8
wcwidth0.1.8
Werkzeug0.16.1
roue0.34.2
wrapt1.11.2
zipp2.1.0

SDK Dataflow 2.x

SDK pour Java

Pour déterminer si votre fichier JAR utilise une version conflictuelle, inspectez l'arbre des dépendances de votre projet. Vous pouvez le générer à l'aide de divers outils, tels que Maven.

Dans votre fichier pom.xml, évitez de spécifier "latest" pour les bibliothèques répertoriées dans le tableau suivant.

SDK pour Python

SDK Dataflow 1.x

SDK pour Java