Dependencias del SDK y los trabajadores

Los SDK de Apache Beam y los trabajadores de Dataflow dependen de componentes comunes de terceros que también requieren importar dependencias adicionales. Los conflictos de versiones pueden causar que el servicio se comporte de manera inesperada. Si usas alguno de estos paquetes en tu código, ten en cuenta que algunas bibliotecas no son compatibles con versiones futuras. Además, es posible que necesites fijar las versiones enumeradas que estarán en el alcance durante la ejecución.

Esta página contiene información sobre los paquetes de dependencias y trabajadores para las versiones del SDK de Apache Beam y Dataflow:

SDK de Apache Beam 2.x

SDK para Java

Nota: La información sobre las dependencias de los SDK de Apache Beam para Java se encuentra en esta página.

SDK para Python

Nota: La información sobre las dependencias de los SDK de Apache Beam para Python se encuentra en esta página.

El 7 de octubre de 2020, Dataflow dejará de admitir canalizaciones con Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.

Versión 2.22.0

Los siguientes paquetes vienen preinstalados en los trabajadores de Dataflow.

Python 2.7.18

PaqueteVersión
absl-py0.9.0
astor0.8.1
atomicwrites1.4.0
attrs19.3.0
avro1.8.2
backports.functools-lru-cache1.6.1
backports.weakref1.0.post1
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi2020.4.5.1
chardet3.0.4
configparser4.0.2
contextlib20.6.0.post1
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
enum341.1.10
fastavro0.23.2
fasteners0.15
freezegun0.3.12
funcsigs1.0.2
functools323.2.3.post2
future0.18.2
futures3.3.0
gast0.2.2
google-api-core1.17.0
google-api-python-client1.8.4
google-apitools0.5.31
google-auth1.16.0
google-auth-httplib20.0.3
google-auth-oauthlib0.4.1
google-cloud-bigquery1.24.0
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-pasta0.2.0
google-python-cloud-debugger1.9
google-resumable-media0.5.0
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
grpcio-gcp0.2.2
guppy0.1.11
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.9
importlib-metadata1.6.0
Keras-Applications1.0.8
Keras-Preprocessing1.1.2
Markdown3.1.1
mock2.0.0
monotonic1.5
more-itertools5.0.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.16.5
oauth2client3.0.0
oauthlib3.1.0
opt-einsum2.3.2
packaging20.4
pandas0.24.2
pathlib22.3.5
pbr5.4.5
Pillow6.2.2
pip20.1.1
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.16.0
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.7
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyVCF0.6.8
PyYAML3.13
requests2.23.0
requests-oauthlib1.3.0
rsa4.0
scandir1.10.0
scikit-learn0.20.4
scipy1.2.2
setuptools44.1.0
singledispatch3.4.0.3
six1.15.0
soupsieve1.9.6
tensorboard2.1.0
tensorflow2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing3.7.4.1
typing-extensions3.7.4.1
uritemplate3.0.1
urllib31.25.9
wcwidth0.2.2
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp1.2.0

Python 3.5.9

PaqueteVersión
absl-py0.9.0
astor0.8.1
atomicwrites1.4.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi2020.4.5.1
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.23.2
fasteners0.15
freezegun0.3.12
future0.18.2
gast0.2.2
google-api-core1.17.0
google-apitools0.5.31
google-auth1.16.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.24.0
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-pasta0.2.0
google-resumable-media0.5.0
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
grpcio-gcp0.2.2
guppy33.0.9
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.9
importlib-metadata1.6.0
joblib0.14.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.2
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.3.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.2.1
packaging20.4
pandas0.25.2
pathlib22.3.5
pbr5.4.5
Pillow7.1.2
pip20.1.1
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.7
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.23.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools46.4.0
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing-extensions3.7.4.1
urllib31.25.9
wcwidth0.2.2
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp1.2.0

Python 3.6.10

PaqueteVersión
absl-py0.9.0
astor0.8.1
atomicwrites1.4.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi2020.4.5.1
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.23.2
fasteners0.15
freezegun0.3.12
future0.18.2
gast0.2.2
google-api-core1.17.0
google-apitools0.5.31
google-auth1.16.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.24.0
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-pasta0.2.0
google-resumable-media0.5.0
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
grpcio-gcp0.2.2
guppy33.0.9
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.9
importlib-metadata1.6.0
joblib0.15.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.2
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.3.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.2.1
packaging20.4
pandas0.25.2
pbr5.4.5
Pillow7.1.2
pip20.1.1
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.7
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.23.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools46.4.0
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing-extensions3.7.4.1
urllib31.25.9
wcwidth0.2.2
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp3.1.0

Python 3.7.7

PaqueteVersión
absl-py0.9.0
astor0.8.1
atomicwrites1.4.0
attrs19.3.0
avro-python31.8.2
beautifulsoup44.8.1
bs40.0.1
cachetools3.1.1
certifi2020.4.5.1
chardet3.0.4
crcmod1.7
Cython0.29.13
dill0.3.1.1
docopt0.6.2
fastavro0.23.2
fasteners0.15
freezegun0.3.12
future0.18.2
gast0.2.2
google-api-core1.17.0
google-apitools0.5.31
google-auth1.16.0
google-auth-oauthlib0.4.1
google-cloud-bigquery1.24.0
google-cloud-bigtable1.0.0
google-cloud-core1.1.0
google-cloud-datastore1.7.4
google-cloud-dlp0.13.0
google-cloud-language1.3.0
google-cloud-pubsub1.0.2
google-cloud-spanner1.13.0
google-cloud-videointelligence1.13.0
google-cloud-vision0.42.0
google-pasta0.2.0
google-resumable-media0.5.0
googleapis-common-protos1.51.0
grpc-google-iam-v10.12.3
grpcio1.24.3
grpcio-gcp0.2.2
guppy33.0.9
h5py2.10.0
hdfs2.5.8
httplib20.17.3
idna2.9
importlib-metadata1.6.0
joblib0.15.1
Keras-Applications1.0.8
Keras-Preprocessing1.1.2
Markdown3.2.2
mock2.0.0
monotonic1.5
more-itertools8.3.0
nltk3.4.5
nose1.3.7
nose-xunitmp0.4.1
numpy1.17.3
oauth2client3.0.0
oauthlib3.1.0
opt-einsum3.2.1
packaging20.4
pandas0.25.2
pbr5.4.5
Pillow7.1.2
pip20.1.1
pluggy0.13.1
protobuf3.11.1
protorpc0.12.0
py1.8.1
pyarrow0.17.1
pyasn10.4.8
pyasn1-modules0.2.8
pydot1.4.1
pymongo3.9.0
pyparsing2.4.7
pytest4.6.6
python-dateutil2.8.1
python-gflags3.1.2
python-snappy0.5.4
pytz2019.3
PyYAML3.13
requests2.23.0
requests-oauthlib1.3.0
rsa4.0
scikit-learn0.21.3
scipy1.4.1
setuptools46.4.0
six1.15.0
soupsieve2.0.1
tensorboard2.1.1
tensorflow2.1.0
tensorflow-estimator2.1.0
termcolor1.1.0
typing-extensions3.7.4.1
urllib31.25.9
wcwidth0.2.2
Werkzeug1.0.1
wheel0.34.2
wrapt1.12.1
zipp3.1.0

SDK 2.x de Dataflow

SDK para Java

Para determinar si tu JAR usa una versión conflictiva, inspecciona el árbol de dependencias de tu proyecto. Puedes generar el árbol de dependencias con varias herramientas, como Maven.

En el caso de las bibliotecas que se mencionan en la siguiente tabla, no especifiques “latest” en el archivo pom.xml.

SDK para Python

SDK 1.x de Dataflow

SDK para Java