SDK y dependencias de trabajador

Los SDK de Apache Beam y los trabajadores de Dataflow dependen de componentes de terceros que luego importan dependencias adicionales. La incompatibilidad de las versiones puede provocar un comportamiento inesperado en el servicio. Si usas alguno de estos paquetes en tu código, ten en cuenta que algunas bibliotecas no son compatibles con versiones futuras y puede que necesites fijar las versiones enumeradas que estarán dentro del alcance durante la ejecución.

Esta página contiene información de paquetes de trabajador y dependencias para las versiones del SDK de Apache Beam y Cloud Dataflow:

SDK de Apache Beam 2.x

SDK para Java

Versión 2.9.0

Nota: Consulta la página de dependencias de Apache Beam del SDK de Apache Beam para las dependencias de compilación y entorno de ejecución de Java 2.9.0.

SDK para Python

Versión 2.9.0

Nota: Consulta la página de dependencias de Apache Beam del SDK de Apache Beam para las dependencias de compilación y entorno de ejecución de Python 2.9.0.

Los trabajadores de Cloud Dataflow tienen los siguientes paquetes ya instalados.

PaqueteVersión
absl-py0.6.1
astor0.7.1
avro1.8.2
backports.weakref1.0.post1
beautifulsoup44.5.1
bs40.0.1
cachetools3.0.0
certifi2018.10.15
chardet3.0.4
crcmod1.7
cython0.28.1
dill0.2.8.2
docopt0.6.2
enum341.1.6
fastavro0.21.4
fasteners0.14.1
funcsigs1.0.2
future0.16.0
futures3.2.0
grpcio1.15.0
gast0.2.0
google-api-core1.5.2
google-api-python-client1.7.4
google-apitools0.5.24
google-auth1.6.1
google-auth-httplib20.0.3
google-cloud-bigquery1.6.0
google-cloud-core0.28.1
google-cloud-pubsub0.35.4
google-python-cloud-debugger1.9
google-resumable-media0.3.1
googleapis-common-protos1.5.5
googledatastore7.0.2
grpc-google-iam-v10.11.4
grpcio1.15.0
guppy0.1.10
h5py2.8.0
hdfs2.1.0
httplib20.9.2
idna2.7
Keras-Applications1.0.6
Keras-Preprocessing1.0.5
Markdown3.0.1
mock2.0.0
monotonic1.5
nltk3.2.1
nose1.3.7
numpy1.15.2
oauth2client3.0.0
pandas0.23.4
pbr5.1.1
pillow3.4.1
pip18.1
proto-google-cloud-datastore-v10.90.4
protobuf3.6.1
protorpc0.11.1
pyasn10.4.4
pyasn1-modules0.2.2
pydot1.2.4
pyparsin2.3.0
python-dateutil2.7.5
python-gflags3.0.6
python-snappy0.5.3
pytz2018.4
pyvcf0.6.8
pyyaml3.13
requests2.20.1
rsa4.0
scikit-learn0.19.1
scipy1.1.0
six1.11.0
tensorboard1.12.0
tensorflow1.12.0
termcolor1.1.0
typing3.6.1
uritemplate3.0.0
urllib31.24.1
Werkzeug0.14.1
wheel0.32.1

SDK 2.x de Cloud Dataflow

SDK para Java

Para determinar si tu JAR usa una versión conflictiva, inspecciona el árbol de dependencias de tu proyecto. Puedes generar el árbol de dependencias con varias herramientas, como Maven.

Evita especificar “más reciente” en tu pom.xml para las bibliotecas en la siguiente tabla.

SDK para Python

SDK 1.x de Cloud Dataflow

SDK para Java

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.