Estado de asistencia de la versión del SDK

En esta página, se enumera el estado de compatibilidad para las versiones del SDK de Apache Beam y Dataflow:

Definiciones de nivel de compatibilidad

Los siguientes son los niveles de compatibilidad para el SDK de Apache Beam:

  • Compatible: Dataflow admite las versiones del SDK de Apache Beam desde su fecha de lanzamiento hasta su fecha de baja.
  • Obsoleto: Una vez que se anuncie que una versión del SDK está obsoleta, seguirá funcionando con Dataflow, pero será apta para su retiro de servicio. La versión obsoleta puede o no programarse para su retiro de servicio. Las solicitudes de trabajos enviados desde versiones obsoletas del SDK generarán un mensaje de advertencia. Los entornos que usan una versión obsoleta de un SDK deben actualizarse a una versión compatible para evitar interrupciones.
  • Fuera de servicio: Después del período de baja, las versiones del SDK que se retiraron de servicio ya no funcionarán con Dataflow. Las solicitudes de trabajos enviados desde versiones del SDK fuera de servicio generarán un error. Los entornos que usan una versión fuera de servicio de un SDK deben actualizarse a una versión compatible para usarlos con Dataflow.

Ten en cuenta que las definiciones anteriores no se aplican a los SDK ni las funciones que nunca se admitieron, como el SDK de Apache Beam para Go.

SDK 2.x de Apache Beam

Apache Beam es un proyecto de código abierto dirigido por la comunidad. Google es parte de la comunidad, pero no somos dueños del proyecto ni controlamos el proceso de actualización. Podemos informar errores o enviar parches a la base de código de Apache Beam en nombre de los clientes de Dataflow, pero no podemos crear revisiones o actualizaciones oficiales de Apache Beam a pedido. Consulta la página de las políticas de Apache Beam para obtener más información sobre las políticas de actualizaciones.

Dataflow admite componentes específicos del SDK de Apache Beam para las actualizaciones del SDK que se enumeran a continuación. Estos componentes se probaron de forma exhaustiva mediante Dataflow. No se admiten las funciones experimentales.

Consulta las notas de la versión de Apache Beam para cambiar la información.

Nota: No se admiten las versiones del SDK de desarrollo (marcadas como -SNAPSHOT para Java y como .dev para Python).

Las siguientes tablas contienen el estado de compatibilidad de los SDK 2.x de Apache Beam:

Java

Versiones del SDK Estado Componentes compatibles Detalles
2.34.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
 Esta versión quedará obsoleta el 11 de noviembre de 2022.
2.33.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Esta versión quedará obsoleta a partir del 7 de octubre de 2022.
2.32.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Esta versión quedará obsoleta a partir del 25 de agosto de 2022.
2.31.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Esta versión quedará obsoleta a partir del 8 de julio de 2022.
2.30.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
 Esta versión quedará obsoleta el 10 de junio de 2022.
2.29.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 29 de abril de 2022.

Problema conocido: Si usas Runner V2, de forma predeterminada, Dataflow usará un contenedor del SDK de Java 8 sin importar la versión de Java del usuario. Para solucionar problemas de Java 11, puedes anular la imagen predeterminada del SDK si proporcionas la opción de canalización “--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0” ConsultaHerramienta de seguimiento de errores de Apache Beam para obtener más información.

2.28.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 22 de febrero de 2022.
2.27.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 7 de enero de 2022.

Esta versión incluye compatibilidad para JDK 11.
2.26.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 11 de diciembre de 2021.
2.25.0 Admitido org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 23 de octubre de 2021.
2.24.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 18 de septiembre de 2021.

Problema conocido: Si usas temporizadores que se restablecen, en lugar de temporizadores establecidos y que solo se activan una vez, no debes actualizar a 2.24.0. Cuando se activa un temporizador, pero se restablece antes de que se ejecute, se puede filtrar una conservación de marca de agua, lo que hará que se atasque el trabajo de canalización. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.23.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 29 de julio de 2021.
2.22.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 8 de junio de 2021.
2.21.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 27 de mayo de 2021.
2.20.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 15 de abril de 2021.
2.19.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 4 de febrero de 2021.
2.18.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 23 de enero de 2021.
2.17.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 6 de enero de 2021.
2.16.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 7 de octubre de 2020.
2.15.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 23 de agosto de 2020.

Problemas conocidos:
  • Los usuarios de Dataflow que usan funciones de esquema (incluidas las transformaciones de SQL) no deberían actualizar a la versión 2.15.0 debido a un problema conocido. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.14.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 1 de agosto de 2020.
2.13.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 6 de junio de 2020.

Esta versión incluye compatibilidad experimental para JDK 9 o superior. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.12.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 25 de abril de 2020.

Problemas conocidos:
  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.11.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 1 de marzo de 2020.

Problemas conocidos:
  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.10.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 11 de febrero de 2020.

Problemas conocidos:
  • El SDK 2.10.0 depende de la biblioteca cliente de gcsio versión 1.9.13, que tiene problemas conocidos:

    Para solucionar estos problemas, actualiza el SDK a la versión 2.11.0 o anula la versión de la biblioteca cliente de gcsio a 1.9.16 o posterior.

  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.9.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 13 de diciembre de 2019.

Problemas conocidos:
  • Los usuarios que habiliten el experimento de Streaming Engine (Beta) no deben actualizar al SDK 2.9.0 debido a un problema conocido. Si eliges usar SDK 2.9.0, también debes establecer el indicador experimental enable_conscrypt_security_provider para habilitar Conscrypt, que tiene problemas de estabilidad conocidos.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.8.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 25 de octubre de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.7.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 3 de octubre de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.6.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 8 de agosto de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.5.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 6 de junio de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.4.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta a partir del 20 de marzo de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.3.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta a partir del 30 de enero de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.2.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 2 de diciembre de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.1.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 23 de agosto de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 17 de mayo de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.

Python

Versiones del SDK Estado Componentes compatibles Detalles
2.34.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos, SQL
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta el 11 de noviembre de 2022.
2.33.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 7 de octubre de 2022.
2.32.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 25 de agosto de 2022.
2.31.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 8 de julio de 2022.
2.30.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta el 10 de junio de 2022.
2.29.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 29 de abril de 2022.
2.28.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 22 de febrero de 2022.
2.27.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 7 de enero de 2022.
2.26.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 11 de diciembre de 2021.
2.25.0 Admitido Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 23 de octubre de 2021.
2.24.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Obsoleta a partir del 18 de septiembre de 2021. Además, esta es la última versión del SDK de Apache Beam para admitir Python 2 y Python 3.5.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.23.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Obsoleta a partir del 29 de julio de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.22.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Obsoleto a partir del 8 de junio de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.21.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleto a partir del 27 de mayo de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.20.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleta a partir del 15 de abril de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.19.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleto a partir del 4 de febrero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.18.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleto a partir del 23 de enero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.17.0 Obsoleto Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleto a partir del 6 de enero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.16.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 7 de octubre de 2020.
2.15.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 23 de agosto de 2020.
2.14.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleta a partir del 1 de agosto de 2020.

Problemas conocidos:
  • La fuente MongoDB agregada a esta versión tiene un problema conocido que puede provocar la pérdida de datos. Consulta BEAM-7866 para obtener más información.
2.13.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 6 de junio de 2020.
2.12.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 25 de abril de 2020.
2.11.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 1 de marzo de 2020.
2.10.0 Obsoleta Obsoleta a partir del 11 de febrero de 2020.
2.9.0 Obsoleta Obsoleta a partir del 13 de diciembre de 2019.
2.8.0 Obsoleta Obsoleta a partir del 25 de octubre de 2019.
2.7.0 Obsoleta

Obsoleta a partir del 3 de octubre de 2019.
2.6.0 Obsoleta Obsoleta a partir del 8 de agosto de 2019.
2.5.0 Obsoleta Obsoleta a partir del 6 de junio de 2019.
2.4.0 Obsoleta Obsoleta a partir del 20 de marzo de 2019.
2.3.0 Obsoleta Obsoleta a partir del 30 de enero de 2019.
2.2.0 Obsoleta Fuera de servicio a partir del 2 de diciembre de 2018.
2.1.1
2.1.0		 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
2.0.0 Obsoleta Fuera de servicio a partir del 17 de mayo de 2018.

SDK 2.x de Dataflow

Nota: No se admiten las versiones del SDK de desarrollo (marcadas como -SNAPSHOT para Java y como .dev para Python).

Las siguientes tablas contienen el estado de compatibilidad de los SDK 2.x de Dataflow:

Java

Consulta las notas de la versión del SDK 2.x de Dataflow para Java si deseas obtener información sobre los cambios.

Versiones del SDK Estado Detalles
2.5.0 Obsoleta

Obsoleta a partir del 6 de junio de 2019.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.4.0 Obsoleta

Obsoleta a partir del 20 de marzo de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.3.0 Obsoleta

Obsoleta a partir del 30 de enero de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.2.0 Obsoleta

Fuera de servicio a partir del 2 de diciembre de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.1.0 Obsoleta

Fuera de servicio a partir del 23 de agosto de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0 Obsoleta

Fuera de servicio a partir del 17 de mayo de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Fuera de servicio

Fuera de servicio a partir del 28 de febrero de 2018.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.

Python

Consulta las notas de la versión del SDK 2.x de Dataflow para Python si deseas obtener información sobre los cambios.

Versiones del SDK Estado Detalles
2.5.0 Obsoleta Obsoleta a partir del 6 de junio de 2019.
2.4.0 Obsoleta Obsoleta a partir del 20 de marzo de 2019.
2.3.0 Obsoleta Obsoleta a partir del 30 de enero de 2019.
2.2.0 Obsoleta Fuera de servicio a partir del 2 de diciembre de 2018.
2.1.1 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
Corrige un problema de compatibilidad con el paquete six de Python.
Consulta las notas de la versión para obtener más información.
2.1.0 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
Esta versión tiene un problema de compatibilidad con el paquete six 1.11.0 de Python.
Consulta las notas de la versión para obtener más información.
2.0.0 Obsoleta Fuera de servicio a partir del 17 de mayo de 2018.
Esta versión tiene un problema de compatibilidad con el paquete six 1.11.0 de Python.
Consulta las notas de la versión para obtener más información.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Fuera de servicio Fuera de servicio a partir del 29 de enero de 2018.
0.2.7 y versiones anteriores Fuera de servicio Fuera de servicio a partir del 23 de marzo de 2017.