Estado de asistencia de la versión del SDK

En esta página, se enumera el estado de compatibilidad para las versiones del SDK de Apache Beam y Dataflow:

SDK 2.x de Apache Beam

Apache Beam es un proyecto de código abierto dirigido por la comunidad. Google es parte de la comunidad, pero no somos dueños del proyecto ni controlamos el proceso de actualización. Podemos informar errores o enviar parches a la base de código de Apache Beam en nombre de los clientes de Dataflow, pero no podemos crear revisiones o actualizaciones oficiales de Apache Beam a pedido. Consulta la página de las políticas de Apache Beam para obtener más información sobre las políticas de actualizaciones.

Dataflow admite componentes específicos del SDK de Apache Beam para las actualizaciones del SDK que se enumeran a continuación. Estos componentes se probaron de forma exhaustiva mediante Dataflow. No se admiten las funciones experimentales.

Consulta las notas de la versión de Apache Beam para cambiar la información.

Nota: No se admiten las versiones del SDK de desarrollo (marcadas como -SNAPSHOT para Java y como .dev para Python).

Las siguientes tablas contienen el estado de compatibilidad de los SDK 2.x de Apache Beam:

Java

Versiones del SDK Estado Componentes compatibles Detalles
2.27.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 7 de enero de 2022.
2.26.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 11 de diciembre de 2021.
2.25.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 23 de octubre de 2021.
2.24.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 18 de septiembre de 2021.

Problema conocido: Si usas temporizadores que se restablecen, en lugar de temporizadores establecidos y que solo se activan una vez, no debes actualizar a 2.24.0. Cuando se activa un temporizador, pero se restablece antes de que se ejecute, se puede filtrar una conservación de marca de agua, lo que hará que se atasque el trabajo de canalización. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.23.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 29 de julio de 2021.
2.22.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S de Google Cloud en el módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta el 8 de junio de 2021.
2.21.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta el 27 de mayo de 2021.
2.20.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 15 de abril de 2021.
2.19.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 4 de febrero de 2021.
2.18.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 23 de enero de 2021.
2.17.0 Admitida org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versión quedará obsoleta a partir del 6 de enero de 2021.
2.16.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 7 de octubre de 2020.
2.15.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 23 de agosto de 2020.

Problemas conocidos:
  • Los usuarios de Dataflow que usan funciones de esquema (incluidas las transformaciones de SQL) no deberían actualizar a la versión 2.15.0 debido a un problema conocido. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.14.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 1 de agosto de 2020.
2.13.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleto a partir del 6 de junio de 2020.

Esta versión incluye compatibilidad experimental para JDK 9 o superior. Consulta la herramienta de seguimiento de errores de Apache Beam para obtener más información.
2.12.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 25 de abril de 2020.

Problemas conocidos:
  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.11.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 1 de marzo de 2020.

Problemas conocidos:
  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.10.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 11 de febrero de 2020.

Problemas conocidos:
  • El SDK 2.10.0 depende de la biblioteca cliente de gcsio versión 1.9.13, que tiene problemas conocidos:

    Para solucionar estos problemas, actualiza el SDK a la versión 2.11.0 o anula la versión de la biblioteca cliente de gcsio a 1.9.16 o posterior.

  • El ejecutor de Dataflow tiene una configuración de registro incorrecta que puede causar la pérdida de todos los registros. Para solucionar este problema, agrega slf4j-jdk14 a tus dependencias de entorno de ejecución.
2.9.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 13 de diciembre de 2019.

Problemas conocidos:
  • Los usuarios que habiliten el experimento de Streaming Engine (Beta) no deben actualizar al SDK 2.9.0 debido a un problema conocido. Si eliges usar SDK 2.9.0, también debes establecer el indicador experimental enable_conscrypt_security_provider para habilitar Conscrypt, que tiene problemas de estabilidad conocidos.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.8.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 25 de octubre de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.7.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 3 de octubre de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.6.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 8 de agosto de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.5.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Obsoleta a partir del 6 de junio de 2019.

Problemas conocidos:
  • Las canalizaciones podrían atascarse debido a un problema con la biblioteca de Conscrypt. Si observas errores en Stackdriver Logging con seguimientos de pila que incluyen llamadas relacionadas, es posible que tengas este problema. Para resolver el problema, actualiza a SDK 2.9.0 o superior.
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.4.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta a partir del 20 de marzo de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.3.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta a partir del 30 de enero de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.2.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 2 de diciembre de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.1.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 23 de agosto de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0 Obsoleta org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Fuera de servicio a partir del 17 de mayo de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Apache Beam Java 2.9.0 y versiones anteriores pueden experimentar duplicación de datos al leer archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.

Python

Versiones del SDK Estado Componentes compatibles Detalles
2.27.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 7 de enero de 2022.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.26.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, marco de datos (vista previa), métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 11 de diciembre de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.25.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 23 de octubre de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.24.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 18 de septiembre de 2021. Además, esta es la última versión del SDK de Apache Beam para admitir Python 2 y Python 3.5.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.23.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta a partir del 29 de julio de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.22.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versión quedará obsoleta el 8 de junio de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.21.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Esta versión quedará obsoleta el 27 de mayo de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.20.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Esta versión quedará obsoleta a partir del 15 de abril de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.19.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Esta versión quedará obsoleta a partir del 4 de febrero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.18.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Esta versión quedará obsoleta a partir del 23 de enero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.17.0 Admitida Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Esta versión quedará obsoleta a partir del 6 de enero de 2021.

Dataflow ya no admite canalizaciones que usan Python 2. Obtén más información en la página Compatibilidad con Python 2 en Google Cloud.
2.16.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 7 de octubre de 2020.
2.15.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 23 de agosto de 2020.
2.14.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp

Obsoleta a partir del 1 de agosto de 2020.

Problemas conocidos:
  • La fuente MongoDB agregada a esta versión tiene un problema conocido que puede provocar la pérdida de datos. Consulta BEAM-7866 para obtener más información.
2.13.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 6 de junio de 2020.
2.12.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 25 de abril de 2020.
2.11.0 Obsoleta Biblioteca del SDK del núcleo de Python en el módulo apache_beam: codificadores de submódulos, métricas, opciones, portabilidad, runners.dataflow, runners.direct, transformaciones, indicaciones de tipos
Fuentes y receptores basados en archivos y módulos relacionados en el módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores de E/S de Google Cloud en el módulo apache_beam.io.gcp
 Obsoleta a partir del 1 de marzo de 2020.
2.10.0 Obsoleta Obsoleta a partir del 11 de febrero de 2020.
2.9.0 Obsoleta Obsoleta a partir del 13 de diciembre de 2019.
2.8.0 Obsoleta Obsoleta a partir del 25 de octubre de 2019.
2.7.0 Obsoleta

Obsoleta a partir del 3 de octubre de 2019.
2.6.0 Obsoleta Obsoleta a partir del 8 de agosto de 2019.
2.5.0 Obsoleta Obsoleta a partir del 6 de junio de 2019.
2.4.0 Obsoleta Obsoleta a partir del 20 de marzo de 2019. Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.3.0 Obsoleta Obsoleta a partir del 30 de enero de 2019.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.2.0 Obsoleta Fuera de servicio a partir del 2 de diciembre de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.1.1
2.1.0		 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.0.0 Obsoleta Fuera de servicio a partir del 17 de mayo de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

SDK 2.x de Dataflow

Nota: No se admiten las versiones del SDK de desarrollo (marcadas como -SNAPSHOT para Java y como .dev para Python).

Las siguientes tablas contienen el estado de compatibilidad de los SDK 2.x de Dataflow:

Java

Consulta las notas de la versión del SDK 2.x de Dataflow para Java si deseas obtener información sobre los cambios.

Versiones del SDK Estado Detalles
2.5.0 Obsoleta

Obsoleta a partir del 6 de junio de 2019.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.4.0 Obsoleta

Obsoleta a partir del 20 de marzo de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.3.0 Obsoleta

Obsoleta a partir del 30 de enero de 2019.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.2.0 Obsoleta

Fuera de servicio a partir del 2 de diciembre de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.1.0 Obsoleta

Fuera de servicio a partir del 23 de agosto de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0 Obsoleta

Fuera de servicio a partir del 17 de mayo de 2018.

Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Fuera de servicio

Fuera de servicio a partir del 28 de febrero de 2018.

Problema conocido:
  • En un caso específico, los usuarios del SDK de Dataflow Java 2.5.0 y versiones anteriores pueden experimentar una duplicación de datos cuando leen archivos desde Cloud Storage. La duplicación puede ocurrir cuando se cumplen todas las condiciones siguientes:
    • Estás leyendo archivos con la codificación de contenido establecida en gzip, y los archivos son transcodificados descompresivos dinámicamente por Cloud Storage.
    • El tamaño del archivo (descomprimido) es superior a 2.14 GB.
    • La secuencia de entrada se encuentra con un error (y se vuelve a crear) después de leer 2.14 GB.
    Como solución alternativa, no establezcas el encabezado de codificación de contenido ni almacenes los archivos comprimidos en Cloud Storage con la extensión adecuada (por ejemplo, gz para gzip). Para los archivos existentes, puedes actualizar el encabezado de codificación de contenido y el nombre del archivo mediante la herramienta de gsutil.

Python

Consulta las notas de la versión del SDK 2.x de Dataflow para Python si deseas obtener información sobre los cambios.

Versiones del SDK Estado Detalles
2.5.0 Obsoleta Obsoleta a partir del 6 de junio de 2019.
2.4.0 Obsoleta Obsoleta a partir del 20 de marzo de 2019.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.3.0 Obsoleta Obsoleta a partir del 30 de enero de 2019.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.2.0 Obsoleta Fuera de servicio a partir del 2 de diciembre de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
2.1.1 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
Corrige un problema de compatibilidad con el paquete six de Python.
Consulta las notas de la versión para obtener más información.
2.1.0 Obsoleta Fuera de servicio a partir del 23 de agosto de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
Esta versión tiene un problema de compatibilidad con el paquete six 1.11.0 de Python.
Consulta las notas de la versión para obtener más información.
2.0.0 Obsoleta Fuera de servicio a partir del 17 de mayo de 2018.
Esta versión se retirará de servicio el 12 de agosto de 2020 debido a la suspensión de la compatibilidad con JSON-RPC y los extremos globales del lote HTTP.
Esta versión tiene un problema de compatibilidad con el paquete six 1.11.0 de Python.
Consulta las notas de la versión para obtener más información.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
 Fuera de servicio Fuera de servicio a partir del 29 de enero de 2018.
0.2.7 y versiones anteriores Fuera de servicio Fuera de servicio a partir del 23 de marzo de 2017.

SDK 1.x de Dataflow

La siguiente tabla contiene el estado de compatibilidad de los SDK 1.x de Dataflow para Java: Consulta las notas de la versión del SDK 1.x de Dataflow para Java si deseas obtener información sobre los cambios.

Versiones del SDK Estado Detalles
1.9.1
1.9.0		 No compatible No es compatible desde el 16 de octubre de 2018.
1.8.1
1.8.0
 No compatible No es compatible desde el 9 de abril de 2018.
1.7.0
 No compatible No es compatible desde el 12 de marzo de 2018.
1.6.1
1.6.0		 No compatible No es compatible desde el 22 de enero de 2018.
1.5.1
1.5.0
1.4.0
1.3.0
 No compatible No es compatible desde el 1 de octubre de 2017.
1.2.1
1.2.0
1.1.0
1.0.0
 No compatible No es compatible desde el 26 de febrero de 2017.
Anteriores a la versión 1.0.0 (incluida la 0.4.* y 0.3.*) No compatible