Status do suporte da versão do SDK

Nesta página, listamos o status de compatibilidade do Dataflow para os lançamentos do SDK do Apache Beam e do SDK do Dataflow:

Definições de nível de suporte do SDK do Apache Beam

Veja a seguir os níveis de suporte do Dataflow para o SDK do Apache Beam:

  • Compatível: as versões do SDK do Apache Beam são compatíveis com o Dataflow a partir da data de lançamento até a data da descontinuação de uso.
  • Descontinuada: quando uma versão do SDK é descontinuada, ela continua funcionando com o Dataflow, mas pode ser desativada no futuro. Antes de uma versão do SDK ser desativada, os clientes são notificados e têm tempo para fazer upgrade dos ambientes. As solicitações de jobs enviados de versões descontinuadas do SDK resultarão em uma mensagem de aviso. É recomendável atualizar os ambientes que usam uma versão descontinuada de um SDK para uma versão compatível, mas as versões descontinuadas do SDK continuam funcionando com o Dataflow.
  • Desativada: as versões desativadas do SDK não funcionam mais com o Dataflow. Solicitações de jobs enviados de versões do SDK desativadas resultarão em erro. Para usar o SDK com o Dataflow, atualize o ambiente para uma versão do SDK que não esteja desativada. É recomendável atualizar o SDK para uma versão compatível. As versões do SDK raramente são desativadas. Antes de uma versão do SDK ser desativada, os clientes são notificados e têm tempo para fazer upgrade dos ambientes.

As definições anteriores não se aplicam a SDKs ou recursos que nunca receberam suporte.

SDKs 2.x do Apache Beam

O Apache Beam é um projeto de código aberto conduzido pela comunidade. O Google e o Google Cloud fazem parte da comunidade do Apache Beam, mas não somos proprietários do projeto nem controlamos o processo de lançamento. Podemos abrir bugs ou enviar patches para a base de código do Apache Beam em nome dos clientes do Dataflow. No entanto, não pode criar hotfixes ou versões oficiais do Apache Beam sob demanda. Para mais detalhes sobre as políticas de versão, consulte a página de políticas do Apache Beam (em inglês).

O Dataflow é compatível com componentes específicos do SDK do Apache Beam para as versões listadas nesta página. Esses componentes foram totalmente testados com o Dataflow. Recursos experimentais não são compatíveis.

Consulte as Notas de lançamento do Apache Beam para ver informações sobre alterações.

As tabelas a seguir contêm o status de compatibilidade dos SDKs 2.x do Apache Beam, incluindo o SDK do Apache Beam para Python, o SDK do Apache Beam para Java e o SDK do Apache Beam para Go:

Java

Versão do SDK Status Componentes compatíveis Detalhes
2.55.1 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
O uso desta versão será suspenso em 8 de abril de 2025.
2.55.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql

Esta versão será descontinuada em 25 de março de 2025.

Problema conhecido: a transformação WriteToJson em pipelines de várias linguagens falha com um erro. Para resolver esse problema, faça upgrade para o Apache Beam 2.55.1. Para mais informações, consulte o Problema 30776: falha do WriteToJson no YAML do Beam.

2.54.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Esta versão será descontinuada em 14 de fevereiro de 2025.
2.53.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Esta versão será descontinuada em 4 de janeiro de 2025.
2.52.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
O uso desta versão será suspenso em 17 de novembro de 2024.
2.51.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
O uso desta versão será suspenso em 12 de outubro de 2024.
2.50.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
O uso desta versão será suspenso em 23 de agosto de 2024.
2.49.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
O uso dessa versão será suspenso em 17 de julho de 2024.
2.48.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Esta versão será descontinuada em 31 de maio de 2024.
2.47.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Esta versão será descontinuada em 10 de maio de 2024.
2.46.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 10 de março de 2024.
2.45.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuada em 15 de fevereiro de 2024.
2.44.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 13 de janeiro de 2024.
2.43.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 17 de novembro de 2023.
2.42.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 17 de outubro de 2023.
2.41.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Uso suspenso em 23 de agosto de 2023.
2.40.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 27 de junho de 2023.
2.39.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Uso suspenso em 25 de maio de 2023.
2.38.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 20 de abril de 2023.
2.37.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 4 de março de 2023.
2.36.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 7 de fevereiro de 2023.
2.35.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 29 de dezembro de 2022.
2.34.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Conectores de E/S do Google Cloud no módulo org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
Descontinuado em 11 de novembro de 2022.
2.33.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
Descontinuado em 7 de outubro de 2022.
2.32.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
Uso suspenso em 25 de agosto de 2022.
2.31.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
Descontinuado em 8 de julho de 2022.
2.30.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
Descontinuado em 10 de junho de 2022.
2.29.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Descontinuado em 29 de abril de 2022.

Problema conhecido: se você usar o Runner V2, por padrão, o Dataflow usará um contêiner do SDK do Java 8, independentemente da versão do Java do usuário. Para contornar o Java 11, é possível modificar a imagem do SDK padrão fornecendo a opção de pipeline "--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0". Consulte Apache Beam issue tracker para mais informações.

2.28.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 22 de fevereiro de 2022.

2.27.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Descontinuado em 7 de janeiro de 2022.

Esta versão adiciona compatibilidade com o JDK 11.

2.26.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Descontinuado em 11 de dezembro de 2021.

2.25.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Descontinuado em 23 de outubro de 2021.

2.24.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 18 de setembro de 2021.

Problema conhecido: se você usa timers que são redefinidos em vez de definidos e disparados apenas uma vez, não faça upgrade para a versão 2.24.0. Quando um timer é acionado, mas é redefinido antes de ser executado, uma retenção de marca d'água pode ser vazada, causando o pausamento do job do pipeline. Consulte o Issue Tracker do Apache Beam para mais informações.
2.23.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Descontinuado em 29 de julho de 2021.

2.22.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 8 de junho de 2021.

2.21.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 27 de maio de 2021.

2.20.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 15 de abril de 2021.

2.19.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 4 de fevereiro de 2021.

2.18.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 23 de janeiro de 2021.

2.17.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 6 de janeiro de 2021.

2.16.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 7 de outubro de 2020.

2.15.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 23 de agosto de 2020.

Problemas conhecidos:
  • Os usuários do Dataflow que usam recursos de esquema (incluindo transformações SQL) não podem fazer upgrade para a versão 2.15.0 devido a um problema conhecido. Para mais informações, veja o rastreador de problemas do Apache Beam (em inglês).
2.14.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 1º de agosto de 2020.

2.13.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 6 de junho de 2020.

Esta versão adiciona suporte experimental para o JDK 9 e versões mais recentes. Veja o rastreador de problemas do Apache Beam para mais informações.

2.12.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 25 de abril de 2020.

Problemas conhecidos:
  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.11.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 1º de março de 2020.

Problemas conhecidos:
  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.10.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 11 de fevereiro de 2020.

Problemas conhecidos:
  • O SDK 2.10.0 depende da versão 1.9.13 da biblioteca de cliente do gcsio (em inglês), que tem problemas conhecidos:
    • A leitura de entradas secundárias pode resultar no envio de muitas solicitações para o Cloud Storage. Como resultado, os jobs do Dataflow podem falhar, com erros HTTP 429 do Cloud Storage.
    • O ParquetIO do Apache Beam falha ao ler arquivos (em inglês) do Cloud Storage.

    Para solucionar esses problemas, faça upgrade para o SDK 2.11.0 ou substitua a versão da biblioteca de cliente do gcsio pela 1.9.16 ou posterior.

  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.9.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 13 de dezembro de 2019.

Problemas conhecidos:
  • Se você ativar a experiência do Streaming Engine (Beta), não faça upgrade para o SDK 2.9.0 devido a um problema conhecido. Ao optar pelo SDK 2.9.0, também será preciso definir a sinalização experimental enable_conscrypt_security_provider para ativar o Conscrypt, que tem problemas conhecidos de estabilidade.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.8.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 25 de outubro de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.7.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 3 de outubro de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.6.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 8 de agosto de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.5.0 Descontinuado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 6 de junho de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.4.0 Desativado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.3.0 Desativado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.2.0 Desativado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.1.0 Desativado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.0.0 Desativado org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.

Python

Versão do SDK Status Componentes compatíveis Detalhes
2.55.1 Compatível Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

O uso desta versão será suspenso em 8 de abril de 2025.

2.55.0 Compatível Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Esta versão será descontinuada em 25 de março de 2025.

Problema conhecido: a transformação WriteToJson em pipelines de várias linguagens falha com um erro. Para resolver esse problema, faça upgrade para o Apache Beam 2.55.1. Para mais informações, consulte o Problema 30776: falha do WriteToJson no YAML do Beam.

2.54.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Esta versão será descontinuada em 14 de fevereiro de 2025.

2.53.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Esta versão será descontinuada em 4 de janeiro de 2025.

2.52.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

O uso desta versão será suspenso em 17 de novembro de 2024.

2.51.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

O uso desta versão será suspenso em 12 de outubro de 2024.

2.50.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

O uso desta versão será suspenso em 23 de agosto de 2024.

2.49.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

O uso dessa versão será suspenso em 17 de julho de 2024.

2.48.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Esta versão será descontinuada em 31 de maio de 2024.

2.47.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: codificadores de submódulo, dataframe, métricas, ml.inference (exceto PytorchModelHandlerKeyedTensor e SklearnModelHandlerPandas), opções, portabilidade, runners.dataflow, runners.direct, transformações, typehints, sql
Fontes e coletores baseados em arquivos e módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Conectores de E/S do Google Cloud no módulo apache_beam.io.gcp: bigquery, datastore, pubsub
Os conectores no apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Esta versão será descontinuada em 10 de maio de 2024.

2.46.0 Compatível Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Essa versão será descontinuada em 10 de setembro de 2024. O prazo de suporte para essa versão foi estendido devido a problemas conhecidos descobertos em versões posteriores.

2.45.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuada em 15 de fevereiro de 2024.

2.44.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 13 de janeiro de 2024.

2.43.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 17 de novembro de 2023.

2.42.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 17 de outubro de 2023.

2.41.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Uso suspenso em 23 de agosto de 2023.

2.40.0 Descontinuado Core Python SDK library under module apache_beam: submodules coders, dataframe, metrics, ml.inference (excluding PytorchModelHandlerKeyedTensor and SklearnModelHandlerPandas), options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 27 de junho de 2023.

2.39.0 Descontinuado Biblioteca do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Uso suspenso em 25 de maio de 2023.

2.38.0 Descontinuado Biblioteca do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 20 de abril de 2023.

2.37.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 4 de março de 2023.

Problemas conhecidos:
  • Quando você usa WriteToBigQuery com o parâmetro ignore_unknown_columns definido como true, o valor do parâmetro é ignorado. Esse problema foi corrigido na versão 2.38.0. Consulte BEAM-14039 (em inglês) para detalhes.
2.36.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 7 de fevereiro de 2023.

Problemas conhecidos:
  • Quando você usa WriteToBigQuery com o parâmetro ignore_unknown_columns definido como true, o valor do parâmetro é ignorado. Esse problema foi corrigido na versão 2.38.0. Consulte BEAM-14039 (em inglês) para detalhes.
2.35.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub
The connectors under apache_beam.io.jdbc: ReadFromJdbc, WriteToJdbc.

Descontinuado em 29 de dezembro de 2022.

2.34.0 Descontinuado A biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints, sql
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 11 de novembro de 2022.

2.33.0 Descontinuado A biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 7 de outubro de 2022.

2.32.0 Descontinuado A biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Uso suspenso em 25 de agosto de 2022.

2.31.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem, filesystems, fileio
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 8 de julho de 2022.

2.30.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 10 de junho de 2022.

2.29.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 29 de abril de 2022.

2.28.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Uso suspenso em 22 de fevereiro de 2022.

2.27.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 7 de janeiro de 2022.

2.26.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 11 de dezembro de 2021.

2.25.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 23 de outubro de 2021.

2.24.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Uso suspenso em 18 de setembro de 2021. Além disso, a versão 2.24.0 do SDK do Apache Beam é a última compatível com o Python 2 e o Python 3.5.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.23.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Descontinuado em 29 de julho de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.22.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp: bigquery, datastore, pubsub

Uso suspenso em 8 de junho de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.21.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 27 de maio de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.20.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 15 de abril de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.19.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 4 de fevereiro de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.18.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 23 de janeiro de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.17.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 6 de janeiro de 2021.

O Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.16.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp
Uso suspenso em 7 de outubro de 2020.
2.15.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp
Uso suspenso em 23 de agosto de 2020.
2.14.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp

Uso suspenso em 1º de agosto de 2020.

Problemas conhecidos:
  • A fonte do MongoDB adicionada nesta versão tem um problema conhecido que pode resultar em perda de dados. Consulte BEAM-7866 (em inglês) para detalhes.
2.13.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp
Uso suspenso desde 6 de junho de 2020.
2.12.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp
Uso suspenso desde 25 de abril de 2020.
2.11.0 Descontinuado Biblioteca principal do SDK do Python Core no módulo apache_beam: codificadores de submódulo, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
File-based sources and sinks and related modules under module apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Google Cloud I/O connectors under module apache_beam.io.gcp
Uso suspenso desde 1º de março de 2020.
2.10.0 Descontinuado Uso suspenso desde 11 de fevereiro de 2020.
2.9.0 Descontinuado Uso suspenso desde 13 de dezembro de 2019.
2.8.0 Descontinuado Uso suspenso desde 25 de outubro de 2019.
2.7.0 Descontinuado

Uso suspenso desde 3 de outubro de 2019.

2.6.0 Descontinuado Uso suspenso desde 8 de agosto de 2019.
2.5.0 Descontinuado Uso suspenso desde 6 de junho de 2019.
2.4.0 Descontinuado Obsoleta desde 20 de março de 2019.
2.3.0 Descontinuado Obsoleta desde 30 de janeiro de 2019.
2.2.0 Descontinuado Obsoleta desde 2 de dezembro de 2018.
2.1.1
2.1.0
Descontinuado Obsoleta desde 23 de agosto de 2018.
2.0.0 Descontinuado Obsoleta desde 17 de maio de 2018.

Go

Versão do SDK Status Componentes compatíveis Detalhes
2.55.1 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
O uso desta versão será suspenso em 8 de abril de 2025.
2.55.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Esta versão será descontinuada em 25 de março de 2025.
2.54.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Esta versão será descontinuada em 14 de fevereiro de 2025.
2.53.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Esta versão será descontinuada em 4 de janeiro de 2025.
2.52.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
O uso desta versão será suspenso em 17 de novembro de 2024.
2.51.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
O uso desta versão será suspenso em 12 de outubro de 2024.
2.50.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
O uso desta versão será suspenso em 23 de agosto de 2024.
2.49.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
O uso dessa versão será suspenso em 17 de julho de 2024.
2.48.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Esta versão será descontinuada em 31 de maio de 2024.
2.47.0 Compatível Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Esta versão será descontinuada em 10 de maio de 2024.
2.46.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 10 de março de 2024.
2.45.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuada em 15 de fevereiro de 2024.
2.44.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 13 de janeiro de 2024.
2.43.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 17 de novembro de 2023.
2.42.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 17 de outubro de 2023.
2.41.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Uso suspenso em 23 de agosto de 2023.
2.40.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 27 de junho de 2023.
2.39.0 Descontinuado Pacotes nos seguintes diretórios:
-Pacote do SDK do Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/xlang
Uso suspenso em 25 de maio de 2023.
2.38.0 Descontinuado Pacotes nos seguintes diretórios:
- Pacote do SDK para Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- Beam/io/Xlang
Descontinuado em 20 de abril de 2023.
2.37.0 Descontinuado Pacotes nos seguintes diretórios:
-Pacote do SDK do Go do Core Beam
- beam/transforms
- beam/io/textio
- beam/io/xlang
Descontinuado em 4 de março de 2023.

SDKs do Dataflow 2.x

As tabelas a seguir contêm o status de compatibilidade para os SDKs do Dataflow 2.x, incluindo o SDK do Dataflow para Java e o SDK do Dataflow para Python:

Java

Para informações sobre alterações, consulte as Notas de lançamento do SDK 2.x do Dataflow para Java.

Versão do SDK Status Detalhes
2.5.0 Descontinuado

Uso suspenso desde 6 de junho de 2019.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.4.0 Desativado

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.3.0 Desativado

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.2.0 Desativado

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.1.0 Desativado

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.0.0 Desativado

Desativada em 12 de agosto de 2020.

Esta versão foi desativada devido à desativação do suporte a endpoints em lote JSON-RPC e HTTP global.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
Desativada

Desativada desde 28 de fevereiro de 2018.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Como solução alternativa, não defina o cabeçalho de codificação de conteúdo e armazene arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos já existentes, atualize o cabeçalho e o nome de arquivo de codificação de conteúdo com os comandos gcloud storage.

Python

Para informações sobre alterações, consulte as Notas de lançamento do SDK 2.x do Dataflow para Python.

Versão do SDK Status Detalhes
2.5.0 Descontinuado Uso suspenso desde 6 de junho de 2019.
2.4.0 Descontinuado Obsoleta desde 20 de março de 2019.
2.3.0 Descontinuado Obsoleta desde 30 de janeiro de 2019.
2.2.0 Descontinuado Obsoleta desde 2 de dezembro de 2018.
2.1.1 Descontinuado Obsoleta desde 23 de agosto de 2018.
Corrige um problema de compatibilidade com o pacote six do Python.
Para mais informações, consulte as Notas de lançamento.
2.1.0 Descontinuado Obsoleta desde 23 de agosto de 2018.
Esta versão tem um problema de compatibilidade com o pacote six 1.11.0 do Python.
Para mais informações, consulte as Notas de lançamento.
2.0.0 Descontinuado Obsoleta desde 17 de maio de 2018.
Esta versão tem um problema de compatibilidade com o pacote six 1.11.0 do Python.
Para mais informações, consulte as Notas de lançamento.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
Desativada Desativadas em 29 de janeiro de 2018.
0.2.7 e versões anteriores Desativadas Desativadas em 23 de março de 2017.