Status do suporte da versão do SDK

Essa página lista o status de suporte das versões do SDK do Apache Beam e do Dataflow:

Definições de nível de suporte

Veja a seguir os níveis de suporte para o SDK do Apache Beam:

  • Compatível: as versões do SDK do Apache Beam são aceitas pelo Dataflow a partir da data de lançamento até a data da suspensão de uso.
  • Uso suspenso: quando uma versão do SDK for anunciada como obsoleta, continuará funcionando com o Dataflow, mas poderá ser desativada. A versão obsoleta pode ou não estar programada para ser desativada. As solicitações de jobs enviados de versões obsoletas do SDK resultarão em uma mensagem de aviso. Ambientes que usam uma versão suspensa de um SDK devem ser atualizados para uma versão com suporte para evitar interrupções.
  • Desativado: após o período de suspensão de uso, as versões de SDK desativadas não funcionarão mais com o Dataflow. Solicitações de jobs enviados de versões de SDK desativadas resultarão em erro. Ambientes que usam uma versão desativada de um SDK precisam ser atualizados para uma versão compatível com o Dataflow.

As definições acima não se aplicam aos SDKs ou recursos que nunca foram compatíveis, como o SDK do Apache Beam para Go.

SDKs 2.x do Apache Beam

O Apache Beam é um projeto de código aberto conduzido pela comunidade. O Google faz parte dessa comunidade, mas não é proprietário do projeto nem controla o processo de lançamento. Podemos abrir bugs ou enviar patches para a codebase do Apache Beam em nome dos clientes do Dataflow, mas não podemos criar hotfixes ou versões oficiais do Apache Beam sob demanda. Para mais detalhes sobre as políticas de versão, consulte a página de políticas do Apache Beam (em inglês).

O Dataflow é compatível com componentes específicos do SDK do Apache Beam para as versões listadas abaixo. Esses componentes foram totalmente testados com o Dataflow. Recursos experimentais não são compatíveis.

Consulte as Notas de lançamento do Apache Beam para ver informações sobre alterações.

Observação: versões do SDK de desenvolvimento, marcadas como -SNAPSHOT para Java e .dev para Python, não são compatíveis.

As tabelas a seguir contêm o status do suporte para os SDKs 2.x do Apache Beam:

Java

Versões do SDK Status Componentes compatíveis Detalhes
2.28.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 2 de fevereiro de 2022.

2.27.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versão será suspensa em 7 de janeiro de 2022.

Esta versão adiciona compatibilidade com o JDK 11.

2.26.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 11 de dezembro de 2021.

2.25.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso dessa versão será suspenso em 23 de outubro de 2021.

2.24.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso dessa versão será suspenso em 18 de setembro de 2021.

Problema conhecido: se você usar timers que são redefinidos, em vez de timers definidos e acionados apenas uma vez, não faça upgrade para a versão 2.24.0. Quando um timer é acionado, mas é redefinido antes de ser executado, uma retenção de marca d'água pode ser vazada, causando o pausamento do job do pipeline. Consulte o Issue Tracker do Apache Beam para mais informações.
2.23.0 Compatível org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso dessa versão será suspenso em 29 de julho de 2021.

2.22.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
Google Cloud I/O connectors under module org.apache.beam:beam-runners-google-cloud-dataflow-java: bigquery, bigtable, datastore, healthcare, pubsub, spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 8 de junho de 2021.

2.21.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 27 de maio de 2021.

2.20.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 15 de abril de 2021.

2.19.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

O uso desta versão será suspenso em 4 de fevereiro de 2021.

2.18.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versão será suspensa em 23 de janeiro de 2021.

2.17.0 Suporte org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Esta versão será suspensa em 6 de janeiro de 2021.

2.16.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 7 de outubro de 2020.

2.15.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 23 de agosto de 2020.

Problemas conhecidos:
  • Os usuários do Dataflow que usam recursos de esquema (incluindo transformações SQL) não devem atualizar para o 2.15.0 devido a um problema conhecido. Para mais informações, veja o rastreador de problemas do Apache Beam (em inglês).
2.14.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 1º de agosto de 2020.

2.13.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 6 de junho de 2020.

Com esta versão, adicionamos suporte experimental para o JDK 9 ou superior. Veja o rastreador de problemas do Apache Beam para mais informações.

2.12.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso em 25 de abril de 2020.

Problemas conhecidos:
  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.11.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 1º de março de 2020.

Problemas conhecidos:
  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.10.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 11 de fevereiro de 2020.

Problemas conhecidos:
  • O SDK 2.10.0 depende da versão 1.9.13 da biblioteca de cliente do gcsio (em inglês), que tem problemas conhecidos:

    Para solucionar esses problemas, faça upgrade para o SDK 2.11.0 ou substitua a versão da biblioteca de cliente do gcsio pela 1.9.16 ou posterior.

  • O executor do Dataflow tem uma configuração incorreta de geração de registros que pode causar a perda de todos os registros. Para solucionar esse problema, insira slf4j-jdk14 nas dependências do ambiente de execução.
2.9.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 13 de dezembro de 2019.

Problemas conhecidos:
  • Usuários do experimento Streaming Engine (Beta) não podem atualizar para o SDK 2.9.0 devido a um problema conhecido. Ao optar pelo SDK 2.9.0, também será preciso definir a sinalização experimental enable_conscrypt_security_provider para ativar o Conscrypt, que tem problemas conhecidos de estabilidade.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.8.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 25 de outubro de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.7.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 3 de outubro de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.6.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 8 de agosto de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.5.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

Uso suspenso desde 6 de junho de 2019.

Problemas conhecidos:
  • Os pipelines podem ficar paralisados devido a um problema com a biblioteca do Conscrypt. Se houver erros na geração de registros do Stackdriver com rastreamentos de pilha que incluam chamadas relacionadas ao Conscrypt, é possível que você seja afetado por esse problema. Para resolver o problema, faça upgrade para o SDK 2.9.0 ou superior.
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.4.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta desde 20 de março de 2019.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.3.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta desde 30 de janeiro de 2019.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.2.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta desde 2 de dezembro de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.1.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta desde 23 de agosto de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.0.0 Obsoleto org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

Obsoleta desde 17 de maio de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs 2.9.0 e anteriores do Apache Beam para Java podem ter os dados duplicados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.

Python

Versões do SDK Status Componentes compatíveis Detalhes
2.28.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso desta versão será suspenso em 2 de fevereiro de 2022.

2.27.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

Esta versão será suspensa em 7 de janeiro de 2022.

2.26.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, dataframe (preview), metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso desta versão será suspenso em 11 de dezembro de 2021.

2.25.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso dessa versão será suspenso em 23 de outubro de 2021.

2.24.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso dessa versão será suspenso em 18 de setembro de 2021. Além disso, essa é a última versão do SDK do Apache Beam compatível com o Python 2 e o Python 3.5.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.23.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso dessa versão será suspenso em 29 de julho de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.22.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp: bigquery, datastore, pubsub

O uso desta versão será suspenso em 8 de junho de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.21.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

O uso desta versão será suspenso em 27 de maio de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.20.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

O uso desta versão será suspenso em 15 de abril de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.19.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

O uso desta versão será suspenso em 4 de fevereiro de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.18.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

Esta versão será suspensa em 23 de janeiro de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.17.0 Compatível Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

Esta versão será suspensa em 6 de janeiro de 2021.

Cuidado: o Dataflow não é mais compatível com pipelines que usam o Python 2. Leia mais informações na página de suporte do Python 2 no Google Cloud .

2.16.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp
Uso suspenso em 7 de outubro de 2020.
2.15.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp
Uso suspenso em 23 de agosto de 2020.
2.14.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp

Uso suspenso em 1º de agosto de 2020.

Problemas conhecidos:
  • A fonte do MongoDB adicionada nesta versão tem um problema conhecido que pode resultar em perda de dados. Consulte BEAM-7866 (em inglês) para detalhes.
2.13.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp
Uso suspenso desde 6 de junho de 2020.
2.12.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp
Uso suspenso desde 25 de abril de 2020.
2.11.0 Obsoleto Biblioteca principal do SDK do Python no módulo apache_beam: sub-modules coders, metrics, options, portability, runners.dataflow, runners.direct, transforms, typehints
Fontes e origens com base em arquivos, bem como módulos relacionados no módulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, localfilesystem
Conectores do Google Cloud I/O no módulo apache_beam.io.gcp
Uso suspenso desde 1º de março de 2020.
2.10.0 Obsoleto Uso suspenso desde 11 de fevereiro de 2020.
2.9.0 Obsoleto Uso suspenso desde 13 de dezembro de 2019.
2.8.0 Obsoleto Uso suspenso desde 25 de outubro de 2019.
2.7.0 Obsoleto

Uso suspenso desde 3 de outubro de 2019.

2.6.0 Obsoleto Uso suspenso desde 8 de agosto de 2019.
2.5.0 Obsoleto Uso suspenso desde 6 de junho de 2019.
2.4.0 Obsoleto Obsoleta desde 20 de março de 2019. Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).
2.3.0 Obsoleto Obsoleta desde 30 de janeiro de 2019.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RP.
2.2.0 Obsoleto Obsoleta desde 2 de dezembro de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
2.1.1
2.1.0
Obsoleto Obsoleta desde 23 de agosto de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
2.0.0 Obsoleto Obsoleta desde 17 de maio de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.

SDKs do Dataflow 2.x

Observação: as versões do SDK de desenvolvimento, marcadas como -SNAPSHOT para Java e .dev para Python, não são compatíveis.

As tabelas a seguir contêm o status de compatibilidade para os SDKs 2.x do Dataflow:

Java

Para informações sobre alterações, consulte as Notas de lançamento do SDK 2.x do Dataflow para Java.

Versões do SDK Status Detalhes
2.5.0 Obsoleto

Uso suspenso desde 6 de junho de 2019.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.4.0 Obsoleto

Obsoleta desde 20 de março de 2019.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.3.0 Obsoleto

Obsoleta desde 30 de janeiro de 2019.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.2.0 Obsoleto

Obsoleta desde 2 de dezembro de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.1.0 Obsoleto

Obsoleta desde 23 de agosto de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.0.0 Obsoleto

Obsoleta desde 17 de maio de 2018.

Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC (em inglês).

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
Desativada

Desativada desde 28 de fevereiro de 2018.

Problema conhecido:
  • Em um caso específico, os usuários dos SDKs do Dataflow para Java 2.5.0 e anteriores podem sofrer duplicação de dados ao ler arquivos do Cloud Storage. Isso pode ocorrer quando todas as condições a seguir forem verdadeiras:
    • Você está lendo arquivos com a codificação de conteúdo definida como gzip e os arquivos são descompactados e transcodificados dinamicamente pelo Cloud Storage.
    • O tamanho do arquivo (descompactado) é maior que 2.14 GB.
    • O fluxo de entrada encontra um erro e é recriado depois que 2.14 GB são lidos.
    Uma solução alternativa é não definir o cabeçalho de codificação de conteúdo e armazenar arquivos compactados no Cloud Storage com a extensão adequada (por exemplo, gz para gzip). Para arquivos atuais, é possível atualizar o cabeçalho de codificação de conteúdo e o nome do arquivo com a ferramenta gsutil.

Python

Para informações sobre alterações, consulte as Notas de lançamento do SDK 2.x do Dataflow para Python.

Versões do SDK Status Detalhes
2.5.0 Obsoleto Uso suspenso desde 6 de junho de 2019.
2.4.0 Obsoleto Obsoleta desde 20 de março de 2019.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
2.3.0 Obsoleto Obsoleta desde 30 de janeiro de 2019.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RP.
2.2.0 Obsoleto Obsoleta desde 2 de dezembro de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
2.1.1 Obsoleta Obsoleta desde 23 de agosto de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
Corrige um problema de compatibilidade com o pacote six do Python.
Para mais informações, consulte as Notas de lançamento.
2.1.0 Obsoleto Obsoleta desde 23 de agosto de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
Esta versão tem um problema de compatibilidade com o pacote six 1.11.0 do Python.
Para mais informações, consulte as Notas de lançamento.
2.0.0 Obsoleto Obsoleta desde 17 de maio de 2018.
Esta versão será desativada em 12 de agosto de 2020 devido à interrupção do suporte para endpoints de lote HTTP global e JSON-RPC.
Esta versão tem um problema de compatibilidade com o pacote six 1.11.0 do Python.
Para mais informações, consulte as Notas de lançamento.
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
Desativada Desativadas em 29 de janeiro de 2018.
0.2.7 e versões anteriores Desativadas Desativadas desde 23 de março de 2017.

SDKs do Dataflow 1.x

A tabela a seguir contém o status de compatibilidade para os SDKs 1.x do Dataflow para Java. Para informações sobre alterações, consulte as Notas de lançamento do SDK 1.x do Dataflow para Java.

Versões do SDK Status Detalhes
1.9.1
1.9.0
Não compatível Não compatíveis desde 16 de outubro de 2018
1.8.1
1.8.0
Não compatível Não compatíveis desde 9 de abril de 2018.
1.7.0
Não compatível Não compatíveis desde 12 de março de 2018.
1.6.1
1.6.0
Não compatível Não compatíveis desde 22 de janeiro de 2018.
1.5.1
1.5.0
1.4.0
1.3.0
Não compatível Não compatíveis desde 1º de outubro de 2017.
1.2.1
1.2.0
1.1.0
1.0.0
Não compatível Não compatíveis desde 26 de fevereiro de 2017.
Anterior a 1.0.0 (incluindo 0.4.* e 0.3.*) Não compatível