Stato del supporto delle versioni degli SDK

In questa pagina sono elencati gli stati di assistenza per le release di Apache Beam e Dataflow SDK:

Definizioni a livello di assistenza

Di seguito sono riportati i livelli di assistenza per l'SDK Apache Beam:

  • Supportata: le versioni dell'SDK Apache Beam sono supportate da Dataflow dalla data di rilascio fino alla data di ritiro.
  • Deprecata: una volta che una versione SDK viene annunciata come obsoleta, continuerà a funzionare con Dataflow, ma sarà idonea a essere ritirata. La versione deprecata potrebbe essere o meno pianificata per il ritiro. Le richieste di processi inviate da versioni deprecate dell'SDK genereranno un messaggio di avviso. Gli ambienti che utilizzano una versione deprecata di un SDK devono essere aggiornati a una versione supportata per evitare interruzioni.
  • Ritirato: dopo il periodo di ritiro, le versioni dell'SDK ritirate non funzioneranno più con Dataflow. Le richieste di offerte di lavoro inviate dalle versioni dell'SDK ritirate determineranno un errore. Per poter utilizzare Dataflow, gli ambienti che utilizzano una versione obsoleta di un SDK devono essere aggiornati a una versione supportata.

Tieni presente che le definizioni riportate sopra non si applicano agli SDK o alle funzionalità che non sono mai state supportate.

SDK Apache Beam 2.x

Apache Beam è un progetto open source gestito dalla community. Google fa parte della community, ma il progetto non è di nostra proprietà né controlla il processo di rilascio. Potremmo aprire dei bug o inviare le licenze al codebase Apache Beam per conto dei clienti Dataflow, ma non possiamo creare hotfix o release ufficiali di Apache Beam on demand. Per ulteriori dettagli sui criteri di rilascio, consulta la pagina Criteri di Apache.

Dataflow supporta componenti specifici dell'SDK Apache Beam per le release dell'SDK elencate di seguito. Questi componenti sono stati testati accuratamente con Dataflow. Le funzionalità sperimentali non sono supportate.

Per informazioni sulle modifiche, consulta le note di rilascio di Apache.

Nota: le versioni SDK di sviluppo (contrassegnate come -SNAPSHOT per Java e .dev per Python e Go) non sono supportate.

Le seguenti tabelle contengono lo stato di supporto per gli SDK Apache Beam 2.x:

Java

Versione SDK Stato Componenti supportati Dettagli
2,40,0 Supportato a Questa versione verrà ritirata il 27 giugno 2023.
2,39 Supportato a Questa versione verrà ritirata il 25 maggio 2023.
2,38,0 Supportato a Questa versione verrà ritirata il 20 aprile 2023.
2,37 Supportato base a tutti i nodi Questa versione verrà ritirata il 4 marzo 2023.
2,36 Supportato

Se la pipeline legge da un database Cloud Spanner, NON utilizzare 2.34.0 – 2.36.0. Esegui subito l'upgrade alla versione 2.37.0 o successiva.

a 		Questa versione verrà ritirata il 7 febbraio 2023.
2,35 Supportato

Se la pipeline legge da un database Cloud Spanner, NON utilizzare 2.34.0 – 2.36.0. Esegui subito l'upgrade alla versione 2.37.0 o successiva.

a 		Questa versione verrà ritirata il 29 dicembre 2022.
2,34,0 Supportato

Se la pipeline legge da un database Cloud Spanner, NON utilizzare 2.34.0 – 2.36.0. Esegui subito l'upgrade alla versione 2.37.0 o successiva.

giga. 		Questa versione verrà ritirata l'11 novembre 2022.
2,33,0 Supportato orgaa. Questa versione verrà ritirata il 7 ottobre 2022.
2,32,0 Supportato orgaa. Questa versione verrà ritirata il 25 agosto 2022.
2,31 Deprecato orgaa. Funzionalità ritirata l'8 luglio 2022.
2,30 Deprecato orgaa. Funzionalità ritirata il 10 giugno 2022.
2,29 Deprecato orgaa.

Funzionalità ritirata il 29 aprile 2022.

Problema noto: se utilizzi Runner V2, per impostazione predefinita Dataflow utilizzerà un container SDK Java 8 indipendentemente dalla versione Java dell'utente. Per aggirare Java 11, puoi eseguire l'override dell'immagine SDK predefinita fornendo l'opzione pipeline `--worker_harness_container_image=gcr.io/cloud- Dataflow/v1beta3/beam_java11_sdk:2.29.0` Per ulteriori informazioni, consulta la pagina relativa al Issue Tracker di Apache.

2,28,0 Deprecato orgaa.

Funzionalità ritirata il 22 febbraio 2022.
2,27,0 Deprecato orgaa.

Funzionalità ritirata il 7 gennaio 2022.

Questa versione introduce il supporto di JDK 11.
2,26,0 Deprecato orgaa.

Funzionalità ritirata l'11 dicembre 2021.
2,25 Deprecato orgaa.

Funzionalità ritirata il 23 ottobre 2021.
2,24 Deprecato orgaa.

Funzionalità ritirata il 18 settembre 2021.

Problema noto: se utilizzi timer che vengono reimpostati, anziché timer impostati e attivati solo una volta, non devi eseguire l'upgrade alla versione 2.24.0. Quando viene attivato un timer, ma viene reimpostato prima di essere eseguito, è possibile applicare un blocco alla filigrana, causando il blocco del job della pipeline. Per ulteriori informazioni, visita la pagina relativa al Issue Tracker di Apache.
2,23 Deprecato orgaa.

Funzionalità ritirata il 29 luglio 2021.
2,22,0 Deprecato orgaa.

Funzionalità ritirata l'8 giugno 2021.
2,21 Deprecato org.apache.width:

Funzionalità ritirata il 27 maggio 2021.
2,20,0 Deprecato a.

Funzionalità ritirata il 15 aprile 2021.
2,19 Deprecato org.apache.width:

Funzionalità ritirata il 4 febbraio 2021.
2,18 Deprecato a.

Funzionalità ritirata il 23 gennaio 2021.
2,17 Deprecato a.

Funzionalità ritirata il 6 gennaio 2021.
2,16,0 Deprecato a.

Funzionalità ritirata il 7 ottobre 2020.
2,15 Deprecato a.

Funzionalità ritirata il 23 agosto 2020.

Problemi noti:
  • Gli utenti di Dataflow che utilizzano funzionalità di schema (incluse le trasformazioni SQL) non devono eseguire l'upgrade alla versione 2.15.0 a causa di un problema noto. Per ulteriori informazioni, visita la pagina relativa al Issue Tracker di Apache Beam.
2,14 Deprecato org.apache.width:

Funzionalità ritirata il 1° agosto 2020.
2,13 Deprecato org.apache.width:

Funzionalità ritirata il 6 giugno 2020.

In questa release è stato aggiunto il supporto sperimentale per JDK 9 o versioni successive. Per ulteriori informazioni, visita il tracker dei problemi di Apache Beam.
2,12 Deprecato a.

Funzionalità ritirata il 25 aprile 2020.

Problemi noti:
  • Il runner di Dataflow ha una configurazione di logging errata, che potrebbe causare la mancanza di tutti i log. Per risolvere il problema, aggiungi slf4j-jdk14 alle dipendenze di runtime.
2,11,0 Deprecato org.apache.width:

Funzionalità ritirata dal 1° marzo 2020.

Problemi noti:
  • Il runner di Dataflow ha una configurazione di logging errata, che potrebbe causare la mancanza di tutti i log. Per risolvere il problema, aggiungi slf4j-jdk14 alle dipendenze di runtime.
2,10 Deprecato a.

Funzionalità ritirata l'11 febbraio 2020.

Problemi noti:
  • L'SDK 2.10.0 dipende dalla libreria client di gcsio 1.9.13, che presenta problemi noti:

    Per ovviare a questi problemi, esegui l'upgrade all'SDK 2.11.0 o sostituisci la versione della libreria client gcsio alla 1.9.16 o successiva.

  • Il runner di Dataflow ha una configurazione di logging errata, che potrebbe causare la mancanza di tutti i log. Per risolvere il problema, aggiungi slf4j-jdk14 alle dipendenze di runtime.
2,9 Deprecato a.

Funzionalità ritirata al 13 dicembre 2019.

Problemi noti:
  • Gli utenti che attivano l'esperimento Streaming Engine (beta) non devono eseguire l'upgrade all'SDK 2.9.0 a causa di un problema noto. Se scegli di utilizzare l'SDK 2.9.0, devi anche impostare il flag sperimentale enable_conscrypt_security_provider per attivare Conscrypt, che presenta problemi di stabilità noti.
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,8 Deprecato a.

Funzionalità ritirata dal 25 ottobre 2019.

Problemi noti:
  • Le pipeline potrebbero rimanere bloccate a causa di un problema con la libreria Conscrypt. Se visualizzi errori in Stackdriver Logging con analisi dello stack che includono chiamate correlate a Conscrypt, questo problema potrebbe riguardarti. Per risolvere il problema, esegui l'upgrade all'SDK 2.9.0 o versioni successive.
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,7 Deprecato a.

Funzionalità ritirata dal 3 ottobre 2019.

Problemi noti:
  • Le pipeline potrebbero rimanere bloccate a causa di un problema con la libreria Conscrypt. Se visualizzi errori in Stackdriver Logging con analisi dello stack che includono chiamate correlate a Conscrypt, questo problema potrebbe riguardarti. Per risolvere il problema, esegui l'upgrade all'SDK 2.9.0 o versioni successive.
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,6 Deprecato a.

Funzionalità ritirata l'8 agosto 2019.

Problemi noti:
  • Le pipeline potrebbero rimanere bloccate a causa di un problema con la libreria Conscrypt. Se visualizzi errori in Stackdriver Logging con analisi dello stack che includono chiamate correlate a Conscrypt, questo problema potrebbe riguardarti. Per risolvere il problema, esegui l'upgrade all'SDK 2.9.0 o versioni successive.
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,5 Deprecato a.

Funzionalità ritirata dal 6 giugno 2019.

Problemi noti:
  • Le pipeline potrebbero rimanere bloccate a causa di un problema con la libreria Conscrypt. Se visualizzi errori in Stackdriver Logging con analisi dello stack che includono chiamate correlate a Conscrypt, questo problema potrebbe riguardarti. Per risolvere il problema, esegui l'upgrade all'SDK 2.9.0 o versioni successive.
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,4 Deprecato org.apache.beam:sdk-beama.it

Funzionalità ritirata al 20 marzo 2019.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,3 Deprecato org.apache.beam:sdk-beamait

Funzionalità ritirata al 30 gennaio 2019.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,2 Deprecato org.apache.beam:sdk-beamait

Funzionalità ritirata dal 2 dicembre 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,1 Deprecato org.apache.beam:sdk-beamait

Funzionalità ritirata al 23 agosto 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,0 Deprecato org.apache.beam:sdk-beama.it

Funzionalità ritirata dal 17 maggio 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Beam 2.9.0 e precedenti potrebbero riscontrare duplicati dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.

Python

Versione SDK Stato Componenti supportati Dettagli
2,40,0 Supportato Libreria SDK Python Core in module apache_beam: programmatori sottomoduli, dataframe, Metrics, ml.inference (escluso PytorchmodelHandlerKeyedTensor e SklearnModelHandlerPandas), opzioni, portabilità, runners.yaml, file runner esecuzione:

Questa versione verrà ritirata il 27 giugno 2023.
2,39 Supportato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. prevedere, runners.direct, trasformazioni, typehints, sql
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio

Questa versione verrà ritirata il 25 maggio 2023.
2,38,0 Supportato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. prevedere, runners.direct, trasformazioni, typehints, sql
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio

Questa versione verrà ritirata il 20 aprile 2023.
2,37 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Se la pipeline legge da Datastore, NON utilizzare 2.34.0 – 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. prevedere, runners.direct, trasformazioni, typehints, sql
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio

Questa versione verrà ritirata il 4 marzo 2023.
2,36 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Se la pipeline legge da Datastore, NON utilizzare 2.34.0 – 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Core Python sotto il modulo apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners.yaml,

Questa versione verrà ritirata il 7 febbraio 2023.
2,35 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Se la pipeline legge da Datastore, NON utilizzare 2.34.0 – 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. prevedere, runners.direct, trasformazioni, typehints, sql
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio

Questa versione verrà ritirata il 29 dicembre 2022.
2,34,0 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Se la pipeline legge da Datastore, NON utilizzare 2.34.0 – 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, trasformazioni, typehints, sql
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecord system
, file s

Questa versione verrà ritirata l'11 novembre 2022.
2,33,0 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcssubsystem

Questa versione verrà ritirata il 7 ottobre 2022.
2,32,0 Supportato

Se la pipeline legge da Cloud Storage, NON utilizzare 2.32.0 - 2.37.0. Esegui subito l'upgrade a 2.38.0 o versioni successive.

Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcssubsystem

Questa versione verrà ritirata il 25 agosto 2022.
2,31 Deprecato Libreria SDK Python principale in modulo apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecord system
gcssystem_system

Funzionalità ritirata l'8 luglio 2022.
2,30 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfserver, modulo gcs

Funzionalità ritirata il 10 giugno 2022.
2,29 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfserver, modulo gcs

Funzionalità ritirata il 29 aprile 2022.
2,28,0 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfserver, modulo gcs

Funzionalità ritirata il 22 febbraio 2022.
2,27,0 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfserver, modulo gcs

Funzionalità ritirata il 7 gennaio 2022.
2,26,0 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, dataframe (anteprima), metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfserver, modulo gcs

Funzionalità ritirata l'11 dicembre 2021.
2,25 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, s/s,

Funzionalità ritirata il 23 ottobre 2021.
2,24 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, _cloudsystem,

Funzionalità ritirata il 18 settembre 2021. Inoltre, questa è l'ultima versione dell'SDK Apache Beam a supportare Python 2 e Python 3.5.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,23 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, _cloudsystem,

Funzionalità ritirata il 29 luglio 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,22,0 Deprecato Libreria SDK Python principale in module apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem, s/s,

Funzionalità ritirata l'8 giugno 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,21 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 27 maggio 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,20,0 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 15 aprile 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,19 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 4 febbraio 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,18 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 23 gennaio 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,17 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 6 gennaio 2021.

Dataflow non supporta più le pipeline utilizzando Python 2. Scopri di più nella pagina relativa all'assistenza di Python 2 su Google Cloud.
2,16,0 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli 		Funzionalità ritirata il 7 ottobre 2020.
2,15 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli 		Funzionalità ritirata il 23 agosto 2020.
2,14 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli

Funzionalità ritirata il 1° agosto 2020.

Problemi noti:
  • L'origine MongoDB aggiunta in questa release ha un problema noto che può comportare la perdita di dati. Per maggiori dettagli, consulta BEAM-7866.
2,13 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli 		Funzionalità ritirata dal 6 giugno 2020.
2,12 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli 		Funzionalità ritirata al 25 aprile 2020.
2,11,0 Deprecato Libreria SDK Python principale in apache_beam: programmatori sottomoduli, metriche, opzioni, portabilità, runners. Dataflow, runners.direct, transforms, typehints
Origini e sink basati su file e moduli correlati nel modulo apache_beam.io: textio, avroio, parquetio, tfrecordio, gcsfilesystem
, Google Moduli 		Funzionalità ritirata dal 1° marzo 2020.
2,10 Deprecato Funzionalità ritirata l'11 febbraio 2020.
2,9 Deprecato Funzionalità ritirata al 13 dicembre 2019.
2,8 Deprecato Funzionalità ritirata dal 25 ottobre 2019.
2,7 Deprecato

Funzionalità ritirata dal 3 ottobre 2019.
2,6 Deprecato Funzionalità ritirata l'8 agosto 2019.
2,5 Deprecato Funzionalità ritirata dal 6 giugno 2019.
2,4 Deprecato Funzionalità ritirata al 20 marzo 2019.
2,3 Deprecato Funzionalità ritirata al 30 gennaio 2019.
2,2 Deprecato Funzionalità ritirata dal 2 dicembre 2018.
2.1.1
2.1.0		 Deprecato Funzionalità ritirata al 23 agosto 2018.
2,0 Deprecato Funzionalità ritirata dal 17 maggio 2018.

Vai

Versione SDK Stato Componenti supportati Dettagli
2,40,0 Supportato Pacchetti nelle seguenti directory:
- Pacchetto SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Questa versione verrà ritirata il 27 giugno 2023.
2,39 Supportato Pacchetti nelle seguenti directory:
- Pacchetto SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Questa versione verrà ritirata il 25 maggio 2023.
2,38,0 Supportato Pacchetti nelle seguenti directory:
- Pacchetto SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Questa versione verrà ritirata il 20 aprile 2023.
2,37 Supportato Pacchetti nelle seguenti directory:
- Pacchetto SDK Core Beam Go
- beam/transforms
- beam/io/textio
- beam/io/xlang
 Questa versione verrà ritirata il 4 marzo 2023.

SDK Dataflow 2.x

Nota: le versioni dell'SDK per lo sviluppo (contrassegnate come -SNAPSHOT per Java e .dev per Python) non sono supportate.

Le seguenti tabelle contengono lo stato di supporto per gli SDK Dataflow 2.x:

Java

Per informazioni sulle modifiche, consulta le note di rilascio di SDK Dataflow 2.x per Java.

Versione SDK Stato Dettagli
2,5 Deprecato

Funzionalità ritirata dal 6 giugno 2019.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,4 Deprecato

Funzionalità ritirata al 20 marzo 2019.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,3 Deprecato

Funzionalità ritirata al 30 gennaio 2019.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,2 Deprecato

Funzionalità ritirata dal 2 dicembre 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,1 Deprecato

Funzionalità ritirata al 23 agosto 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2,0 Deprecato

Funzionalità ritirata dal 17 maggio 2018.

Questa versione sarà disattivata entro il 12 agosto 2020 a causa dell'interruzione del supporto per JSON-RPC e degli endpoint batch globali.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
 Ritirato

Disattivato il 28 febbraio 2018.

Problema noto:
  • In un caso specifico, gli utenti degli SDK Java Dataflow 2.5.0 e versioni precedenti potrebbero riscontrare la duplicazione dei dati durante la lettura dei file da Cloud Storage. Potrebbe verificarsi una duplicazione quando si verificano tutte le seguenti condizioni:
    • Stai leggendo file con la codifica dei contenuti impostata su gzip e i file vengono transcodificati in modo dinamico da Cloud Storage.
    • La dimensione del file (decompresso) è superiore a 2,14 GB.
    • Il flusso di input genera un errore (e viene ricreato) dopo la lettura di 2,14 GB.
    Come soluzione alternativa, non impostare l'intestazione per la codifica dei contenuti e archivia i file compressi in Cloud Storage con l'estensione appropriata (ad esempio, gz per gzip). Per i file esistenti, puoi aggiornare l'intestazione con la codifica dei contenuti e il nome del file con lo strumento gsutil.

Python

Per informazioni sulle modifiche, consulta le note di rilascio di Dataflow 2.x per Python.

Versione SDK Stato Dettagli
2,5 Deprecato Funzionalità ritirata dal 6 giugno 2019.
2,4 Deprecato Funzionalità ritirata al 20 marzo 2019.
2,3 Deprecato Funzionalità ritirata al 30 gennaio 2019.
2,2 Deprecato Funzionalità ritirata dal 2 dicembre 2018.
2,1 Deprecato Funzionalità ritirata al 23 agosto 2018.
Risolvere un problema di compatibilità con il pacchetto six Python.
Consulta le note di rilascio per ulteriori informazioni.
2,1 Deprecato Funzionalità ritirata al 23 agosto 2018.
Questa release presenta un problema di compatibilità con il pacchetto Python six 1.11.0.
Consulta le Note di rilascio per ulteriori informazioni.
2,0 Deprecato Funzionalità ritirata dal 17 maggio 2018.
Questa release presenta un problema di compatibilità con il pacchetto Python six 1.11.0.
Consulta le Note di rilascio per ulteriori informazioni.
0,6
0,5,5
0,5
1
0,4
0,4
 Ritirato Disattivato il 29 gennaio 2018.
0.2.7 e versioni precedenti Ritirato Disattivato il 23 marzo 2017.