Versioni del runtime di Dataproc Serverless per Spark

• Le versioni del runtime LTS (Long-Time-Support) di Dataproc Serverless sono supportate per 30 mesi. Le versioni del runtime non LTS di Dataproc Serverless sono supportate per 12 mesi.
• Le versioni del runtime Dataproc Serverless continuano a essere disponibili per due anni dopo la data di ritiro del supporto.

Versioni del runtime Dataproc Serverless per Spark supportate

Versione	Ultimo aggiornamento	Data di uscita	Supportato fino al giorno	Disponibile fino al giorno	Note
Spark runtime 2.2 LTS	31/10/2024	27/03/2024	30/09/2026	30/09/2028	Release in disponibilità generale. Questa è la versione predefinita.
Ambiente di runtime Spark 1.2 LTS	31/10/2024	27/03/2024	30/09/2026	30/09/2028	Release in disponibilità generale.
Ambiente di runtime Spark 1.1 LTS	31/10/2024	27/01/2023	31/07/2025	31/07/2027	Release in disponibilità generale.

Come scegliere una versione del runtime Dataproc Serverless per Spark

L'attuale versione del runtime Dataproc Serverless predefinita è elencata in Versioni del runtime Dataproc Serverless per Spark supportate. Puoi utilizzare la console Google Cloud, l'interfaccia a riga di comando gcloud CLI'API Dataproc per scegliere una versione del runtime diversa quando invii un carico di lavoro batch.

Nota: le versioni del runtime Dataproc Serverless per Spark 1.2 e 2.1+ non supportano il blocco delle versioni secondarie.

Console

1. Apri la pagina Crea batch di Dataproc nella console Google Cloud.
2. In Container, nella sezione Versione del runtime, seleziona una delle versioni del runtime Dataproc Serverless elencate.

gcloud

Utilizza il flag dataproc batches submit --version per specificare una versione del runtime Dataproc Serverless.

Esempio:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Sostituisci quanto segue:

• SPARK_WORKLOAD_TYPE: un tipo di workload Spark, ad esempio spark.

• REGION: un'area geografica Compute Engine disponibile, ad esempio us-central1.

• VERSIONE: facoltativo. Una versione del runtime Dataproc Serverless, ad esempio 1.2.

API

Utilizza il campo RuntimeConfig.version come parte di una chiamata API batches.create per specificare una versione del runtime Dataproc Serverless.

Versioni del runtime Dataproc Serverless per Spark non supportate

Le seguenti versioni di Dataproc Serverless non sono supportate.

Versione	Include	Data di uscita	Ultimo aggiornamento	Disponibile fino al giorno	Note
Runtime Spark 2.1	Apache Spark 3.4.0 Connettore Cloud Storage 2.2.20 Connettore BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	30/05/2024	30/04/2026	Non supportato dal 30/05/2024. 2.1.50 è stata la versione finale rilasciata.
Ambiente di runtime Spark 2.0	Apache Spark 3.3.4 Connettore Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	22/08/2024	31/08/2026	Non supportato a partire dal 22/08/2024. 2.0.84 è stata la versione finale rilasciata.
Runtime Spark 1.0	Apache Spark 3.2.3 Connettore Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	03/02/2023	31/01/2025	Non supportato dal 03/02/2023. 1.0.29 è stata la versione finale rilasciata.