Dataproc Serverless per versioni di runtime Spark

Versioni di runtime Dataproc serverless per Spark supportate

Versione Ultimo aggiornamento Data di rilascio Supportata fino a Disponibile fino al giorno Note
Runtime Spark 2.2 LTS 13/06/2024 27/03/2024 30/09/2026 30/09/2028 Release per la disponibilità generale.
Runtime Spark 2.0 13/06/2024 21/10/2022 30/06/2024 30/06/2026 Release per la disponibilità generale. Questa è la versione predefinita.
Runtime Spark 1,2 LTS 13/06/2024 27/03/2024 30/09/2026 30/09/2028 Release per la disponibilità generale.
Runtime Spark 1.1 LTS 13/06/2024 27/01/2023 31/07/2025 31/07/2027 Release per la disponibilità generale.

Come scegliere una versione del runtime di Dataproc serverless per Spark

L'attuale versione predefinita del runtime di Dataproc Serverless è elencata in Versioni di runtime Dataproc Serverless per Spark supportate. Puoi utilizzare la console Google Cloud, gcloud CLI e l'API Dataproc per scegliere una versione di runtime diversa quando invii un carico di lavoro batch.

Console

  1. Apri la pagina Crea batch di Dataproc nella console Google Cloud.
  2. In Container, nella sezione Versione runtime, seleziona una delle versioni di runtime Dataproc serverless elencate.

gcloud

Utilizza il flag dataproc batches submit --version per specificare una versione del runtime Dataproc Serverless.

Esempio:

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

Utilizza il campo RuntimeConfig.version come parte di una chiamata API batches.create per specificare una versione di runtime serverless di Dataproc.

Versioni di runtime Dataproc serverless per Spark non supportate

Le seguenti versioni serverless di Dataproc non sono supportate.

Versione Include Data di rilascio Ultimo aggiornamento Disponibile fino al giorno Note
Runtime Spark 2.1 Apache Spark 3.4.0
Connettore Cloud Storage 2.2.20
Connettore BigQuery 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13
19/01/2022 30/05/2024 30/04/2026 Non supportata a partire dal 30/05/2024. 2.1.50 è stata la versione finale rilasciata.
Runtime Spark 1.0 Apache Spark 3.2.3
Connettore Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19/01/2022 03/02/2023 31/01/2025 Non supportata a partire dal 03/02/2023. 1.0.29 è stata la versione finale rilasciata.