Versioni di runtime Dataproc serverless per Spark supportate
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
Runtime Spark 2.2 LTS | 19/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Release per la disponibilità generale. |
Runtime Spark 2.0 | 19/07/2024 | 21/10/2022 | 30/06/2024 | 30/06/2026 | Release per la disponibilità generale. Questa è la versione predefinita. |
Runtime Spark 1,2 LTS | 19/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Release per la disponibilità generale. |
Runtime Spark 1.1 LTS | 19/07/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Release per la disponibilità generale. |
Come scegliere una versione del runtime di Dataproc serverless per Spark
L'attuale versione predefinita del runtime di Dataproc Serverless è elencata in Versioni di runtime Dataproc serverless per Spark supportate. Puoi utilizzare la console Google Cloud, gcloud CLI e Dataproc per scegliere una versione del runtime diversa quando invii un carico di lavoro batch.
Console
- Apri la pagina Crea batch di Dataproc nella console Google Cloud.
- In Container, nella sezione Versione runtime, seleziona una delle sono elencate le versioni di runtime serverless di Dataproc.
gcloud
Utilizza il flag dataproc batches submit --version
per specificare un
Versione runtime serverless Dataproc.
Esempio:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Utilizza RuntimeConfig.version
nell'ambito di una batches.create
Chiamata API per specificare una versione di runtime Dataproc Serverless.
Versioni di runtime Dataproc serverless per Spark non supportate
Le seguenti versioni serverless di Dataproc non sono supportate.
Versione | Include | Data di rilascio | Ultimo aggiornamento | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
Runtime Spark 2.1 | Apache Spark 3.4.0 Connettore Cloud Storage 2.2.20 Connettore BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19/01/2022 | 30/05/2024 | 30/04/2026 | Non supportata a partire dal 30/05/2024. 2.1.50 è stata la versione finale rilasciata. |
Runtime Spark 1.0 | Apache Spark 3.2.3 Connettore Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/01/2022 | 03/02/2023 | 31/01/2025 | Non supportata a partire dal 03/02/2023. 1.0.29 è stata la versione finale rilasciata. |