Versions d'exécution Dataproc sans serveur pour Spark

• Les versions d'exécution LTS (Long-Time-Support) de Dataproc sans serveur sont compatibles pendant 30 mois. Les versions d'exécution non LTS de Dataproc sans serveur sont compatibles pendant 12 mois.
• Les versions d'exécution Dataproc sans serveur restent disponibles pendant deux ans après la date de fin de prise en charge.

Versions d'exécution Dataproc sans serveur pour Spark compatibles

Version	Dernière mise à jour	Date de sortie	Compatible jusqu'à	Disponible jusqu'au	Remarques
Spark Runtime 2.2 LTS	2024/10/31	2024/03/27	30/09/2026	30/09/2028	Disponibilité générale. Il s'agit de la version par défaut.
Spark Runtime 1.2 LTS	2024/10/31	2024/03/27	30/09/2026	30/09/2028	Disponibilité générale.
Environnement d'exécution Spark 1.1 LTS	2024/10/31	2023/01/27	31/07/2025	31/07/2027	Disponibilité générale.

Choisir une version d'exécution Dataproc sans serveur pour Spark

La version d'exécution Dataproc sans serveur par défaut actuelle est indiquée dans la section Versions d'exécution Dataproc sans serveur pour Spark compatibles. Vous pouvez utiliser la console Google Cloud, la gcloud CLI et l'API Dataproc pour choisir une autre version d'exécution lorsque vous envoyez une charge de travail par lot.

Remarque :Les versions d'exécution Dataproc sans serveur pour Spark 1.2 et 2.1+ ne sont pas compatibles avec l'épinglage de versions mineures.

Console

1. Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
2. Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des versions d'exécution Dataproc sans serveur listées.

gcloud

Utilisez l'option dataproc batches submit --version pour spécifier une version d'exécution Dataproc sans serveur.

Exemple :

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Remplacez les éléments suivants :

• SPARK_WORKLOAD_TYPE::type de charge de travail Spark, par exemple spark.

• REGION: région Compute Engine disponible, par exemple us-central1.

• VERSION: facultatif. Une version d'exécution Dataproc sans serveur, par exemple 1.2.

API

Utilisez le champ RuntimeConfig.version dans le cadre d'un appel d'API batches.create pour spécifier une version d'environnement d'exécution sans serveur Dataproc.

Versions d'exécution Dataproc sans serveur pour Spark non compatibles

Les versions Dataproc sans serveur suivantes ne sont pas compatibles.

Version	Inclut	Date de sortie	Dernière mise à jour	Disponible jusqu'au	Remarques
Environnement d'exécution Spark 2.1	Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	30/05/2024	2026/04/30	Non compatible depuis le 30/05/2024. La version 2.1.50 est la dernière version publiée.
Éditeur d'exécution Spark 2.0	Apache Spark 3.3.4 Connecteur Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	2022/10/21	22/08/2024	31/08/2026	Non compatible depuis le 22/08/2024. La version 2.0.84 est la dernière version publiée.
Éditeur d'exécution Spark 1.0	Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	03/02/2023	31/01/2025	Non compatible depuis le 03/02/2023. La version finale était la 1.0.29.