Versions d'exécution de Dataproc sans serveur pour Spark

• Les versions d'exécution LTS (Long-Time-Support) de Dataproc sans serveur sont compatibles pendant 30 mois. Les versions d'exécution de Dataproc sans serveur non-LTS sont compatibles pendant 12 mois.
• Les versions d'exécution de Dataproc sans serveur restent disponibles pendant deux ans après leur date de fin de compatibilité.

Versions d'exécution de Dataproc sans serveur compatibles avec Spark

Version	Dernière mise à jour	Date de sortie	Compatible jusqu'à	Disponible jusqu'au	Remarques
Spark Runtime 2.2 LTS	05/07/2024	27/03/2024	30/09/2026	30/09/2028	Version en disponibilité générale.
Spark Runtime 2.0	05/07/2024	21/10/2022	30/06/2024	30/06/2026	Version en disponibilité générale. Il s'agit de la version par défaut.
Spark Runtime 1.2 LTS	05/07/2024	27/03/2024	30/09/2026	30/09/2028	Version en disponibilité générale.
Spark Runtime 1.1 LTS	05/07/2024	27/01/2023	31/07/2025	31/07/2027	Version en disponibilité générale.

Choisir une version d'exécution de Dataproc sans serveur pour Spark

La version d'exécution par défaut actuelle de Dataproc sans serveur est répertoriée dans Versions d'exécution de Dataproc sans serveur compatibles avec Spark. Vous pouvez utiliser la console Google Cloud, gcloud CLI et l'API Dataproc pour choisir une version d'exécution différente lorsque vous envoyez une charge de travail par lot.

Console

1. Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
2. Sous Conteneur, dans la section Version de l'environnement d'exécution, sélectionnez l'une des versions d'exécution de Dataproc sans serveur listées.

gcloud

Utilisez l'option dataproc batches submit --version pour spécifier une version d'exécution de Dataproc sans serveur.

Exemple :

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

Utilisez le champ RuntimeConfig.version dans le cadre d'un appel d'API batches.create pour spécifier une version d'exécution de Dataproc sans serveur.

Versions d'exécution de Dataproc sans serveur pour Spark non compatibles

Les versions suivantes de Dataproc sans serveur ne sont pas compatibles.

Version	Inclut	Date de sortie	Dernière mise à jour	Disponible jusqu'au	Remarques
Environnement d'exécution Spark 2.1	Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	19/01/2022	30/05/2024	30/04/2026	Non compatible depuis le 30/05/2024. La version 2.1.50 était la version finale.
Environnement d'exécution Spark 1.0	Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	19/01/2022	03/02/2023	31/01/2025	Non compatible depuis le 03/02/2023. 1.0.29 était la version finale.