Versions d'exécution de Dataproc sans serveur pour Spark

• Versions d'exécution de Dataproc sans serveur LTS (Long-Time-Support) sont disponibles pendant 30 mois. Les versions d'exécution non LTS de Dataproc sans serveur sont compatibles pendant 12 mois.
• Les versions d'exécution de Dataproc sans serveur restent disponibles pour deux ans après la date de fin de la période d'assistance.

Versions d'exécution Dataproc sans serveur pour Spark compatibles

Version	Dernière mise à jour	Date de sortie	Compatible jusqu'à	Disponible jusqu'au	Remarques
Spark Runtime 2.2 LTS	04/10/2024	27/03/2024	30/09/2026	30/09/2028	Disponibilité générale. Il s'agit de la version par défaut.
Spark Runtime 1.2 LTS	2024/10/04	27/03/2024	30/09/2026	30/09/2028	Disponibilité générale.
Spark Runtime 1.1 LTS	2024/10/04	27/01/2023	31/07/2025	31/07/2027	Version en disponibilité générale.

Choisir une version d'exécution Dataproc sans serveur pour Spark

La version de l'environnement d'exécution sans serveur Dataproc par défaut actuelle est indiquée dans Versions d'exécution de Dataproc sans serveur pour Spark compatibles Vous pouvez utiliser la console Google Cloud, la CLI gcloud et l'API Dataproc pour choisir une autre version d'exécution lorsque vous envoyez une charge de travail par lot.

Remarque :Dataproc sans serveur pour les versions d'exécution Spark 1.2 et 2.1+ ne sont pas compatibles avec le blocage des versions de correction.

Console

1. Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
2. Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des versions d'exécution Dataproc sans serveur listées.

gcloud

Utilisez l'option dataproc batches submit --version pour spécifier une version d'exécution Dataproc sans serveur.

Exemple :

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Remplacez les éléments suivants :

• SPARK_WORKLOAD_TYPE::A Type de charge de travail Spark (par exemple, spark).

• REGION: région Compute Engine disponible (par exemple, us-central1).

• VERSION : facultatif. Une version d'exécution de Dataproc sans serveur, pour Exemple : 1.2.

API

Utilisez RuntimeConfig.version dans le cadre d'un élément batches.create. Appel d'API pour spécifier une version d'exécution de Dataproc sans serveur.

Versions d'exécution de Dataproc sans serveur pour Spark non compatibles

Les versions Dataproc sans serveur suivantes ne sont pas compatibles.

Version	Inclut	Date de sortie	Dernière mise à jour	Disponible jusqu'au	Remarques
Environnement d'exécution Spark 2.1	Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	19/01/2022	30/05/2024	2026/04/30	Non compatible depuis le 30/05/2024. La version 2.1.50 est la dernière version publiée.
Environnement d'exécution Spark 2.0	Apache Spark 3.3.4 Connecteur Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	22/08/2024	31/08/2026	Non compatible depuis le 22/08/2024. La version 2.0.84 est la dernière version publiée.
Éditeur d'exécution Spark 1.0	Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	03/02/2023	31/01/2025	Non compatible depuis le 03/02/2023. La version finale était la 1.0.29.