Versions d'exécution compatibles de Dataproc sans serveur pour Spark
Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
Environnement d'exécution Spark 2.2 LTS | 05/06/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Disponibilité générale. |
Environnement d'exécution Spark 2.0 | 05/06/2024 | 21/10/2022 | 30/06/2024 | 30/06/2026 | Disponibilité générale. Il s'agit de la version par défaut. |
Environnement d'exécution Spark 1.2 LTS | 05/06/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Disponibilité générale. |
Environnement d'exécution Spark 1.1 LTS | 05/06/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Disponibilité générale. |
Choisir une version d'exécution de Dataproc sans serveur pour Spark
La version d'exécution par défaut actuelle de Dataproc sans serveur est répertoriée dans la section Versions d'exécution de Dataproc sans serveur compatibles pour Spark. Vous pouvez utiliser la console Google Cloud, gcloud CLI et l'API Dataproc pour choisir une version d'exécution différente lorsque vous envoyez une charge de travail par lot.
Console
- Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
- Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des versions d'exécution sans serveur de Dataproc Dataproc.
gcloud
Utilisez l'option dataproc batches submit --version
pour spécifier une version d'exécution sans serveur Dataproc.
Exemple :
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Utilisez le champ RuntimeConfig.version dans un appel d'API batches.create
pour spécifier une version d'exécution sans serveur Dataproc.
Versions d'exécution de Spark sans serveur non compatibles avec Dataproc
Les versions suivantes de Dataproc sans serveur ne sont pas compatibles.
Version | Inclut | Date de sortie | Dernière mise à jour | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
Environnement d'exécution Spark 2.1 | Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19/01/2022 | 30/05/2024 | 30/04/2026 | Non compatible à compter du 30/05/2024. La version 2.1.50 était la version finale. |
Environnement d'exécution Spark 1.0 | Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/01/2022 | 03/02/2023 | 31/01/2025 | Non compatible à compter du 03/02/2023. La version 1.0.29 était la version finale. |