Versions d'exécution de Dataproc sans serveur compatibles avec Spark
Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
Spark Runtime 2.2 LTS | 17/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Version en disponibilité générale. |
Spark Runtime 2.0 | 17/07/2024 | 21/10/2022 | 30/06/2024 | 30/06/2026 | Version en disponibilité générale. Il s'agit de la version par défaut. |
Spark Runtime 1.2 LTS | 17/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Version en disponibilité générale. |
Spark Runtime 1.1 LTS | 17/07/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Version en disponibilité générale. |
Choisir une version d'exécution de Dataproc sans serveur pour Spark
La version de l'environnement d'exécution sans serveur Dataproc par défaut actuelle est indiquée dans Versions d'exécution de Dataproc sans serveur pour Spark compatibles Vous pouvez utiliser la console Google Cloud, gcloud CLI et l'API Dataproc pour choisir une version d'exécution différente lorsque vous envoyez une charge de travail par lot.
Console
- Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
- Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des listé les versions de l'environnement d'exécution Dataproc sans serveur.
gcloud
Utilisez l'option dataproc batches submit --version
pour spécifier
Version d'exécution de Dataproc sans serveur.
Exemple :
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Utilisez RuntimeConfig.version
dans le cadre d'un élément batches.create
.
Appel d'API pour spécifier une version d'exécution de Dataproc sans serveur.
Versions d'exécution de Dataproc sans serveur pour Spark non compatibles
Les versions suivantes de Dataproc sans serveur ne sont pas compatibles.
Version | Inclut | Date de sortie | Dernière mise à jour | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
Environnement d'exécution Spark 2.1 | Apache Spark 3.4.0 Connecteur Cloud Storage 2.2.20 Connecteur BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19/01/2022 | 30/05/2024 | 30/04/2026 | Non compatible depuis le 30/05/2024. La version 2.1.50 était la version finale. |
Environnement d'exécution Spark 1.0 | Apache Spark 3.2.3 Connecteur Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/01/2022 | 03/02/2023 | 31/01/2025 | Non compatible depuis le 03/02/2023. 1.0.29 était la version finale. |