Versions d'exécution de Dataproc sans serveur

Versions compatibles de Dataproc sans serveur

Version Dernière mise à jour Date de sortie Compatible jusqu'à Disponible jusqu'au Notes
Environnement d'exécution Spark 2.2 LTS 04/04/2024 27/03/2024 30/09/2026 30/09/2028 Disponibilité générale.
Environnement d'exécution Spark 2.1 04/04/2024 05/05/2023 31/05/2024 31/05/2026 Disponibilité générale.
Environnement d'exécution Spark 2.0 04/04/2024 21/10/2022 31/03/2024 31/03/2026 Disponibilité générale. Il s'agit de la version par défaut.
Environnement d'exécution Spark 1.2 LTS 04/04/2024 27/03/2024 30/09/2026 30/09/2028 Disponibilité générale.
Environnement d'exécution Spark 1.1 LTS 04/04/2024 27/01/2023 31/07/2025 31/07/2027 Disponibilité générale.

Choisir une version d'exécution sans serveur Dataproc

La version d'exécution par défaut actuelle de Dataproc sans serveur est répertoriée dans la section Versions de l'environnement d'exécution Dataproc sans serveur compatibles. Vous pouvez utiliser la console Google Cloud, gcloud CLI et l'API Dataproc pour choisir une version d'exécution différente lorsque vous envoyez une charge de travail par lot.

Console

  1. Ouvrez la page Dataproc Créer un lot dans la console Google Cloud.
  2. Sous Conteneur, dans la section Version d'exécution, sélectionnez l'une des versions d'exécution sans serveur de Dataproc Dataproc.

gcloud

Utilisez l'option dataproc batches submit --version pour spécifier une version d'exécution sans serveur Dataproc.

Exemple :

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...<>

API

Utilisez le champ RuntimeConfig.version dans un appel d'API batches.create pour spécifier une version d'exécution sans serveur Dataproc.

Versions non compatibles de Dataproc sans serveur

Les versions suivantes de Dataproc sans serveur ne sont pas compatibles.

Version Inclut Date de sortie Dernière mise à jour Disponible jusqu'au Notes
Environnement d'exécution Spark 1.0 Apache Spark 3.2.3
Connecteur Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19/01/2022 03/02/2023 31/01/2025 Non compatible à compter du 03/02/2023. La version 1.0.29 était la version finale.