Serverlose Dataproc-Laufzeitversionen

Unterstützte serverlose Dataproc-Versionen

Version Zuletzt aktualisiert Veröffentlicht am Unterstützt bis Verfügbar bis Notes
Spark-Laufzeit 2.2 LTS 01.05.2024 27.03.2024 30.09.2026 30.09.2028 Release mit allgemeiner Verfügbarkeit.
Spark-Laufzeit 2.1 01.05.2024 05.05.2023 31.05.2024 31.05.2026 Release mit allgemeiner Verfügbarkeit.
Spark-Laufzeit 2.0 01.05.2024 21.10.2022 30.06.2024 30.06.2026 Release mit allgemeiner Verfügbarkeit. Dies ist die Standardversion.
Spark-Laufzeit 1.2 LTS 01.05.2024 27.03.2024 30.09.2026 30.09.2028 Release mit allgemeiner Verfügbarkeit.
Spark-Laufzeit 1.1 LTS 01.05.2024 27.01.2023 31.07.2025 31.07.2027 Release mit allgemeiner Verfügbarkeit.

So wählen Sie eine serverlose Dataproc-Laufzeitversion aus

Die aktuelle Laufzeitversion von Dataproc Serverless ist unter Unterstützte Dataproc Serverless-Versionen aufgeführt. Sie können die Google Cloud Console, die gcloud CLI und die Dataproc API verwenden, um beim Senden einer Batcharbeitslast eine andere Laufzeitversion auszuwählen.

Console

  1. Öffnen Sie in der Google Cloud Console die Dataproc-Seite Batch erstellen.
  2. Wählen Sie im Abschnitt Laufzeitversion unter Container eine der aufgelisteten Dataproc Serverless-Laufzeitversionen aus.

gcloud

Verwenden Sie das Flag dataproc batches submit --version, um eine Dataproc Serverless-Laufzeitversion anzugeben.

Beispiel:

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

Verwenden Sie das Feld RuntimeConfig.version im Rahmen eines batches.create-API-Aufrufs, um eine Dataproc Serverless-Laufzeitversion anzugeben.

Nicht unterstützte serverlose Dataproc-Versionen

Die folgenden serverlosen Dataproc-Versionen werden nicht unterstützt.

Version Umfasst Veröffentlicht am Zuletzt aktualisiert Verfügbar bis Notes
Spark-Laufzeit 1.0 Apache Spark 3.2.3
Cloud Storage-Connector 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19.01.2022 03.02.2023 31.01.2025 Seit 03.02.2023 nicht mehr unterstützt. 1.0.29 war die endgültige veröffentlichte Version.