Unterstützte serverlose Dataproc-Versionen
Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Notes |
---|---|---|---|---|---|
Spark-Laufzeit 2.2 LTS | 01.05.2024 | 27.03.2024 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit. |
Spark-Laufzeit 2.1 | 01.05.2024 | 05.05.2023 | 31.05.2024 | 31.05.2026 | Release mit allgemeiner Verfügbarkeit. |
Spark-Laufzeit 2.0 | 01.05.2024 | 21.10.2022 | 30.06.2024 | 30.06.2026 | Release mit allgemeiner Verfügbarkeit. Dies ist die Standardversion. |
Spark-Laufzeit 1.2 LTS | 01.05.2024 | 27.03.2024 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit. |
Spark-Laufzeit 1.1 LTS | 01.05.2024 | 27.01.2023 | 31.07.2025 | 31.07.2027 | Release mit allgemeiner Verfügbarkeit. |
So wählen Sie eine serverlose Dataproc-Laufzeitversion aus
Die aktuelle Laufzeitversion von Dataproc Serverless ist unter Unterstützte Dataproc Serverless-Versionen aufgeführt. Sie können die Google Cloud Console, die gcloud CLI und die Dataproc API verwenden, um beim Senden einer Batcharbeitslast eine andere Laufzeitversion auszuwählen.
Console
- Öffnen Sie in der Google Cloud Console die Dataproc-Seite Batch erstellen.
- Wählen Sie im Abschnitt Laufzeitversion unter Container eine der aufgelisteten Dataproc Serverless-Laufzeitversionen aus.
gcloud
Verwenden Sie das Flag dataproc batches submit --version
, um eine Dataproc Serverless-Laufzeitversion anzugeben.
Beispiel:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Verwenden Sie das Feld RuntimeConfig.version im Rahmen eines batches.create
-API-Aufrufs, um eine Dataproc Serverless-Laufzeitversion anzugeben.
Nicht unterstützte serverlose Dataproc-Versionen
Die folgenden serverlosen Dataproc-Versionen werden nicht unterstützt.
Version | Umfasst | Veröffentlicht am | Zuletzt aktualisiert | Verfügbar bis | Notes |
---|---|---|---|---|---|
Spark-Laufzeit 1.0 | Apache Spark 3.2.3 Cloud Storage-Connector 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19.01.2022 | 03.02.2023 | 31.01.2025 | Seit 03.02.2023 nicht mehr unterstützt. 1.0.29 war die endgültige veröffentlichte Version. |