Unterstützte Dataproc Serverless für Spark-Laufzeitversionen
| Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Hinweise |
|---|---|---|---|---|---|
| Spark-Laufzeit 2.2 LTS | 17.07.2024 | 27.03.2024 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit |
| Spark-Laufzeit 2.0 | 17.07.2024 | 21.10.2022 | 30.06.2024 | 30.06.2026 | Release mit allgemeiner Verfügbarkeit Dies ist die Standardversion. |
| Spark-Laufzeit 1.2 LTS | 17.07.2024 | 27.03.2024 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit |
| Spark-Laufzeit 1.1 LTS | 17.07.2024 | 27.01.2023 | 31.07.2025 | 31.07.2027 | Release mit allgemeiner Verfügbarkeit |
So wählen Sie eine Dataproc Serverless for Spark-Laufzeitversion aus
Die aktuelle Laufzeitversion von Dataproc Serverless ist unter Unterstützte Dataproc Serverless für Spark-Laufzeitversionen Sie können die Google Cloud Console, die gcloud CLI und Dataproc Die API kann beim Senden einer Batcharbeitslast eine andere Laufzeitversion auswählen.
Console
- Öffnen Sie in der Google Cloud Console die Dataproc-Seite Batch erstellen.
- Wählen Sie unter Container im Abschnitt Laufzeitversion eine der aufgelistet.
gcloud
Verwenden Sie das Flag dataproc batches submit --version, um eine
Laufzeitversion von Dataproc Serverless.
Beispiel:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Verwenden Sie den Parameter RuntimeConfig.version.
als Teil einer batches.create
API-Aufruf zum Angeben einer serverlosen Dataproc-Laufzeitversion.
Nicht unterstütztes Dataproc Serverless für Spark-Laufzeitversionen
Die folgenden serverlosen Dataproc-Versionen werden nicht unterstützt.
| Version | Umfasst | Veröffentlicht am | Zuletzt aktualisiert | Verfügbar bis | Hinweise |
|---|---|---|---|---|---|
| Spark-Laufzeit 2.1 | Apache Spark 3.4.0 Cloud Storage-Connector 2.2.20 BigQuery-Connector 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19.01.2022 | 30.05.2024 | 30.04.2026 | Seit 30.05.2024 nicht mehr unterstützt. 2.1.50 war die letzte veröffentlichte Version. |
| Spark-Laufzeit 1.0 | Apache Spark 3.2.3 Cloud Storage-Connector 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19.01.2022 | 03.02.2023 | 31.01.2025 | Seit 03.02.2023 nicht mehr unterstützt. 1.0.29 war die letzte veröffentlichte Version. |