Unterstützte Dataproc Serverless für Spark-Laufzeitversionen
| Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Hinweise |
|---|---|---|---|---|---|
| Spark-Laufzeit 2.2 LTS | 11.10.2024 | 2024/03/27 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit Dies ist die Standardversion. |
| Spark-Laufzeit 1.2 LTS | 11.10.2024 | 27.03.2024 | 30.09.2026 | 30.09.2028 | Release mit allgemeiner Verfügbarkeit. |
| Spark-Laufzeit 1.1 LTS | 11.10.2024 | 27.01.2023 | 2025-07-31 | 31.07.2027 | Release mit allgemeiner Verfügbarkeit. |
So wählen Sie eine Dataproc Serverless for Spark-Laufzeitversion aus
Die aktuelle Laufzeitversion von Dataproc Serverless ist unter Unterstützte Dataproc Serverless für Spark-Laufzeitversionen Sie können die Google Cloud Console, die gcloud CLI und die Dataproc API verwenden, um beim Einreichen einer Batch-Arbeitslast eine andere Laufzeitversion auszuwählen.
Console
- Öffnen Sie in der Google Cloud Console die Dataproc-Seite Batch erstellen.
- Wählen Sie unter Container im Abschnitt Laufzeitversion eine der aufgeführten Dataproc Serverless-Laufzeitversionen aus.
gcloud
Verwenden Sie das Flag dataproc batches submit --version, um eine
Laufzeitversion von Dataproc Serverless.
Beispiel:
gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \ --region=REGION \ --version=VERSION \ other args ...
Ersetzen Sie Folgendes:
SPARK_WORKLOAD_TYPE: Ein Spark-Arbeitslasttyp, z. B.
spark.REGION: Eine verfügbare Compute Engine-Region, Beispiel:
us-central1.VERSION: Optional. Eine Dataproc Serverless-Laufzeitversion, z. B.
1.2.
API
Verwenden Sie den Parameter RuntimeConfig.version.
als Teil einer batches.create
API-Aufruf zum Angeben einer serverlosen Dataproc-Laufzeitversion.
Nicht unterstütztes Dataproc Serverless für Spark-Laufzeitversionen
Die folgenden Dataproc Serverless-Versionen werden nicht unterstützt.
| Version | Umfasst | Veröffentlicht am | Zuletzt aktualisiert | Verfügbar bis | Hinweise |
|---|---|---|---|---|---|
| Spark-Laufzeit 2.1 | Apache Spark 3.4.0 Cloud Storage-Connector 2.2.20 BigQuery-Connector 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19.01.2022 | 30.05.2024 | 30.04.2026 | Seit dem 30. Mai 2024 nicht mehr unterstützt. 2.1.50 war die letzte veröffentlichte Version. |
| Spark-Laufzeit 2.0 | Apache Spark 3.3.4 Cloud Storage-Connector 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13 |
21.10.2022 | 22.08.2024 | 2026-08-31 | Seit dem 22. August 2024 nicht mehr unterstützt. 2.0.84 war die letzte veröffentlichte Version. |
| Spark-Laufzeit 1.0 | Apache Spark 3.2.3 Cloud Storage-Connector 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19.01.2022 | 03.02.2023 | 31.01.2025 | Seit 03.02.2023 nicht mehr unterstützt. 1.0.29 war die letzte veröffentlichte Version. |