Laufzeitversionen von Dataproc Serverless für Spark

• LTS-Laufzeitversionen (Long-Time-Support) von Dataproc Serverless werden 30 Monate lang unterstützt. Nicht LTS-Laufzeitversionen von Dataproc Serverless werden zwölf Monate lang unterstützt.
• Dataproc Serverless-Laufzeitversionen sind noch zwei Jahre nach dem Enddatum der Supportphase verfügbar.

Unterstützte Dataproc Serverless für Spark-Laufzeitversionen

Version	Zuletzt aktualisiert	Veröffentlicht am	Unterstützt bis	Verfügbar bis	Hinweise
Spark-Laufzeit 2.2 LTS	31.10.2024	2024/03/27	2026-09-30	2028-09-30	GA-Version (General Availability). Dies ist die Standardversion.
Spark-Laufzeitversion 1.2 LTS	31.10.2024	2024/03/27	2026-09-30	2028-09-30	GA-Version (General Availability).
Spark-Laufzeitversion 1.1 LTS	31.10.2024	27.01.2023	2025-07-31	31.07.2027	GA-Version (General Availability).

Dataproc Serverless für Spark-Laufzeitversion auswählen

Die aktuelle Standard-Dataproc Serverless-Laufzeitversion finden Sie unter Unterstützte Dataproc Serverless for Spark-Laufzeitversionen. Sie können die Google Cloud Console, die gcloud CLI und die Dataproc API verwenden, um beim Einreichen einer Batch-Arbeitslast eine andere Laufzeitversion auszuwählen.

Hinweis: Die serverlose Dataproc-Version für Spark-Laufzeitversionen 1.2 und 2.1+ unterstützt keine Versionsfixierung auf untergeordnete Minor-Versionen.

Console

1. Öffnen Sie in der Google Cloud Console die Dataproc-Seite Batch erstellen.
2. Wählen Sie unter Container im Abschnitt Laufzeitversion eine der aufgeführten Dataproc Serverless-Laufzeitversionen aus.

gcloud

Verwenden Sie das Flag dataproc batches submit --version, um eine Dataproc Serverless-Laufzeitversion anzugeben.

Beispiel:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Ersetzen Sie Folgendes:

• SPARK_WORKLOAD_TYPE::Ein Spark-Arbeitslasttyp, z. B. spark.

• REGION: Eine verfügbare Compute Engine-Region, z. B. us-central1.

• VERSION: Optional. Eine Dataproc Serverless-Laufzeitversion, z. B. 1.2.

API

Verwenden Sie das Feld RuntimeConfig.version als Teil eines batches.create-API-Aufrufs, um eine Dataproc Serverless-Laufzeitversion anzugeben.

Nicht unterstützte Laufzeitversionen von Dataproc Serverless für Spark

Die folgenden Dataproc Serverless-Versionen werden nicht unterstützt.

Version	Umfasst	Veröffentlicht am	Zuletzt aktualisiert	Verfügbar bis	Hinweise
Spark-Laufzeit 2.1	Apache Spark 3.4.0 Cloud Storage-Connector 2.2.20 BigQuery-Connector 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	30.05.2024	2026-04-30	Seit dem 30. Mai 2024 nicht mehr unterstützt. 2.1.50 war die letzte veröffentlichte Version.
Spark Runtime 2.0	Apache Spark 3.3.4 Cloud Storage Connector 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21.10.2022	2024-08-22	2026-08-31	Seit dem 22. August 2024 nicht mehr unterstützt. 2.0.84 war die letzte veröffentlichte Version.
Spark-Laufzeit 1.0	Apache Spark 3.2.3 Cloud Storage Connector 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	2023-02-03	2025-01-31	Seit dem 3. Februar 2023 nicht mehr unterstützt. 1.0.29 war die letzte veröffentlichte Version.