Versi runtime Dataproc Serverless untuk Spark

• Versi runtime LTS (Dukungan Jangka Panjang) Dataproc Serverless didukung selama 30 bulan. Versi runtime non-LTS Dataproc Serverless didukung selama 12 bulan.
• Versi runtime Dataproc Serverless akan terus tersedia selama dua tahun setelah tanggal penghentian dukungannya.

Versi runtime Dataproc Serverless untuk Spark yang didukung

Versi	Terakhir Diperbarui	Dirilis Pada	Didukung Hingga	Tersedia Hingga	Catatan
Runtime Spark 2.2 LTS	31/10/2024	27/03/2024	2026/09/30	30/09/2028	Rilis Ketersediaan Umum. Ini adalah versi default.
Runtime Spark 1.2 LTS	31/10/2024	27/03/2024	2026/09/30	30/09/2028	Rilis Ketersediaan Umum.
Runtime Spark 1.1 LTS	31/10/2024	27/01/2023	31/07/2025	31/07/2027	Rilis Ketersediaan Umum.

Cara memilih versi runtime Dataproc Serverless for Spark

Versi runtime Dataproc Serverless default saat ini tercantum dalam Versi runtime Dataproc Serverless untuk Spark yang didukung. Anda dapat menggunakan konsol Google Cloud, gcloud CLI, dan Dataproc API untuk memilih versi runtime yang berbeda saat mengirimkan beban kerja batch.

Catatan: Dataproc Serverless for Spark versi runtime 1.2 dan 2.1+ tidak mendukung penyematan versi subminor.

Konsol

1. Buka halaman Create batch Dataproc di konsol Google Cloud.
2. Di bagian Container, di bagian Runtime version, pilih salah satu versi runtime Dataproc Serverless yang tercantum.

gcloud

Gunakan flag dataproc batches submit --version untuk menentukan versi runtime Dataproc Serverless.

Contoh:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Ganti kode berikut:

• SPARK_WORKLOAD_TYPE: Jenis beban kerja Spark, misalnya, spark.

• REGION: Region Compute Engine yang tersedia, misalnya, us-central1.

• VERSION: Opsional. Versi runtime Dataproc Serverless, misalnya, 1.2.

API

Gunakan kolom RuntimeConfig.version sebagai bagian dari panggilan API batches.create untuk menentukan versi runtime Dataproc Serverless.

Versi runtime Dataproc Serverless untuk Spark yang tidak didukung

Versi Dataproc Serverless berikut tidak didukung.

Versi	Mencakup	Dirilis Pada	Terakhir Diperbarui	Tersedia Hingga	Catatan
Runtime Spark 2.1	Apache Spark 3.4.0 Konektor Cloud Storage 2.2.20 Konektor BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	2024/5/30	2026/04/30	Tidak didukung mulai 30/05/2024. 2.1.50 adalah versi final yang dirilis.
Runtime Spark 2.0	Apache Spark 3.3.4 Konektor Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	22/08/2024	31/08/2026	Tidak didukung mulai 22/08/2024. 2.0.84 adalah versi rilis final.
Runtime Spark 1.0	Apache Spark 3.2.3 Konektor Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	03/02/2023	31/01/2025	Tidak didukung mulai 03/02/2023. 1.0.29 adalah versi rilis final.