Dataproc Serverless untuk versi runtime Spark

• Versi runtime LTS (Dukungan Waktu Lama) Dataproc Serverless didukung selama 30 bulan. Versi runtime non-LTS Dataproc Serverless didukung selama 12 bulan.
• Versi runtime Dataproc Serverless terus tersedia untuk dua tahun setelah tanggal berakhirnya dukungan mereka.

Versi runtime Dataproc Serverless untuk Spark yang didukung

Versi	Terakhir Diperbarui	Dirilis Pada	Didukung Hingga	Tersedia Hingga	Catatan
Runtime Spark 2.2 LTS	22/08/2024	27/03/2024	30/09/2026	30/09/2028	Rilis Ketersediaan Umum. Ini adalah versi default.
Runtime Spark 1.2 LTS	22/08/2024	27/03/2024	30/09/2026	30/09/2028	Rilis Ketersediaan Umum.
Runtime Spark 1.1 LTS	22/08/2024	27/01/2023	31/07/2025	31/07/2027	Rilis Ketersediaan Umum.

Cara memilih versi runtime Dataproc Serverless untuk Spark

Versi runtime Dataproc Serverless default saat ini tercantum di Versi runtime Dataproc Serverless untuk Spark yang didukung. Anda dapat menggunakan konsol Google Cloud, gcloud CLI, dan Dataproc API untuk memilih versi runtime yang berbeda saat Anda mengirimkan beban kerja batch.

Konsol

1. Buka halaman Buat batch Dataproc di konsol Google Cloud.
2. Pada Container, di bagian Runtime version, pilih salah satu mencantumkan versi runtime Dataproc Serverless.

gcloud

Gunakan flag dataproc batches submit --version untuk menentukan Versi runtime Dataproc Serverless.

Contoh:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Ganti kode berikut:

• SPARK_WORKLOAD_TYPE: A Jenis workload Spark, misalnya spark.

• WILAYAH: Region Compute Engine yang tersedia, misalnya us-central1.

• VERSI: Opsional. Versi runtime Serverless Dataproc, untuk contoh, 1.2.

API

Menggunakan RuntimeConfig.version sebagai bagian dari batches.create Panggilan API untuk menentukan versi runtime Dataproc Serverless.

Versi runtime Dataproc Serverless untuk Spark yang tidak didukung

Versi Dataproc Serverless berikut tidak didukung.

Versi	Mencakup	Dirilis Pada	Terakhir Diperbarui	Tersedia Hingga	Catatan
Runtime Spark 2.1	Apache Spark 3.4.0 Konektor Cloud Storage 2.2.20 Konektor BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	19/01/2022	30/5/2024	30/04/2026	Tidak didukung mulai 30/05/2024. 2.1.50 adalah versi rilis final.
Runtime Spark 2.0	Apache Spark 3.3.4 Konektor Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	22/08/2024	31/08/2026	Tidak didukung mulai 22/08/2024. 2.0.85 adalah versi rilis final.
Runtime Spark 1.0	Apache Spark 3.2.3 Konektor Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	19/01/2022	03/2/2023	31/01/2025	Tidak didukung mulai 03/02/2023. 1.0.29 adalah versi rilis final.