Versi runtime Dataproc Serverless

Versi Serverless Dataproc yang didukung

Versi Terakhir Diperbarui Dirilis Pada Didukung Hingga Tersedia Hingga Notes
Spark runtime 2.2 LTS 01/05/2024 27/03/2024 30/09/2026 30/09/2028 Rilis Ketersediaan Umum.
Spark runtime 2.1 01/05/2024 05/05/2023 31/05/2024 31/05/2026 Rilis Ketersediaan Umum.
Spark runtime 2.0 01/05/2024 21/10/2022 30/06/2024 30/06/2026 Rilis Ketersediaan Umum. Ini adalah versi default.
Spark runtime 1.2 LTS 01/05/2024 27/03/2024 30/09/2026 30/09/2028 Rilis Ketersediaan Umum.
Spark runtime 1.1 LTS 01/05/2024 27/01/2023 31/07/2025 31/07/2027 Rilis Ketersediaan Umum.

Cara memilih versi runtime Dataproc Serverless

Versi runtime Dataproc Serverless default saat ini tercantum di Versi Dataproc Serverless yang didukung. Anda dapat menggunakan konsol Google Cloud, gcloud CLI, dan Dataproc API untuk memilih versi runtime yang berbeda saat mengirimkan beban kerja batch.

Konsol

  1. Buka halaman Create batch Dataproc di Konsol Google Cloud.
  2. Di bagian Container, di bagian Runtime version, pilih salah satu versi runtime Dataproc Serverless yang tercantum.

gcloud

Gunakan flag dataproc batches submit --version untuk menentukan versi runtime Dataproc Serverless.

Contoh:

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

Gunakan kolom RuntimeConfig.version sebagai bagian dari panggilan API batches.create untuk menentukan versi runtime Dataproc Serverless.

Versi Serverless Dataproc yang tidak didukung

Versi Dataproc Serverless berikut tidak didukung.

Versi Mencakup Dirilis Pada Terakhir Diperbarui Tersedia Hingga Notes
Spark runtime 1.0 Apache Spark 3.2.3
Konektor Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 19/01/2022 03/2/2023 31/01/2025 Tidak didukung mulai 03/02/2023. 1.0.29 adalah versi final yang dirilis.