Dataproc Serverless yang didukung untuk versi runtime Spark
Versi | Terakhir Diperbarui | Dirilis Pada | Didukung Hingga | Tersedia Hingga | Notes |
---|---|---|---|---|---|
Spark runtime 2.2 LTS | 13/06/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Rilis Ketersediaan Umum. |
Spark runtime 2.0 | 13/06/2024 | 21/10/2022 | 30/06/2024 | 30/06/2026 | Rilis Ketersediaan Umum. Ini adalah versi default. |
Spark runtime 1.2 LTS | 13/06/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Rilis Ketersediaan Umum. |
Spark runtime 1.1 LTS | 13/06/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Rilis Ketersediaan Umum. |
Cara memilih versi runtime Dataproc Serverless untuk Spark
Versi runtime Dataproc Serverless default saat ini tercantum di Versi runtime Dataproc Serverless untuk Spark yang didukung. Anda dapat menggunakan Konsol Google Cloud, gcloud CLI, dan Dataproc API untuk memilih versi runtime yang berbeda saat mengirimkan beban kerja batch.
Konsol
- Buka halaman Create batch Dataproc di Konsol Google Cloud.
- Di bagian Container, di bagian Runtime version, pilih salah satu versi runtime Dataproc Serverless yang tercantum.
gcloud
Gunakan flag dataproc batches submit --version
untuk menentukan versi runtime Dataproc Serverless.
Contoh:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Gunakan kolom RuntimeConfig.version
sebagai bagian dari panggilan API batches.create
untuk menentukan versi runtime Dataproc Serverless.
Dataproc Serverless yang tidak didukung untuk versi runtime Spark
Versi Dataproc Serverless berikut tidak didukung.
Versi | Mencakup | Dirilis Pada | Terakhir Diperbarui | Tersedia Hingga | Notes |
---|---|---|---|---|---|
Spark runtime 2.1 | Apache Spark 3.4.0 Konektor Cloud Storage 2.2.20 konektor BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19/01/2022 | 30/5/2024 | 30/04/2026 | Tidak didukung mulai 30/05/2024. 2.1.50 adalah versi final yang dirilis. |
Spark runtime 1.0 | Apache Spark 3.2.3 Konektor Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/01/2022 | 03/2/2023 | 31/01/2025 | Tidak didukung mulai 03/02/2023. 1.0.29 adalah versi final yang dirilis. |