Daftar versi gambar cluster Dataproc

"Cluster Versi Gambar Berbasis Ubuntu & Debian | Google Cloud"

Google Dataproc menggunakan versi image Ubuntu, Debian, dan Rocky Linux untuk memaketkan sistem operasi, komponen big data, dan konektor Google Cloud Platform ke dalam satu paket yang di-deploy di cluster. Untuk mengetahui informasi selengkapnya, lihat Pembuatan Versi Dataproc.

Versi gambar Dataproc default

Dataproc memperbarui versi image default ke versi image Dataproc berbasis Debian yang terbaru dan tersedia secara umum, satu bulan setelah tanggal rilis Ketersediaan umum (GA).

Versi Dataproc yang didukung

Image Debian

Versi image berbasis Debian berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.

Versi Terakhir Diperbarui Dirilis Pada Didukung Hingga Tersedia Hingga Notes
2.2-debian12 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Rilis ketersediaan umum.
2.1-debian11 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Rilis ketersediaan umum.
2.0-debian10 21/03/2024 22/01/2021 31/07/2024 31/07/2026 Rilis ketersediaan umum.

Image Ubuntu

Versi image berbasis LTS Ubuntu berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.

Versi Terakhir Diperbarui Dirilis Pada Didukung Hingga Tersedia Hingga Notes
2.2-ubuntu22 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Rilis ketersediaan umum.
2.1-ubuntu20 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Rilis ketersediaan umum.
2.0-ubuntu18 21/03/2024 22/01/2021 31/07/2024 31/07/2026 Rilis ketersediaan umum.

Image Rocky Linux

Versi image berbasis Rocky Linux berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.

Versi Terakhir Diperbarui Dirilis Pada Didukung Hingga Tersedia Hingga Notes
2.2-rocky9 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Rilis ketersediaan umum.
2.1-rocky8 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Rilis ketersediaan umum.
2.0-rocky8 21/03/2024 18/02/2022 31/07/2024 31/07/2026 Rilis ketersediaan umum.

Versi Dataproc yang tidak didukung

Versi Dataproc berikut tidak didukung. Dataproc tidak menyediakan update dan dukungan untuk cluster yang dibuat dengan versi ini. Meskipun Anda dapat terus menjalankan cluster yang dibuat dengan versi yang tidak didukung, sebaiknya ganti cluster dengan cluster baru yang dibuat dengan versi yang didukung.

Versi Mencakup Dirilis Pada Terakhir Diperbarui Notes
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 Tidak didukung mulai 2023/04/28.
1.5.89-debian10/-ubuntu18/-rocky8 adalah versi rilis final.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Konektor Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 Tidak didukung mulai 01/02/2022.
2.0.30-centos8 adalah versi final yang dirilis.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 01/02/2022 Tidak didukung mulai 01/02/2022.
1.5.56-centos8 adalah versi final yang dirilis.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22/03/2019 01/02/2022 Tidak didukung mulai 2022/02/01.
1.4.80-debian10/-ubuntu18 adalah versi rilis final.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 Tidak didukung mulai 01/08/2021.
1.3.95-debian10/-ubuntu18 adalah versi rilis final, yang mengatasi kerentanan log4j2. Catatan: versi rilis sebelumnya rentan dan harus diupgrade.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22/03/2019 10/07/2020 Tidak didukung mulai 10/07/2020.
1.4.33-debian9 adalah versi final yang dirilis.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Konektor Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 Tidak didukung mulai 10/07/2020.
1.3.62-debian9 adalah versi final yang dirilis.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Konektor Cloud Storage 1.6.10-hadoop2
konektor BigQuery 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.4.
21/07/2017 10/07/2020 Tidak didukung mulai 10/07/2020.
1.2.102-debian9 adalah versi final yang dirilis.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Konektor Cloud Storage 1.6.10-hadoop2
konektor BigQuery 0.10.11-hadoop2
08/08/2016 26/09/2019 Tidak didukung mulai 01/10/2019.
1.1.121-debian9 adalah versi final yang dirilis.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Konektor Cloud Storage 1.6.10-hadoop2
konektor BigQuery 0.10.11-hadoop2
22/02/2016 09/05/2019 Rilis pertama gambar GA.
Tidak didukung mulai 01/04/2019.
1.0.119-debian9 adalah versi rilis final.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Konektor Cloud Storage 1.5.1-hadoop2
konektor BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 Gambar beta rilis kedua.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Konektor Cloud Storage 1.5.1-hadoop2
konektor BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 Rilis beta Dataproc.
Spark 1.5 telah dikompilasi terhadap Hive 1.2.