Daftar versi image cluster Dataproc

Google Dataproc menggunakan versi image Ubuntu, Debian, dan Rocky Linux untuk memaketkan sistem operasi, komponen big data, dan konektor Google Cloud menjadi satu paket yang di-deploy di cluster. Untuk informasi selengkapnya, lihat Pembuatan Versi Dataproc.

Catatan:

• Versi image Dataproc didukung selama 24 bulan setelah rilis awal.
• Umumnya, versi gambar Dataproc tersedia selama 24 bulan setelah tanggal akhir dukungannya, tetapi periode ketersediaan dapat dipersingkat jika tanggal dukungan gambar diperpanjang.

Versi image Dataproc default

Dataproc mengupdate versi image default ke Dataproc berbasis Debian terbaru yang tersedia secara umum setelah tanggal rilis Ketersediaan umum (GA).

Versi image Dataproc yang didukung

Dataproc mencegah pembuatan cluster dengan versi image sebelum 1.3.95, 1.4.77, 1.5.53, dan 2.0.27, yang terpengaruh oleh kerentanan keamanan Apache Log4j. Dataproc juga mencegah pembuatan cluster untuk versi image Dataproc 0.x, 1.0.x, 1.1.x, dan 1.2.x. Dataproc menyarankan agar, jika memungkinkan, Anda membuat cluster Dataproc dengan versi image sub-minor terbaru. Lihat catatan rilis Dataproc untuk informasi update log4j dan image tertentu.

Image Debian

Versi image berbasis Debian berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada versi sejak rilisnya.

Saat membuat cluster berbasis Debian, Anda dapat menghapus akhiran Kode Distribusi OS versi image, misalnya dengan menentukan 2.0 untuk memilih image 2.0-debian10. Akhiran OS harus digunakan untuk memilih image berbasis Rocky Linux atau Ubuntu, misalnya dengan menentukan 2.0-ubuntu18. Lihat Memilih versi untuk mengetahui contoh pemilihan gambar.

Versi	Terakhir Diperbarui	Dirilis Pada	Didukung Hingga	Tersedia Hingga	Catatan
2.2-debian12	31/10/2024	08/12/2023	31/12/2025	31/12/2027	Rilis ketersediaan umum. Versi gambar 2.2 menjadi versi gambar default pada 13 September 2024.
2.1-debian11	31/10/2024	2022/12/12	30/06/2025	2026/12/31	Rilis ketersediaan umum.
2.0-debian10	31/10/2024	22/01/2021	30/06/2025	31/07/2026	Rilis ketersediaan umum.

Image Ubuntu

Versi image berbasis Ubuntu LTS berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada versi sejak rilisnya.

Versi	Terakhir Diperbarui	Dirilis Pada	Didukung Hingga	Tersedia Hingga	Catatan
2.2-ubuntu22	31/10/2024	08/12/2023	31/12/2025	31/12/2027	Rilis ketersediaan umum.
2.1-ubuntu20	31/10/2024	2022/12/12	30/06/2025	2026/12/31	Rilis ketersediaan umum.
2.0-ubuntu18	31/10/2024	22/01/2021	30/06/2025	31/07/2026	Rilis ketersediaan umum.

Image Rocky Linux

Versi image berbasis Rocky Linux berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada versi sejak rilisnya.

Versi	Terakhir Diperbarui	Dirilis Pada	Didukung Hingga	Tersedia Hingga	Catatan
2.2-rocky9	31/10/2024	08/12/2023	31/12/2025	31/12/2027	Rilis ketersediaan umum.
2.1-rocky8	31/10/2024	2022/12/12	30/06/2025	2026/12/31	Rilis ketersediaan umum.
2.0-rocky8	31/10/2024	18/02/2022	30/06/2025	31/07/2026	Rilis ketersediaan umum.

Versi image Dataproc yang tidak didukung

Klik link ini untuk mendownload skrip yang dapat Anda jalankan untuk memeriksa apakah project atau organisasi Anda menggunakan image Dataproc yang tidak didukung.

Versi Dataproc berikut tidak didukung. Dataproc tidak menyediakan update dan dukungan untuk cluster yang dibuat dengan versi ini. Meskipun Anda dapat terus menjalankan cluster yang dibuat dengan versi yang tidak didukung, sebaiknya ganti cluster dengan cluster baru yang dibuat dengan versi yang didukung.

Versi	Mencakup	Dirilis Pada	Terakhir Diperbarui	Catatan
1.5-debian10/-ubuntu18/-rocky8	Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	2020/03/25:debian10/ubuntu18 2022/02/18:rocky8	28/04/2023	Tidak didukung mulai 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 adalah versi rilis akhir.
2.0-centos8	Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Konektor Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14	16/03/2021	01/02/2022	Tidak didukung mulai 01/02/2022. 2.0.30-centos8 adalah versi rilis final.
1.5-centos8	Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	14/12/2020	01/02/2022	Tidak didukung mulai 01/02/2022. 1.5.56-centos8 adalah versi akhir yang dirilis.
1.4-debian10/-ubuntu18	Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14	22/03/2019	01/02/2022	Tidak didukung mulai 01/02/2022. 1.4.80-debian10/-ubuntu18 adalah versi terakhir yang dirilis.
1.3-debian10/-ubuntu18	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	22/12/2021	Tidak didukung mulai 01/08/2021. 1.3.95-debian10/-ubuntu18 adalah versi terakhir yang dirilis, yang telah mengatasi kerentanan log4j2. Catatan: versi yang dirilis sebelumnya rentan dan harus diupgrade.
1.4-debian9	Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13	22/03/2019	2020/07/10	Tidak didukung mulai 10/07/2020. 1.4.33-debian9 adalah versi rilis terakhir.
1.3-debian9	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	2020/07/10	Tidak didukung mulai 10/07/2020. 1.3.62-debian9 adalah versi rilis akhir.
1.2-debian9	Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Konektor Cloud Storage 1.6.10-hadoop2 Konektor BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	21/07/2017	2020/07/10	Tidak didukung mulai 10/07/2020. 1.2.102-debian9 adalah versi rilis akhir.
1.1-debian9	Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Konektor Cloud Storage 1.6.10-hadoop2 Konektor BigQuery 0.10.11-hadoop2	08/08/2016	26/09/2019	Tidak didukung mulai 01/10/2019. 1.1.121-debian9 adalah versi rilis final.
1.0-debian9	Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.6.10-hadoop2 Konektor BigQuery 0.10.11-hadoop2	22/02/2016	09/05/2019	Rilis pertama image GA. Tidak didukung mulai 01/04/2019. 1.0.119-debian9 adalah versi terakhir yang dirilis.
0.2	Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.5.1-hadoop2 Konektor BigQuery 0.7.7-hadoop2	18/11/2015	02/08/2016	Rilis kedua image beta.
0.1	Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Konektor Cloud Storage 1.5.1-hadoop2 Konektor BigQuery 0.7.7-hadoop2	23/09/2015	02/08/2016	Rilis beta Dataproc. Spark 1.5 telah dikompilasi dengan Hive 1.2.