Google Dataproc menggunakan versi image Ubuntu, Debian, dan Rocky Linux untuk memaketkan sistem operasi, komponen big data, dan konektor Google Cloud Platform ke dalam satu paket yang di-deploy di cluster. Untuk mengetahui informasi selengkapnya, lihat Pembuatan Versi Dataproc.
Versi gambar Dataproc default
Dataproc memperbarui versi image default ke versi image Dataproc berbasis Debian yang terbaru dan tersedia secara umum, satu bulan setelah tanggal rilis Ketersediaan umum (GA).
Versi Dataproc yang didukung
Image Debian
Versi image berbasis Debian berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.
Versi | Terakhir Diperbarui | Dirilis Pada | Didukung Hingga | Tersedia Hingga | Notes |
---|---|---|---|---|---|
2.2-debian12 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Rilis ketersediaan umum. |
2.1-debian11 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Rilis ketersediaan umum. |
2.0-debian10 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Rilis ketersediaan umum. |
Image Ubuntu
Versi image berbasis LTS Ubuntu berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.
Versi | Terakhir Diperbarui | Dirilis Pada | Didukung Hingga | Tersedia Hingga | Notes |
---|---|---|---|---|---|
2.2-ubuntu22 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Rilis ketersediaan umum. |
2.1-ubuntu20 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Rilis ketersediaan umum. |
2.0-ubuntu18 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Rilis ketersediaan umum. |
Image Rocky Linux
Versi image berbasis Rocky Linux berikut didukung di cluster Dataproc. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak dirilis.
Versi | Terakhir Diperbarui | Dirilis Pada | Didukung Hingga | Tersedia Hingga | Notes |
---|---|---|---|---|---|
2.2-rocky9 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Rilis ketersediaan umum. |
2.1-rocky8 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Rilis ketersediaan umum. |
2.0-rocky8 | 28/03/2024 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Rilis ketersediaan umum. |
Versi Dataproc yang tidak didukung
Versi Dataproc berikut tidak didukung. Dataproc tidak menyediakan update dan dukungan untuk cluster yang dibuat dengan versi ini. Meskipun Anda dapat terus menjalankan cluster yang dibuat dengan versi yang tidak didukung, sebaiknya ganti cluster dengan cluster baru yang dibuat dengan versi yang didukung.
Versi | Mencakup | Dirilis Pada | Terakhir Diperbarui | Notes |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Tidak didukung mulai 2023/04/28. 1.5.89-debian10/-ubuntu18/-rocky8 adalah versi rilis final. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Konektor Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Tidak didukung mulai 01/02/2022. 2.0.30-centos8 adalah versi final yang dirilis. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Tidak didukung mulai 01/02/2022. 1.5.56-centos8 adalah versi final yang dirilis. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Tidak didukung mulai 2022/02/01. 1.4.80-debian10/-ubuntu18 adalah versi rilis final. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Tidak didukung mulai 01/08/2021. 1.3.95-debian10/-ubuntu18 adalah versi rilis final, yang mengatasi kerentanan log4j2. Catatan: versi rilis sebelumnya rentan dan harus diupgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.4.33-debian9 adalah versi final yang dirilis. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.3.62-debian9 adalah versi final yang dirilis. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Konektor Cloud Storage 1.6.10-hadoop2 konektor BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.4. |
21/07/2017 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.2.102-debian9 adalah versi final yang dirilis. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Konektor Cloud Storage 1.6.10-hadoop2 konektor BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Tidak didukung mulai 01/10/2019. 1.1.121-debian9 adalah versi final yang dirilis. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.6.10-hadoop2 konektor BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Rilis pertama gambar GA. Tidak didukung mulai 01/04/2019. 1.0.119-debian9 adalah versi rilis final. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.5.1-hadoop2 konektor BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Gambar beta rilis kedua. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Konektor Cloud Storage 1.5.1-hadoop2 konektor BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Rilis beta Dataproc. Spark 1.5 telah dikompilasi terhadap Hive 1.2. |