Dataproc menggunakan image untuk menghubungkan konektor Google Cloud Platform yang berguna serta komponen Apache Spark & Apache Hadoop ke dalam satu paket yang dapat di-deploy pada cluster Dataproc. Image ini berisi sistem operasi dasar (Debian atau Ubuntu) untuk cluster, beserta komponen inti dan opsional yang diperlukan untuk menjalankan tugas, seperti Spark, Hadoop, dan Hive. Gambar ini akan diupgrade secara berkala untuk menyertakan peningkatan dan fitur baru. Pembuatan versi Dataproc memungkinkan Anda memilih kumpulan versi software saat membuat cluster.
Cara kerja pembuatan versi
Saat dibuat, gambar diberi nomor Versi Gambar dalam format berikut:
version_major.version_minor.version_sub_minor-os_distribution
Distribusi OS berikut saat ini dikelola:
| Kode Distribusi OS | Distribusi OS |
|---|---|
| debian12 | Debian 12 |
| debian10 | Debian 10 |
| debian11 | Debian 11 |
| rocky8 | Rocky Linux 8 |
| rocky9 | Rocky Linux 9 |
| ubuntu18 | Ubuntu 18.04 LTS |
| ubuntu20 | Ubuntu 20.04 LTS |
| ubuntu22 | Ubuntu 22.04 LTS |
Lihat versi image lama untuk distribusi OS yang didukung sebelumnya.
Praktik yang direkomendasikan adalah menentukan versi image major.minor
untuk lingkungan produksi, atau jika kompatibilitas dengan versi
komponen tertentu menjadi penting. Distribusi OS dan sub-minor akan otomatis ditetapkan ke rilis mingguan terbaru.
Memilih versi
Saat Anda membuat cluster Dataproc baru, versi image Debian terbaru yang tersedia akan digunakan secara default. Anda dapat memilih versi image Debian, Rocky Linux, atau Ubuntu saat membuat cluster (lihat Daftar versi Image Dataproc).
Saat menentukan gambar berbasis Debian, Anda dapat menghilangkan akhiran Kode Distribusi OS, misalnya dengan menentukan 2.0 untuk memilih image 2.0-debian10.
Akhiran OS harus digunakan untuk memilih image berbasis Rocky Linux atau Ubuntu, misalnya dengan menentukan 2.0-ubuntu18.
Perintah gcloud
Saat menggunakan perintah gcloud dataproc clusters create, Anda dapat
menggunakan argumen --image-version guna menentukan versi image untuk
cluster baru.
Contoh image Debian:
gcloud dataproc clusters create cluster-name \ --image-version=2.0 \ --region=region
Contoh image Ubuntu:
gcloud dataproc clusters create cluster-name \ --image-version=2.0-ubuntu18 \ --region=region
Praktik terbaiknya adalah menghapus versi sub-minor sehingga versi sub-minor terbaru digunakan. Namun, jika perlu, versi lebih kecil dapat ditentukan, misalnya, "2.0.20".
Anda dapat memeriksa versi saat ini dengan Google Cloud CLI.
gcloud dataproc clusters describe cluster-name \ --region=region
REST API
Anda dapat menentukan kolom SoftwareConfig
imageVersion sebagai bagian dari permintaan API cluster.create.
Contoh
POST /v1/projects/project-id/regions/us-central1/clusters/
{
"projectId": "project-id",
"clusterName": "example-cluster",
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": "default",
"zoneUri": "us-central1-b"
},
"masterConfig": {
...
}
},
"workerConfig": {
...
}
},
"softwareConfig": {
"imageVersion": "2.0"
}
}
}
Konsol
Buka halaman Buat cluster Dataproc. Panel Siapkan cluster dipilih. Kolom Image Type dan Version di bagian Pembuatan Versi menampilkan image yang akan digunakan saat membuat cluster. Tanggal rilis gambar juga akan ditampilkan. Awalnya, image default, versi Debian terbaru yang tersedia, ditampilkan sebagai dipilih. Klik UBAH untuk menampilkan daftar gambar yang tersedia. Anda dapat memilih gambar standar atau gambar kustom yang akan digunakan untuk cluster Anda.
Saat versi baru dibuat
Versi utama baru akan dibuat secara berkala untuk menyertakan satu atau beberapa hal berikut:
- Rilis utama untuk:
- Spark, Hadoop, dan komponen Big Data lainnya
- Konektor Google Cloud
- Perubahan atau update besar pada fungsi Dataproc
Versi pratinjau baru (dengan akhiran -RC) dirilis sebelum rilis
versi utama yang baru:
- Gambar pratinjau tidak dimaksudkan untuk digunakan dalam beban kerja produksi.
- Versi komponen gambar pratinjau dapat diupgrade ke versi komponen terbaru yang tersedia pada versi image GA setelah pratinjau.
Versi minor baru akan dibuat secara berkala untuk menyertakan satu atau beberapa hal berikut:
- Rilis dan update minor untuk:
- Spark, Hadoop, dan komponen Big Data lainnya
- Konektor Google Cloud
- Perubahan kecil atau update pada fungsi Dataproc
Saat versi minor baru dibuat, image Debian-nya akan menjadi default untuk versi utama, dan mewakili rilis terbaru dari versi utama.
Versi *sub-minor baru akan dibuat secara berkala untuk menyertakan satu atau beberapa hal berikut:
- Patch atau perbaikan untuk komponen dalam gambar
- Upgrade versi sub-minor komponen
Versi Image dan dukungan Dataproc
Versi image minor didukung selama 24 bulan setelah rilis GA (Ketersediaan Umum) awal. Selama periode ini, cluster yang menggunakan versi gambar ini memenuhi syarat untuk mendapatkan dukungan (untuk menerima perbaikan, buat ulang cluster Anda menggunakan versi gambar sub-minor terbaru yang didukung). Setelah jendela dukungan ditutup, cluster yang menggunakan versi image tidak memenuhi syarat untuk mendapatkan dukungan.
Versi Image Lama
Distribusi OS yang sebelumnya didukung
Distribusi OS berikut sebelumnya didukung:
| Kode Distribusi OS | Distribusi OS | Terakhir Di-patch (Akhir dukungan) |
|---|---|---|
| debian9 | Debian 9 | 10 Juli 2020 |
| deb8 | Debian 8 | 26 Oktober 2018 |
Versi Image tanpa distribusi OS eksplisit
Sebelum 16 Agustus 2018, versi image dibuat dengan Debian 8, dan menghilangkan Kode Distribusi OS. Parameter tersebut ditentukan dalam format berikut:
version_major.version_minor.version_sub_minor
0,1 dan 0,2
Versi image yang dirilis sebagai rilis alfa atau beta sebelum
ketersediaan umum 1.0 versi Dataproc
tidak tunduk pada
kebijakan dukungan Dataproc.