Anda dapat menginstal komponen tambahan seperti Docker saat membuat cluster Dataproc menggunakan fitur Komponen opsional. Halaman ini menjelaskan komponen Docker.
Komponen Dataproc menginstal
daemon Docker
di setiap node cluster dan membuat pengguna Linux "docker" dan grup Linux
"docker" di setiap node untuk menjalankan daemon Docker. Komponen ini juga membuat
layanan "docker" systemd
untuk menjalankan layanan dockerd
. Anda harus menggunakan layanan systemd
untuk mengelola
siklus proses layanan Docker.
Menginstal komponen
Instal komponen saat Anda membuat cluster Dataproc. Komponen Docker dapat diinstal di cluster yang dibuat dengan image versi 1.5 Dataproc atau yang lebih baru.
Lihat Versi Dataproc yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Dataproc.
perintah gcloud
Untuk membuat cluster Dataproc yang menyertakan komponen Docker, gunakan perintah cluster-name gcloud dataproc clusters create dengan flag --optional-components
.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Komponen Docker dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.
Konsol
- Aktifkan komponen.
- Di konsol Google Cloud, buka halaman Create a cluster Dataproc. Panel Siapkan cluster dipilih.
- Di bagian Komponen:
- Di bagian Komponen opsional, pilih Docker dan komponen opsional lainnya untuk diinstal di cluster Anda.
Mengaktifkan Docker di YARN
Lihat Menyesuaikan lingkungan runtime tugas Spark dengan Docker di YARN untuk menggunakan image Docker yang disesuaikan dengan YARN.
Logging Docker
Secara default, komponen Docker Dataproc menulis log ke Cloud Logging dengan menetapkan gcplogs driver
—lihat Melihat log Anda.
Docker Registry
Komponen Docker Dataproc mengonfigurasi Docker untuk menggunakan Container Registry selain registry Docker default. Docker akan menggunakan helper kredensial Docker untuk melakukan autentikasi dengan Container Registry.
Menggunakan komponen Docker di cluster Kerberos
Komponen opsional Docker dapat diinstal di cluster yang dibuat dengan keamanan Kerberos diaktifkan.