Komponen Docker opsional Dataproc

Anda dapat menginstal komponen tambahan seperti Docker saat membuat cluster Dataproc menggunakan fitur Komponen opsional. Halaman ini menjelaskan komponen Docker.

Komponen Dataproc menginstal daemon Docker pada setiap node cluster dan membuat "docker" pengguna Linux dan "docker" pengguna Linux di setiap node untuk menjalankan daemon Docker. Komponen ini juga membuat layanan "docker" systemd untuk menjalankan layanan dockerd. Anda harus menggunakan layanan systemd untuk mengelola siklus proses layanan Docker.

Menginstal komponen

Instal komponen saat Anda membuat cluster Dataproc. Komponen Docker dapat diinstal pada cluster yang dibuat dengan Dataproc image versi 1.5 atau yang lebih baru.

Lihat Versi Dataproc yang didukung untuk versi komponen yang disertakan dalam setiap rilis image Dataproc.

Perintah gcloud

Untuk membuat cluster Dataproc yang menyertakan komponen Docker, gunakan perintah gcloud dataproc cluster create cluster-name dengan flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Komponen Docker dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Konsol

  1. Aktifkan komponen.
    • Di Konsol Google Cloud, buka halaman Buat cluster Dataproc. Panel Siapkan cluster dipilih.
    • Di bagian Components:
      • Di bagian Optional Components, pilih Docker dan komponen opsional lainnya untuk diinstal di cluster Anda.

Aktifkan Docker di YARN

Lihat Menyesuaikan lingkungan runtime tugas Spark dengan Docker di YARN untuk menggunakan image Docker yang disesuaikan dengan YARN.

Logging Docker

Secara default, komponen Docker Dataproc menulis log ke Cloud Logging dengan menyetel gcplogs driver—lihat Melihat log Anda.

Registry Docker

Komponen Docker Dataproc mengonfigurasi Docker untuk menggunakan Container Registry selain registry Docker default. Docker akan menggunakan helper kredensial Docker untuk mengautentikasi dengan Container Registry.

Menggunakan komponen Docker di cluster Kerberos

Komponen opsional Docker dapat diinstal di cluster yang sedang dibuat dengan keamanan Kerberos yang diaktifkan.