Komponen Dataproc

Saat Anda membuat cluster, komponen ekosistem Apache Hadoop standar akan otomatis diinstal di cluster (lihat Daftar Versi Dataproc). Anda dapat menginstal komponen tambahan, yang disebut "komponen opsional", di cluster saat membuat cluster. Menambahkan komponen opsional ke cluster mirip dengan menambahkan komponen melalui penggunaan tindakan inisialisasi, tetapi memiliki keuntungan berikut:

• Waktu startup cluster yang lebih cepat
• Menguji kompatibilitas dengan versi Dataproc tertentu
• Penggunaan parameter cluster, bukan skrip tindakan inisialisasi

Komponen opsional diinstal di cluster sebelum tindakan inisialisasi dijalankan di cluster.

Komponen opsional yang tersedia

Komponen opsional	COMPONENT_NAME dalam perintah gcloud dan permintaan API	Versi Gambar	Tahap Rilis
Docker	DOCKER	1.5 dan yang lebih baru	GA
Flink	FLINK	1.5 dan yang lebih baru	GA
HBase	HBASE	1.5 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	Beta
Hive WebHCat	HIVE_WEBHCAT	1.3 dan yang lebih baru	GA
Hudi	Hudi	1.5 dan yang lebih baru	GA
Notebook Jupyter	JUPYTER	1.3 dan yang lebih baru	GA
Presto	PRESTO	1.3 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	GA
Ranger	RANGER	1.3 dan yang lebih baru	GA
Solr	SOLR	1.3 dan yang lebih baru	GA
Trino	TRINO	2.1 dan yang lebih baru	GA
Notebook Zeppelin	ZEPPELIN	1.3 dan yang lebih baru	GA
Zookeeper	ZOOKEEPER	1.0 dan yang lebih baru	GA

Lihat Antarmuka web cluster untuk terhubung ke antarmuka Web komponen yang berjalan di cluster. Lihat juga Gateway Komponen Dataproc, yang memungkinkan Anda terhubung ke antarmuka web komponen inti dan opsional Dataproc, termasuk UI YARN, HDFS, Jupyter, dan Zeppelin, tanpa memerlukan penggunaan tunnel SSH atau modifikasi aturan firewall untuk mengizinkan traffic masuk.

Menambahkan komponen opsional

Catatan: Contoh penggunaan di bawah ini adalah untuk komponen Ketersediaan Umum (GA).

perintah gcloud

Untuk membuat cluster Dataproc dan menginstal satu atau beberapa komponen opsional di cluster, gunakan perintah gcloud beta dataproc clusters create cluster-name dengan flag --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Komponen opsional dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Konsol

Di konsol Google Cloud, buka halaman Create a cluster Dataproc. Panel Siapkan cluster dipilih. Di bagian Komponen opsional di bagian Komponen, pilih satu atau beberapa komponen untuk diinstal di cluster Anda.