Komponen Dataproc

Saat Anda membuat cluster, komponen ekosistem Apache Hadoop standar secara otomatis diinstal di cluster tersebut (lihat Daftar Versi Dataproc). Anda dapat menginstal komponen tambahan, yang disebut "komponen opsional", di cluster saat membuat cluster. Menambahkan komponen opsional ke cluster mirip dengan menambahkan komponen melalui penggunaan tindakan inisialisasi, tetapi memiliki keuntungan berikut:

• Waktu startup cluster yang lebih cepat
• Menguji kompatibilitas dengan versi Dataproc tertentu
• Penggunaan parameter cluster, bukan skrip tindakan inisialisasi
• Komponen opsional terintegrasi dengan komponen Dataproc lainnya. Misalnya, saat Anaconda dan Zeppelin diinstal di sebuah cluster, Zeppelin akan menggunakan penafsir dan library Python Anaconda.

Komponen opsional diinstal di cluster sebelum tindakan inisialisasi apa pun dijalankan di cluster.

Komponen opsional yang tersedia

Komponen opsional	Component_NAME dalam perintah gcloud dan permintaan API	Versi Image	Tahap Rilis
Anakonda	ANACONDA	1.3 dan yang lebih baru (tidak tersedia di 2.0 dan yang lebih baru)	GA
Docker	DOCKER	1.5 dan yang lebih baru	GA
Berkedip	FLINK	1.5 dan yang lebih baru	GA
HBase	HBASE	1.5 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	Beta
WebHCat Hive	HIVE_WEBHCAT	1.3 dan yang lebih baru	GA
Hudi	Hudi	1.5 dan yang lebih baru	GA
Notebook Jupyter	JUPYTER	1.3 dan yang lebih baru	GA
Presto	PRESTO	1.3 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	GA
Ranger	RENTANG	1.3 dan yang lebih baru	GA
Solr	SOLR	1.3 dan yang lebih baru	GA
Trino	TRINO	2.1 dan yang lebih baru	GA
Notebook Zeppelin	ZEPPELIN	1.3 dan yang lebih baru	GA
Zookeeper	ZOOKEEPER	1.0 dan yang lebih baru	GA

Lihat Antarmuka web cluster untuk terhubung ke antarmuka Web komponen yang berjalan di cluster. Lihat juga Gateway Komponen Dataproc, yang memungkinkan Anda terhubung ke antarmuka web core Dataproc dan komponen opsional, termasuk UI YARN, HDFS, Jupyter, dan Zeppelin, tanpa perlu menggunakan tunnel SSH atau modifikasi aturan firewall untuk mengizinkan traffic masuk.

Menambahkan komponen opsional

Catatan: Contoh penggunaan di bawah adalah untuk komponen Ketersediaan Umum (GA).

Perintah gcloud

Untuk membuat cluster Dataproc dan menginstal satu atau beberapa komponen opsional pada cluster, gunakan perintah gcloud beta dataproc clusters create cluster-name dengan flag --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Komponen opsional dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Konsol

Di Konsol Google Cloud, buka halaman Buat cluster Dataproc. Panel Siapkan cluster dipilih. Di bagian Optional Components di bagian Komponen, pilih satu atau beberapa komponen untuk diinstal pada cluster Anda.