Cluster node tunggal

Cluster node tunggal adalah cluster Dataproc yang hanya memiliki satu node. Node tunggal ini berfungsi sebagai master dan pekerja untuk cluster Dataproc Anda. Meskipun cluster node tunggal hanya memiliki satu node, sebagian besar konsep dan fitur Dataproc masih berlaku, kecuali yang tercantum di bawah ini.

Ada sejumlah situasi yang dapat memanfaatkan cluster Dataproc node tunggal, antara lain:

  • Mencoba versi baru Spark dan Hadoop atau komponen open source lainnya
  • Membangun demonstrasi bukti konsep (PoC)
  • Data science ringan
  • Pemrosesan data non-kritis berskala kecil
  • Pendidikan terkait ekosistem Spark dan Hadoop

Semantik cluster node tunggal

Semantik berikut berlaku untuk cluster Dataproc node tunggal:

  • Cluster node tunggal dikonfigurasi dengan cara yang sama seperti cluster Dataproc multi-node, dan mencakup layanan seperti HDFS dan YARN.
  • Cluster node tunggal melaporkan sebagai node master untuk tindakan inisialisasi.
  • Cluster node tunggal menampilkan 0 pekerja karena node tunggal bertindak sebagai master dan pekerja.
  • Cluster node tunggal diberi nama host yang mengikuti pola clustername-m. Anda dapat menggunakan nama host ini untuk menghubungkan SSH ke atau terhubung ke UI web pada node.
  • Cluster node tunggal tidak dapat diupgrade ke cluster multi node. Setelah dibuat, cluster node tunggal dibatasi untuk satu node. Demikian pula, cluster multi-node tidak dapat diturunkan skalanya menjadi cluster node tunggal.

Batasan

  • Cluster node tunggal tidak direkomendasikan untuk pemrosesan data paralel berskala besar. Jika Anda melebihi resource pada satu cluster node, sebaiknya gunakan cluster Dataproc multi-node.

  • Cluster node tunggal tidak tersedia dengan ketersediaan tinggi karena hanya ada satu node dalam cluster.

  • Cluster node tunggal tidak dapat menggunakan preemptible VM.

Membuat cluster node tunggal

Perintah gcloud

Anda dapat membuat cluster Dataproc node tunggal menggunakan alat command line gcloud. Untuk membuat satu cluster node, teruskan flag --single-node ke perintah gcloud dataproc cluster create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

REST API

Anda dapat membuat satu cluster node melalui REST API Dataproc menggunakan permintaan clusters.create. Saat membuat permintaan ini, Anda harus:

  1. Tambahkan properti "dataproc:dataproc.allow.zero.workers":"true" ke SoftwareConfig permintaan cluster.
  2. Jangan mengirimkan nilai untuk workerConfig dan secondaryWorkerConfig (lihat ClusterConfig).

Konsol

Anda dapat membuat satu cluster node dengan memilih "Single Node (1 master, 0 worker)" di bagian Jenis cluster pada panel Siapkan cluster di halaman Buat cluster Dataproc.