Halaman ini mencantumkan layanan yang dijalankan oleh versi image Dataproc di node cluster Dataproc.
Semua node
Layanan berikut berjalan di semua node dalam cluster.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Semua node | google-dataproc-agent | semua | Menerima tugas dari Dataproc dan meluncurkan driver tugas |
| google-fluentd | semua | Mengumpulkan dan mengirim log ke Logging |
Cluster standar
Layanan berikut berjalan di cluster standar.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Semua node | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-secondarynamenode | semua | Memeriksa NameNode | |
| hadoop-mapreduce-historyserver | semua | Menayangkan informasi histori aplikasi mapreduce | |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hadoop-yarn-timelineserver | 1.3+ | Menayangkan informasi histori aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database lokal
mariadb (versi image < 1.5) atau
mysql (versi image 1.5+)
di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini
terikat dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari opsi berikut sebagai database metastore Hive (dalam urutan rekomendasi):
|
|
| hive-server2 | semua | Menayangkan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive di image Dataproc < 1.5 | |
| mysql | 1,5+ | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive dalam image Dataproc 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menayangkan informasi histori aplikasi Spark | |
| Semua Pekerja | hadoop-yarn-nodemanager | semua | Meluncurkan dan mengelola penampung YARN |
| Khusus Pekerja Utama | hadoop-hdfs-datanode | semua | Menyimpan blok HDFS |
Cluster HA
Di cluster Ketersediaan Tinggi (HA) Dataproc, berbagai layanan berjalan di node master yang berbeda, seperti yang ditunjukkan di bawah. Layanan node pekerja cluster HA sama dengan yang tercantum untuk cluster standar.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Semua master | hadoop-hdfs-journalnode | semua | Kuorum node jurnal mempertahankan log edit dari perubahan namespace HDFS. Jika terjadi failover, NameNode Standby akan membaca log edit dan mengambil kontrol dari NameNode Aktif. |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database lokal
mariadb (versi image < 1.5) atau
mysql (versi image 1.5+)
di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini
terikat dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari opsi berikut sebagai database metastore Hive (dalam urutan rekomendasi): |
|
| hive-server2 | semua | Menayangkan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| zookeeper-server | semua | Kuorum ZooKeeper digunakan untuk koordinasi terdistribusi. Di cluster Ketersediaan Tinggi (HA), rpc ini digunakan untuk pemilihan leader HDFS NameNode dan pengelola resource YARN. | |
| Khusus Master 0 dan 1 | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-zkfc | semua | ZKFC adalah proses ZKFailoverController, yang berjalan
dengan NameNode HDFS. ZooKeeper memantau kondisi NameNode, dan mengelola pemilihan leader
melalui ZooKeeper jika terjadi failover. |
|
| Khusus Master 0 | hadoop-mapreduce-historyserver | semua | Menayangkan informasi histori aplikasi mapreduce |
| hadoop-yarn-timelineserver | 1.3+ | Menayangkan informasi histori aplikasi YARN | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive di image Dataproc < 1.5 | |
| mysql | 1,5+ | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive dalam image Dataproc 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menayangkan informasi histori aplikasi Spark |