Halaman ini mencantumkan layanan yang dijalankan oleh versi image Dataproc di node cluster Dataproc.
Semua node
Layanan berikut berjalan di semua node dalam cluster.
| Jenis node | Layanan | Versi gambar | Deskripsi |
|---|---|---|---|
| Semua node | google-dataproc-agent | semua | Menerima tugas dari Dataproc dan meluncurkan driver tugas |
| google-fluentd | semua | Mengumpulkan dan mengirim log ke Logging |
Cluster standar
Layanan berikut berjalan di cluster standar.
| Jenis node | Layanan | Versi gambar | Deskripsi |
|---|---|---|---|
| Master | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-secondarynamenode | semua | Membuat checkpoint NameNode | |
| hadoop-mapreduce-historyserver | semua | Menayangkan informasi histori aplikasi mapreduce | |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hadoop-yarn-timelineserver | 1.3+ | Menyajikan informasi histori aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database
mariadb (versi gambar < 1.5) atau
mysql (versi gambar 1.5+) lokal
di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini terkait dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu opsi berikut sebagai
database metastore Hive (dalam urutan rekomendasi):
|
|
| hive-server2 | semua | Menayangkan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive di image Dataproc < 1.5 | |
| mysql | 1.5+ | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive dalam image Dataproc 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menyajikan informasi histori aplikasi Spark | |
| Semua Pekerja | hadoop-yarn-nodemanager | semua | Meluncurkan dan mengelola penampung YARN |
| Khusus Pekerja Primer | hadoop-hdfs-datanode | semua | Menyimpan blok HDFS |
Cluster HA
Di cluster dengan Ketersediaan Tinggi (HA) Dataproc, berbagai layanan berjalan di berbagai node master, seperti yang ditunjukkan di bawah. Layanan node pekerja cluster HA sama dengan yang tercantum untuk cluster standar.
| Jenis node | Layanan | Versi gambar | Deskripsi |
|---|---|---|---|
| Semua master | hadoop-hdfs-journalnode | semua | Kuorum node jurnal mempertahankan log pengeditan modifikasi namespace HDFS. Jika terjadi failover, Standby NameNode akan membaca log pengeditan dan mengambil kontrol dari Active NameNode. |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database
mariadb (versi gambar < 1.5) atau
mysql (versi gambar 1.5+) lokal
di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini terkait dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu opsi berikut sebagai
database metastore Hive (dalam urutan rekomendasi):
|
|
| hive-server2 | semua | Menayangkan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| zookeeper-server | semua | Kuorum ZooKeeper digunakan untuk koordinasi terdistribusi. Di cluster Ketersediaan Tinggi (HA), cluster ini digunakan untuk pemilihan pemimpin YARN resource manager dan HDFS NameNode. | |
| Hanya Master 0 dan 1 | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-zkfc | semua | ZKFC adalah proses ZKFailoverController, yang berjalan
dengan HDFS NameNode. Agent ini memantau kondisi NameNode, dan mengelola pemilihan
pemimpin melalui ZooKeeper jika terjadi failover. |
|
| Khusus Master 0 | hadoop-mapreduce-historyserver | semua | Menayangkan informasi histori aplikasi mapreduce |
| hadoop-yarn-timelineserver | 1.3+ | Menyajikan informasi histori aplikasi YARN | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive di image Dataproc < 1.5 | |
| mysql | 1.5+ | Database relasional yang digunakan sebagai database dasar default untuk metastore Hive dalam image Dataproc 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menyajikan informasi histori aplikasi Spark |