Layanan Dataproc

Halaman ini mencantumkan layanan yang versi gambar Dataproc dijalankan pada node cluster Dataproc.

Semua node

Layanan berikut berjalan di semua node dalam sebuah cluster.

Jenis node Layanan Versi image Deskripsi
Semua node google-dataproc-agent all Menerima tugas dari Dataproc dan meluncurkan driver tugas
fasih Google all Mengumpulkan dan mengirim log ke Logging

Cluster standar

Layanan berikut berjalan pada cluster standar.

Jenis node Layanan Versi image Deskripsi
Semua node hadoop-hdfs-namenode all Mengelola sistem file HDFS
hadoop-hdfs-secondarynamenode all Memeriksa NameNode
hadoop-mapreduce-historyserver all Menyajikan petamengurangi informasi histori aplikasi
hadoop-yarn-resourcemanager all Menjadwalkan dan mengelola aplikasi YARN
hadoop-yarn-timelineserver 1.3+ Menyajikan informasi histori aplikasi YARN
hive-metastore all Mengelola metadata tabel Hive. Secara default, gunakan database mariadb lokal (versi gambar < 1.5) atau mysql (versi gambar 1.5+) pada node master sebagai penyimpanan metadata tabel Hive. Penggunaan database default tidak direkomendasikan karena database ini terikat dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari hal berikut sebagai database metastore Hive (dalam urutan rekomendasi):
  1. Dataproc Metastore
  2. Instance Cloud SQL
hive-server2 all Melayani kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive
mariadb < 1,5 Database relasional digunakan sebagai database dasar default untuk metastore Hive di gambar Dataproc < 1.5
mysql 1,5+ Database relasional digunakan sebagai database dasar default untuk metastore Hive di gambar Dataproc 1.5+
nfs-kernel-server < 1,3 NFS adalah Sistem File Jaringan.
spark-history-server all Menyajikan informasi histori aplikasi Spark
Semua Pekerja hadoop-yarn-nodemanager all Meluncurkan dan mengelola penampung YARN
Khusus Pekerja Utama hadoop-hdfs-datanode all Menyimpan blok HDFS

Cluster HA

Pada cluster Ketersediaan Tinggi (HA) Dataproc, berbagai layanan berjalan pada node master yang berbeda, seperti yang ditunjukkan di bawah ini. Layanan node pekerja cluster HA sama dengan yang tercantum untuk cluster standar.

Jenis node Layanan Versi image Deskripsi
Semua master hadoop-hdfs-journalnode all Kuorum node jurnal mempertahankan log edit modifikasi namespace HDFS. Jika terjadi failover, NameNode Standby akan membaca log edit dan mengambil kontrol dari Active NameNode.
hadoop-yarn-resourcemanager all Menjadwalkan dan mengelola aplikasi YARN
hive-metastore all Mengelola metadata tabel Hive. Secara default, gunakan database mariadb lokal (versi gambar < 1.5) atau mysql (versi gambar 1.5+) pada node master sebagai penyimpanan metadata tabel Hive. Penggunaan database default tidak direkomendasikan karena database ini terikat dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari hal berikut sebagai database metastore Hive (dalam urutan rekomendasi):
  1. Dataproc Metastore
  2. Instance Cloud SQL
hive-server2 all Melayani kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive
zookeeper-server all Kuorum ZooKeeper digunakan untuk koordinasi terdistribusi. Di cluster Ketersediaan Tinggi (HA), ini digunakan untuk pemilihan pemimpin HDFS NameNode dan pengelola resource YARN.
Hanya master 0 dan 1 hadoop-hdfs-namenode all Mengelola sistem file HDFS
hadoop-hdfs-zkfc all ZKFC adalah proses ZKFailoverController, yang berjalan dengan HDFS NameNode. Node ini memantau kondisi NameNode, dan mengelola pemilihan pemimpin melalui ZooKeeper jika terjadi failover.
Hanya master 0 hadoop-mapreduce-historyserver all Menyajikan petamengurangi informasi histori aplikasi
hadoop-yarn-timelineserver 1.3+ Menyajikan informasi histori aplikasi YARN
mariadb < 1,5 Database relasional digunakan sebagai database dasar default untuk metastore Hive di gambar Dataproc < 1.5
mysql 1,5+ Database relasional digunakan sebagai database dasar default untuk metastore Hive di gambar Dataproc 1.5+
nfs-kernel-server < 1,3 NFS adalah Sistem File Jaringan.
spark-history-server all Menyajikan informasi histori aplikasi Spark