本頁列出 Dataproc 映像檔版本在 Dataproc 叢集節點上執行的服務。
所有節點
下列服務會在叢集中的所有節點上執行。
| 節點類型 | 服務 | 映像檔版本 | 說明 |
|---|---|---|---|
| 所有節點 | google-dataproc-agent | 全部 | 接收 Dataproc 的工作並啟動工作驅動程式 |
| google-fluentd | 全部 | 收集記錄並推送至 Logging |
標準叢集
下列服務會在標準叢集上執行。
| 節點類型 | 服務 | 映像檔版本 | 說明 |
|---|---|---|---|
| 主要執行個體 | hadoop-hdfs-namenode | 全部 | 管理 HDFS 檔案系統 |
| hadoop-hdfs-secondarynamenode | 全部 | 檢查 NameNode | |
| hadoop-mapreduce-historyserver | 全部 | 提供 MapReduce 應用程式記錄資訊 | |
| hadoop-yarn-resourcemanager | 全部 | 排定及管理 YARN 應用程式 | |
| hadoop-yarn-timelineserver | 1.3 以上版本 | 提供 YARN 應用程式記錄資訊 | |
| hive-metastore | 全部 | 管理 Hive 資料表中繼資料。預設會使用主要節點上的本機 mariadb (映像檔版本 < 1.5) 或 mysql (映像檔版本 1.5 以上) 資料庫，做為 Hive 資料表中繼資料存放區。不建議使用預設資料庫，因為這些資料庫與叢集的生命週期息息相關。請改用下列任一資料庫做為 Hive 中繼存放區資料庫 (依建議順序)：
|
|
| hive-server2 | 全部 | 根據 Hive 處理從用戶端收到的查詢 (主要是 beeline 指令列查詢) | |
| mariadb | < 1.5 | 關聯式資料庫，在 Dataproc 1.5 以下的映像檔中，用做 Hive 中繼存放區的預設基礎資料庫 | |
| mysql | 1.5 以上 | 關聯式資料庫，用做 Dataproc 1.5 以上映像檔中 Hive 中繼存放區的預設基礎資料庫 | |
| nfs-kernel-server | < 1.3 | NFS 是網路檔案系統。 | |
| spark-history-server | 全部 | 提供 Spark 應用程式記錄資訊 | |
| 所有工作者 | hadoop-yarn-nodemanager | 全部 | 啟動及管理 YARN 容器 |
| 僅限主要工作站 | hadoop-hdfs-datanode | 全部 | 儲存 HDFS 區塊 |
高可用性叢集
在 Dataproc 高可用性 (HA) 叢集中，不同服務會在不同主要節點上執行，如下所示。高可用性叢集工作節點服務與標準叢集列出的服務相同。
| 節點類型 | 服務 | 映像檔版本 | 說明 |
|---|---|---|---|
| 所有主要帳戶 | hadoop-hdfs-journalnode | 全部 | 仲裁的日誌節點會維護 HDFS 命名空間修改的編輯記錄。如果發生容錯移轉，備用 NameNode 會讀取編輯記錄，並接管 Active NameNode。 |
| hadoop-yarn-resourcemanager | 全部 | 排定及管理 YARN 應用程式 | |
| hive-metastore | 全部 | 管理 Hive 資料表中繼資料。預設會使用主要節點上的本機 mariadb (映像檔版本 < 1.5) 或 mysql (映像檔版本 1.5 以上) 資料庫，做為 Hive 資料表中繼資料存放區。不建議使用預設資料庫，因為這些資料庫與叢集的生命週期息息相關。請改用下列任一資料庫做為 Hive 中繼存放區資料庫 (依建議順序)：
|
|
| hive-server2 | 全部 | 根據 Hive 處理從用戶端收到的查詢 (主要是 beeline 指令列查詢) | |
| zookeeper-server | 全部 | ZooKeeper 仲裁用於分散式協調。在高可用性 (HA) 叢集中，ZooKeeper 用於HDFS NameNode 和 YARN 資源管理員的領導者選舉。 | |
| 僅限主機 0 和 1 | hadoop-hdfs-namenode | 全部 | 管理 HDFS 檔案系統 |
| hadoop-hdfs-zkfc | 全部 | ZKFC 是 ZKFailoverController 程序，會與 HDFS NameNode 一併執行。這項服務會監控 NameNode 的健康狀態，並在發生容錯移轉時，透過 ZooKeeper 管理領導者選舉。 |
|
| 僅限 Master 0 | hadoop-mapreduce-historyserver | 全部 | 提供 MapReduce 應用程式記錄資訊 |
| hadoop-yarn-timelineserver | 1.3 以上版本 | 提供 YARN 應用程式記錄資訊 | |
| mariadb | < 1.5 | 關聯式資料庫，在 Dataproc 1.5 以下的映像檔中，用做 Hive 中繼存放區的預設基礎資料庫 | |
| mysql | 1.5 以上 | 關聯式資料庫，用做 Dataproc 1.5 以上映像檔中 Hive 中繼存放區的預設基礎資料庫 | |
| nfs-kernel-server | < 1.3 | NFS 是網路檔案系統。 | |
| spark-history-server | 全部 | 提供 Spark 應用程式記錄資訊 |