이 페이지에는 Dataproc 이미지 버전이 Dataproc 클러스터 노드에서 실행하는 서비스가 나와 있습니다.
모든 노드
다음 서비스는 클러스터의 모든 노드에서 실행됩니다.
| 노드 유형 | 서비스 | 이미지 버전 | 설명 |
|---|---|---|---|
| 모든 노드 | google-dataproc-agent | 모두 | Dataproc에서 작업을 수신하고 작업 드라이버를 실행합니다. |
| google-fluentd | 모두 | 로그를 수집하여 Logging에 푸시합니다. |
표준 클러스터
다음 서비스는 표준 클러스터에서 실행됩니다.
| 노드 유형 | 서비스 | 이미지 버전 | 설명 |
|---|---|---|---|
| 모든 노드 | hadoop-hdfs-namenode | 모두 | HDFS 파일 시스템을 관리합니다. |
| hadoop-hdfs-secondarynamenode | 모두 | NameNode를 체크포인트합니다. | |
| hadoop-mapReduce-historyserver | 모두 | 맵리듀스 애플리케이션 기록 정보를 제공합니다. | |
| hadoop-yarn-resourcemanager | 모두 | YARN 애플리케이션을 예약하고 관리합니다. | |
| hadoop-yarn-timelineserver | 1.3+ | YARN 애플리케이션 기록 정보를 제공합니다. | |
| hive-metastore | 모두 | Hive 테이블 메타데이터를 관리합니다. 기본적으로 마스터 노드의 로컬 mariadb(이미지 버전 < 1.5) 또는 mysql(이미지 버전 1.5 이상) 데이터베이스를 Hive 테이블 메타데이터 저장소로 사용합니다.
기본 데이터베이스는 클러스터의 수명 주기에 연결되므로 사용하지 않는 것이 좋습니다. 대신 (권장되는 순서로 나열된) 다음 데이터베이스 중 하나를 Hive 메타스토어 데이터베이스로 사용합니다.
|
|
| hive-server2 | 모두 | Hive에 대해 클라이언트(주로 Beeline 셸 쿼리)에서 받은 쿼리를 제공합니다. | |
| mariadb | < 1.5 | Dataproc < 1.5 이미지에서 Hive Metastore의 기본 데이터베이스(기본값)로 사용되는 관계형 데이터베이스입니다. | |
| mysql | 1.5+ | Dataproc 1.5+ 이미지에서 Hive Metastore의 기본 데이터베이스(기본값)로 사용되는 관계형 데이터베이스입니다. | |
| nfs-kernel-server | < 1.3 | NFS는 네트워크 파일 시스템입니다. | |
| spark-history-server | 모두 | Spark 애플리케이션 기록 정보를 제공합니다. | |
| 모든 작업자 | hadoop-yarn-nodemanager | 모두 | YARN 컨테이너를 실행하고 관리합니다. |
| 기본 작업자만 | hadoop-hdfs-datanode | 모두 | HDFS 블록을 저장합니다. |
HA 클러스터
Dataproc 고가용성(HA) 클러스터에서 아래와 같이 다양한 서비스가 각기 다른 마스터 노드에서 실행됩니다. HA 클러스터 워커 노드 서비스는 표준 클러스터에 나열된 서비스와 동일합니다.
| 노드 유형 | 서비스 | 이미지 버전 | 설명 |
|---|---|---|---|
| 모든 마스터 | hadoop-hdfs-journalnode | 모두 | 저널 노드의 쿼럼은 HDFS 네임스페이스 수정의 수정 로그를 유지보수합니다. 장애 조치가 발생하면 대기 NameNode가 수정 로그를 읽고 활성 NameNode에서 제어 권한을 가져옵니다. |
| hadoop-yarn-resourcemanager | 모두 | YARN 애플리케이션을 예약하고 관리합니다. | |
| hive-metastore | 모두 | Hive 테이블 메타데이터를 관리합니다. 기본적으로 마스터 노드의 로컬 mariadb(이미지 버전 < 1.5) 또는 mysql(이미지 버전 1.5 이상) 데이터베이스를 Hive 테이블 메타데이터 저장소로 사용합니다.
기본 데이터베이스는 클러스터의 수명 주기에 연결되므로 사용하지 않는 것이 좋습니다. 대신 (권장되는 순서로 나열된) 다음 데이터베이스 중 하나를 Hive 메타스토어 데이터베이스로 사용합니다.
|
|
| hive-server2 | 모두 | Hive에 대해 클라이언트(주로 Beeline 셸 쿼리)에서 받은 쿼리를 제공합니다. | |
| zookeeper-server | 모두 | ZooKeeper 쿼럼은 분산 조정에 사용됩니다. 고가용성(HA) 클러스터에서 HDFS NameNodes 및 YARN 리소스 관리자 리더 선택에 사용됩니다. | |
| 마스터 0 및 1만 | hadoop-hdfs-namenode | 모두 | HDFS 파일 시스템을 관리합니다. |
| hadoop-hdfs-zkFC | 모두 | ZKFC는 HDFS NameNode로 실행되는 ZKFailoverController 프로세스입니다. NameNode의 상태를 모니터링하고 장애 조치 시 ZooKeeper를 통해 리더 선택을 관리합니다. |
|
| 마스터 0만 | hadoop-mapReduce-historyserver | 모두 | 맵리듀스 애플리케이션 기록 정보를 제공합니다. |
| hadoop-yarn-timelineserver | 1.3+ | YARN 애플리케이션 기록 정보를 제공합니다. | |
| mariadb | < 1.5 | Dataproc < 1.5 이미지에서 Hive Metastore의 기본 데이터베이스(기본값)로 사용되는 관계형 데이터베이스입니다. | |
| mysql | 1.5+ | Dataproc 1.5+ 이미지에서 Hive Metastore의 기본 데이터베이스(기본값)로 사용되는 관계형 데이터베이스입니다. | |
| nfs-kernel-server | < 1.3 | NFS는 네트워크 파일 시스템입니다. | |
| spark-history-server | 모두 | Spark 애플리케이션 기록 정보를 제공합니다. |