Cloud Dataproc 구성요소

클러스터를 생성하면 표준 Apache Hadoop 에코 시스템 구성요소가 자동으로 클러스터에 설치됩니다(Cloud Dataproc 버전 목록 참조). 클러스터를 만들 때 클러스터에 '선택적 구성요소'라는 추가 구성요소를 설치할 수 있습니다. 선택적 구성요소를 클러스터에 추가하는 것은 초기화 작업을 통해 구성요소를 추가하는 것과 비슷하지만 다음과 같은 이점이 있습니다.

  • 클러스터 시작 시간 단축
  • 특정 Dataproc 버전과의 호환성 입증
  • 초기화 작업 스크립트 대신 클러스터 매개변수 사용
  • 선택적 구성요소는 다른 Dataproc 구성요소와 통합됩니다. 예를 들어 Anaconda와 Zeppelin을 클러스터에 설치하면 Zeppelin은 Anaconda의 Python 인터프리터와 라이브러리를 사용합니다.

선택적 구성요소는 Dataproc 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.

사용 가능한 선택적 구성요소

선택적 구성요소 gcloud 명령어 및 API 요청의
COMPONENT_NAME
이미지 버전 출시 단계
Anaconda ANACONDA 1.3 이상
(Preview 2.0에서는 사용할 수 없음)
GA
Druid DRUID 1.3 이상 알파
HBase HBASE 1.5 이상 베타
Hive WebHCat HIVE_WEBHCAT 1.3 이상 GA
Jupyter 노트북 JUPYTER 1.3 이상 GA
Presto PRESTO 1.3 이상 GA
Ranger RANGER 1.3 이상 베타
Solr SOLR 1.3 이상 베타
Zeppelin 노트북 ZEPPELIN 1.3 이상 GA
Zookeeper ZOOKEEPER 1.0 이상 GA

선택적 구성요소 추가

gcloud 명령

Dataproc 클러스터를 만들고 클러스터에 하나 이상의 선택적 구성요소를 설치하려면 gcloud beta dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용하세요.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

선택적 구성요소는 SoftwareConfig.Componentclusters.create 요청의 일부로 사용하여 Dataproc API를 통해 지정될 수 있습니다.

콘솔

Cloud Console에서 Dataproc 클러스터 만들기 페이지를 엽니다. 페이지 하단에서 '고급 옵션'을 클릭하여 선택적 구성요소 섹션을 확인합니다.

'구성요소 선택'을 클릭하여 선택적 구성요소 선택 패널을 엽니다. 클러스터에 설치할 하나 이상의 구성요소를 선택합니다.