Dataproc 선택적 Druid 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 Druid와 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Druid 구성요소를 설명합니다.

Apache Druid 구성요소는 오픈소스 기반의 분산 OLAP 데이터 저장소입니다. Druid 구성요소는 Dataproc 클러스터 마스터 노드(Coordinator, Broker, Overlord)와 워커 노드(Historical, Realtime MiddleManager)에 Druid 서비스를 설치합니다. Druid 구성요소는 Zookeep을 사용하여 조정을 관리합니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Dataproc 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다. Druid 구성요소를 사용하려면 Zookeeper 구성요소가 설치되어 있어야 합니다(아래 Google Cloud CLI 예시 참조).

각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.

gcloud 명령어

Druid 구성요소가 포함된 Dataproc 클러스터를 만들려면 gcloud dataproc beta clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용합니다.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

REST API

Druid 구성요소는 SoftwareConfig.Component를 clusters.create 요청에 사용하여 Dataproc API를 통해 지정할 수 있습니다.

콘솔

  1. 구성요소를 사용 설정합니다.
    • Google Cloud 콘솔에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
    • 구성요소 섹션의 선택적 구성요소 아래에서 클러스터에 설치할 Druid, Zookeeper, 기타 선택적인 구성요소를 선택합니다.

Druid 액세스

Druid 구성요소가 설치된 Dataproc 클러스터에는 클러스터의 마스터 노드에 Druid Overlord, Coordinator, Broker 서비스가 구성되어 있습니다. 이러한 서비스는 다음 마스터 노드 포트에서 호스팅 됩니다.

서비스 포트
Overlord 8092
Coordinator 8081
Broker 8082

Druid 구성요소가 설치된 Dataproc 클러스터에는 Druid Middlemanager 및 Historical 서비스가 워커 노드에 구성되어 있습니다. 이러한 서비스는 다음 워커 노드 포트에서 호스팅 됩니다.

서비스 포트
MiddleManager 8091
Historical 8083

현재 Druid는 Dataproc 구성요소 게이트웨이와 통합되지 않습니다. Druid Coordinator 또는 Overlord 웹 UI에 액세스하려면 마스터 노드에서 서비스의 포트에 SSH 터널을 만듭니다.