Dataproc HBase 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 HBase 구성요소에 대해 설명합니다.

Apache HBase 구성요소는 확장 가능한 분산형 빅데이터 저장소인 Hadoop 데이터베이스입니다. HBase 서버 및 웹 UI는 Dataproc 클러스터의 첫 번째 마스터 노드에 있는 포트 16010에서 사용할 수 있습니다. 클러스터의 첫 번째 마스터 노드에 있는 터미널 창에서 hbase shell 명령어를 사용하여 HBase CLI(명령줄 인터페이스)를 호출할 수 있습니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다. Hbase 구성요소는 Dataproc 버전 1.5 이상으로 생성된 클러스터에 추가할 수 있습니다. HBase 구성요소는 아래의 gcloud 명령줄 도구 및 Console 예시에 표시된 것처럼 Zookeeper 구성요소 설치가 필요합니다.

각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.

gcloud 명령어

HBase 구성요소가 포함된 Dataproc 클러스터를 만들려면 이미지 버전 1.5 이상에서 gcloud beta dataproc clusters create cluster-name 명령어를 --region--optional-components 플래그와 함께 사용하세요.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=HBASE,ZOOKEEPER \
    --region=region \
    --image-version=1.5 \
    --enable-component-gateway \
    ... other flags

REST API

HBase 및 필수 Zookeeper 구성요소는 clusters.create 요청의 일부로 SoftwareConfig.Component를 사용하는 Dataproc API를 통해 지정할 수 있습니다. request.

Console

  1. 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
    • Cloud Console에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
    • 구성요소 섹션에서 다음을 수행합니다.
      • 선택적 구성요소 아래에서 클러스터에 설치할 HBase, Zookeeper, 기타 선택적인 구성요소를 선택합니다.
      • 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다.

HBase 구성 속성 설정

대부분의 애플리케이션에서는 기본 Dataproc HBase 구성 설정으로 충분하지만 hbase: 파일 프리픽스를 사용해서 클러스터 속성을 설정하여 HBase 구성 설정을 만들 때 수정할 수 있습니다.

hbase-site.xml에서 hbase.rootdir을 설정하는 gcloud 명령어 예시는 다음과 같습니다.

gcloud beta dataproc clusters create my-cluster \
    --optional-components=HBASE,ZOOKEEPER \
    --properties=hbase:hbase.rootdir=hdfs://...
    ... other flags (see Installing the component)