Dataproc HBase 구성요소

선택적 구성요소 기능을 사용하여 Dataproc 클러스터를 만들 때 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 HBase 구성요소에 대해 설명합니다.

Apache HBase 구성요소는 확장 가능한 분산형 빅데이터 저장소인 Hadoop 데이터베이스입니다. HBase 서버 및 웹 UI는 Dataproc 클러스터의 첫 번째 마스터 노드에 있는 포트 16010에서 사용할 수 있습니다. 클러스터의 첫 번째 마스터 노드에 있는 터미널 창에서 hbase shell 명령어를 사용하여 HBase CLI(명령줄 인터페이스)를 호출할 수 있습니다.

구성요소 설치

Dataproc 클러스터를 만들 때 구성요소를 설치합니다. Hbase 구성요소는 Dataproc 버전 1.5 이상으로 생성된 클러스터에 추가할 수 있습니다. HBase 구성요소를 사용하려면 아래의 Google Cloud CLI 및 Console 예시에 표시된 것처럼 ZooKeeper 구성요소가 설치되어 있어야 합니다.

각 Dataproc 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전을 참조하세요.

gcloud 명령어

HBase 구성요소가 포함된 Dataproc 클러스터를 만들려면 --region--optional-components 플래그와 함께 gcloud beta dataproc clusters create cluster-name 명령어를 사용합니다.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=HBASE,ZOOKEEPER \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

HBase 및 필수 ZooKeeper 구성요소는 clusters.create 요청의 일부로 SoftwareConfig.Component를 사용하는 Dataproc API를 통해 지정할 수 있습니다. request.

Console

  1. 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
    • Cloud Console에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
    • 구성요소 섹션에서 다음을 수행합니다.
      • 선택적 구성요소 아래에서 클러스터에 설치할 HBase, ZooKeeper, 기타 선택적인 구성요소를 선택합니다.
      • 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다.

Apache HBase UI 열기

Cloud Console의 Cloud Console 구성요소 게이트웨이 링크에서 HBase를 클릭하여 Apache HBase UI를 엽니다.

HBase 구성 속성 설정

대부분의 애플리케이션에서는 기본 Dataproc HBase 구성 설정으로 충분하지만 hbase: 파일 프리픽스를 사용해서 클러스터 속성을 설정하여 HBase 구성 설정을 만들 때 수정할 수 있습니다.

hbase-site.xml에서 hbase.rootdir을 설정하는 gcloud 명령어 예시는 다음과 같습니다.

gcloud beta dataproc clusters create my-cluster \
    --optional-components=HBASE,ZOOKEEPER \
    --properties=hbase:hbase.rootdir=hdfs://...
    ... other flags (see Installing the component)