Dataproc 선택적 HBase 구성요소

Dataproc 클러스터를 만들 때 Dataproc 버전 1.5 또는 Dataproc 버전 2.0의 선택적 구성요소 기능을 사용하여 HBase와 같은 추가 구성요소를 설치할 수 있습니다. 그러나 Dataproc 클러스터의 임시 특성으로 인해 Apache HBase 구성요소는 Dataproc에서 사용하지 않는 것이 좋습니다.

Google Cloud는 자체 관리형 Apache HBase를 배포할 수 있는 여러 서비스를 제공하지만 Cloud Bigtable은 HBase 및 워크로드 이동성이 포함된 개방형 API를 제공하므로 가장 적합한 옵션입니다. HBase 데이터베이스 테이블은 기본 데이터 관리를 위해 Bigtable로 마이그레이션할 수 있지만 이전에 Spark와 같이 HBase와 상호 운용된 애플리케이션은 Dataproc에 유지되며 Bigtable과 안전하게 연결될 수 있습니다. 이 가이드에서는 Bigtable을 시작하기 위한 고급 단계를 제공하고 Dataproc HBase 배포에서 Bigtable로 데이터를 마이그레이션하기 위한 참조를 제공합니다.

Bigtable 시작하기

Cloud Bigtable은 HBase 워크로드에 Apache HBase API 클라이언트 호환성 및 이동성을 제공하는 확장성이 뛰어난 고성능 NoSQL 플랫폼입니다. 클라이언트는 HBase API 버전 1.x 및 2.x와 호환되며 Bigtable에 읽고 쓰기 위해 기존 애플리케이션에 포함될 수 있습니다. 기존 HBase 애플리케이션은 Bigtable HBase 클라이언트 라이브러리를 추가하여 Bigtable에 저장된 데이터를 읽고 쓸 수 있습니다.

Bigtable로 HBase 애플리케이션을 구성하는 방법에 대한 자세한 내용은 Bigtable 및 HBase API를 참조하세요.

Bigtable 클러스터 만들기

이전에 HBase에 저장된 데이터를 저장하는 클러스터 및 테이블을 만들어 Bigtable 사용을 시작할 수 있습니다. HBase 테이블과 동일한 스키마를 사용하여 인스턴스, 클러스터 및 테이블을 만들려면 Bigtable 문서의 단계를 따르세요. HBase 테이블 DDL에서 테이블을 자동으로 만들려면 스키마 번역 도구를 참조하세요.

Google Cloud 콘솔에서 Bigtable 인스턴스를 열어 초당 행, 지연 시간, 처리량 등 테이블 및 서버 측 모니터링 차트를 보고 새로 프로비저닝된 테이블을 관리합니다. 자세한 내용은 Monitoring을 참조하세요.

Dataproc에서 Bigtable로 데이터 마이그레이션

Bigtable에서 테이블을 만든 후 Google Cloud의 HBase를 Bigtable로 마이그레이션의 안내에 따라 데이터를 가져오고 유효성을 검사할 수 있습니다. 데이터를 마이그레이션한 후 Bigtable로 읽기 및 쓰기를 전송하도록 애플리케이션을 업데이트할 수 있습니다.

다음 단계