Dataproc-HBase-Komponente

Beta

Dieses Feature unterliegt den Nutzungsbedingungen des Pre-GA-Angebots in den Nutzungsbedingungen der Google Cloud Platform. Pre-GA-Features werden eventuell nur eingeschränkt unterstützt. Änderungen an diesen Features sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie unter Beschreibungen der Startphase.

Sie können zusätzliche Komponenten installieren, wenn Sie einen Dataproc-Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die HBase-Komponente beschrieben.

Die Apache HBase-Komponente ist die Hadoop-Datenbank: ein verteilter, skalierbarer Big-Data-Speicher. Der HBase-Server und die Web-UI sind an Port 16010 auf dem ersten Masterknoten des Dataproc-Clusters verfügbar. Sie können die HBase-Befehlszeile (Command Line Interface) mit dem Befehl hbase shell über ein Terminalfenster auf dem ersten Masterknoten des Clusters aufrufen.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Die Hbase-Komponente kann Clustern hinzugefügt werden, die mit Dataproc Version 1.5 und höher erstellt wurden. Für die HBase-Komponente ist die Installation der Zookeeper-Komponente erforderlich. Siehe dazu das gcloud-Befehlszeilentool und die folgenden Beispiele zu dieser Konsole.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Verwenden Sie zum Erstellen eines Dataproc-Clusters, der die HBase-Komponente enthält, den Befehl gcloud beta dataproc clusters create cluster-name mit den Flags --region und --optional-components mit Image-Version 1.5 oder höher.

Verwenden Sie beim Erstellen des Clusters den Befehl gcloud beta dataproc clusters create mit dem Flag --enable-component-gateway, wie im Folgenden zu sehen, um die Verbindung zur HBase-Web-UI mit dem Component Gateway zu ermöglichen.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=HBASE,ZOOKEEPER \
    --region=region \
    --image-version=1.5 \
    --enable-component-gateway \
    ... other flags

REST API

Die HBase- und erforderlichen Zookeeper-Komponenten können über die Dataproc API mithilfe von SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Legen Sie mit der Dataproc v1beta2 API das Attribut EndpointConfig.enableHttpPortAccess auf true als Teil der clusters.create-Anfrage fest, um die Verbindung zur HBase-Web-UI mithilfe des Component Gateway zu ermöglichen.

Console

1. Aktivieren Sie die Komponente und das Komponentengateway.
   • Öffnen Sie in der Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ HBase, Zookeeper und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus.

HBase-Konfigurationsattribute festlegen

Obwohl die standardmäßigen HBase-Konfigurationseinstellungen für die meisten Anwendungen ausreichend sein sollten, können Sie die HBase-Konfigurationseinstellungen bei der Erstellung ändern. Legen Sie dafür Clusterattribute mit dem Dateipräfix hbase: fest.

Beispiel für einen gcloud-Befehl zum Festlegen von hbase.rootdir in hbase-site.xml:

gcloud beta dataproc clusters create my-cluster \
    --optional-components=HBASE,ZOOKEEPER \
    --properties=hbase:hbase.rootdir=hdfs://...
    ... other flags (see Installing the component)