Dataproc-Druid-Komponente

Alpha

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Sie können zusätzliche Komponenten installieren, wenn Sie einen Dataproc-Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die Druid-Komponente erläutert.

Die Apache Druid-Komponente ist ein verteilter Open-Source-OLAP-Datenspeicher. Mit der Druid-Komponente werden die Druid-Dienste auf den Dataproc-Masterknoten im Cluster (Coordinator, Broker und Overlord) und den Dataproc-Worker-Knoten (Historical, Realtime und MiddleManager) installiert. Die Druid-Komponente verwendet Zookeeper, um die Koordination zu verwalten.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Dataproc Version 1.3 oder höher erstellt wurden. Für die Druid-Komponente muss die Komponente Zookeeper installiert sein, wie im Beispiel von Google Cloud unten gezeigt.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Zum Erstellen eines Dataproc-Clusters, der die Druid-Komponente enthält, verwenden Sie den Befehl gcloud dataproc beta clusters create cluster-name mit dem Flag --optional-components.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

REST API

Die Druid-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Console

1. Aktivieren Sie die Komponente.
   • Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Wählen Sie im Abschnitt „Komponenten“ unter „Optionale Komponenten“ die Option „Druid“, „Zookeeper“ und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.

Auf Druid zugreifen

In einem Dataproc-Cluster, der mit der installierten Druid-Komponente erstellt wurde, sind die Druid-Overlord-, Coordinator- und Broker-Dienste auf dem Masterknoten des Clusters konfiguriert. Diese Dienste werden auf den folgenden Masterknotenports gehostet:

Dienst	Port
Overlord	8092
Koordinator	8081
Broker	8082

In einem Dataproc-Cluster, der mit der installierten Druid-Komponente erstellt wurde, sind die Druid-Ressourcen und die historischen Dienste auf Worker-Knoten konfiguriert. Diese Dienste werden auf folgenden Worker-Knoten-Ports gehostet:

Dienst	Port
Middlemanager	8091
Bisherige Daten	8083

Derzeit ist Druid nicht in Dataproc Component Gateway eingebunden. Um auf die Druid Coordinator- oder Overlord-Web-UIs zuzugreifen, erstellen Sie einen SSH-Tunnel zum Port für den Dienst auf dem Masterknoten.