Composant Dataproc Druid

Vous pouvez installer des composants supplémentaires lorsque vous créez un cluster Dataproc à l'aide de la fonctionnalité Composants facultatifs. Cette page décrit le composant Druid.

Le composant Apache Druid est un datastore OLAP Open Source distribué. Il installe les services Druid sur les nœuds maîtres (Coordinator, Broker et Overlord) et les nœuds de calcul (Historical, Realtime et MiddleManager) d'un cluster Dataproc. Le composant Druid utilise Zookeeper pour gérer la coordination.

Installer le composant

Installez le composant lorsque vous créez un cluster Dataproc. Des composants peuvent être ajoutés aux clusters créés avec Dataproc version 1.3 et ultérieure. Le composant Druid nécessite l'installation du composant ZooKeeper (comme illustré dans l'exemple de l'outil de ligne de commande gcloud ci-dessous).

Consultez la section Versions Dataproc compatibles pour connaître la version de composant incluse dans chaque version d'image Dataproc.

Commande gcloud

Pour créer un cluster Dataproc incluant le composant Presto, utilisez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

API REST

Le composant Druide peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Console

  1. Activez le composant.
    • Dans Cloud Console, ouvrez la page Dataproc Créer un cluster. Cliquez sur "Advanced options" (Options avancées) au bas de la page pour afficher la section "Optional Components" (Composants facultatifs).

    • Cliquez sur "Select component" (Sélectionner un composant) pour ouvrir le panneau de sélection Optional components (Composants facultatifs). Sélectionnez "Druid" et les autres composants facultatifs à installer sur votre cluster.

Accéder à Druid

Les services Druid Overlord, Coordinator et Broker sont configurés sur le nœud maître d'un cluster Dataproc créé avec le composant Druid installé. Ces services sont hébergés sur les ports de nœud maître suivants :

Service Port
Overlord 8092
Coordinateur 8081
Broker 8082

Les services Druid Middlemanager et Historical sont configurés sur le nœud maître d'un cluster Dataproc créé avec le composant Druid installé. Ces services sont hébergés sur les ports de nœuds de calcul suivants :

Service Port
Middlemanager 8091
Historique 8083

Pour le moment, Druid n'est pas intégré à la passerelle des composants Dataproc. Pour accéder aux UI Web de Druid Coordinator ou d'Overlord, créez un tunnel SSH vers le port du service sur le nœud maître.