Vous pouvez installer des composants supplémentaires tels que Druid lorsque vous créez un cluster Dataproc à l'aide de la fonctionnalité Composants facultatifs. Cette page décrit le composant Druid.
Le composant Apache Druid est un datastore OLAP Open Source distribué. Il installe les services Druid sur les nœuds maîtres (Coordinator, Broker et Overlord) et les nœuds de calcul (Historical, Realtime et MiddleManager) d'un cluster Dataproc. Le composant Druid utilise Zookeeper pour gérer la coordination.
Installer le composant
Installez le composant lorsque vous créez un cluster Dataproc. Des composants peuvent être ajoutés aux clusters créés avec Dataproc version 1.3 et ultérieure. Le composant Druid nécessite l'installation du composant Zookeeper (comme illustré dans l'exemple du Google Cloud CLI ci-dessous).
Consultez la section Versions Dataproc compatibles pour obtenir la version de composant incluse dans chaque version d'image Dataproc.
Commande gcloud
Pour créer un cluster Dataproc incluant le composant Presto, utilisez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.
gcloud beta dataproc clusters create cluster-name \ --optional-components=DRUID,ZOOKEEPER \ --region=region \ ... other flags
API REST
Le composant Druid peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.Console
- Activez le composant.
- Dans la console Google Cloud, ouvrez la page Dataproc Créer un cluster. Le panneau "Configurer un cluster" est sélectionné.
- Dans la section "Composants", sous "Composants facultatifs", sélectionnez "Druid", "ZooKeeper" et d'autres composants facultatifs à installer sur votre cluster.
Accéder à Druid
Les services Druid Overlord, Coordinator et Broker sont configurés sur le nœud maître d'un cluster Dataproc créé avec le composant Druid installé. Ces services sont hébergés sur les ports de nœud maître suivants :
| Service | Port |
|---|---|
| Overlord | 8092 |
| Coordinateur | 8081 |
| Broker | 8082 |
Les services Druid Middlemanager et Historical sont configurés sur le nœud maître d'un cluster Dataproc créé avec le composant Druid installé. Ces services sont hébergés sur les ports de nœuds de calcul suivants :
| Service | Port |
|---|---|
| Middlemanager | 8091 |
| Historique | 8083 |
Pour le moment, Druid n'est pas intégré à la passerelle des composants Dataproc. Pour accéder aux UI Web de Druid Coordinator ou d'Overlord, créez un tunnel SSH vers le port du service sur le nœud maître.