Componente Druid facoltativo Dataproc

Puoi installare componenti aggiuntivi come Druid quando crei un cluster Dataproc utilizzando la funzionalità Componenti facoltativi. In questa pagina viene descritto il componente Druid.

Il componente Apache Druid è un datastore OLAP open source. Il componente Druid installa i servizi Druid sui nodi master del cluster Dataproc (Coordinator, Broker e Overlord) e worker (Storico, Realtime e MiddleManager). Il componente Druid utilizza Zookeeper per gestire il coordinamento.

Installa il componente

Installa il componente quando crei un cluster Dataproc. I componenti possono essere aggiunti ai cluster creati con Dataproc versione 1.3 e successive. Il componente Druid richiede l'installazione del componente Zookeeper (come mostrato nell'esempio dell'interfaccia a Google Cloud CLI).

Consulta la pagina relativa alle versioni di Dataproc supportate per la versione del componente inclusa in ogni release dell'immagine Dataproc.

Comando gcloud

Per creare un cluster Dataproc che include il componente Druid, utilizza il comando gcloud dataproc beta create cluster-name con il flag --optional-components.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

API REST

Il componente Druid può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Console

  1. Attiva il componente.
    • Nella console Google Cloud, apri la pagina Crea un cluster di Dataproc. Viene selezionato il riquadro Configura cluster.
    • Nella sezione Componenti, in Componenti facoltativi, seleziona Druid, Zookeeper e altri componenti facoltativi da installare sul tuo cluster.

Accesso a Druid

In un cluster Dataproc creato con il componente Druid installato sono configurati i servizi Druid Overlord, Coordinator e Broker sul nodo master del cluster. Questi servizi sono ospitati sulle seguenti porte dei nodi master:

Servizio Porta
Overlord 8092
Coordinatore 8081
Intermediario 8082

In un cluster Dataproc creato con il componente Drupid installato sono configurati i servizi Druid Middlemanager e Historical su nodi worker. Questi servizi sono ospitati sulle seguenti porte dei nodi worker:

Servizio Porta
Gestore medio 8091
Storica 8083

Attualmente, Druid non è integrato con Dataproc Component Gateway. Per accedere alle UI web di Druid Coordinator o Overlord, crea un tunnel SSH alla porta per il servizio sul nodo master.