Componente Druid opcional do Dataproc

É possível instalar outros componentes, como o Druid, ao criar um cluster do Dataproc usando o recurso Componentes opcionais. Esta página descreve o componente Druid.

O componente Apache Druid é um armazenamento de dados OLAP distribuído e de código aberto. O componente Druid instala os serviços Druid nos nós mestres (Coordenador, Agente e Overlord) e workers (Histórico, Em tempo real e Intermediário) de cluster do Dataproc. O componente Druid usa o Zookeeper para gerenciar as coordenadas.

Instalar o componente

Instale o componente ao criar um cluster do Dataproc. Os componentes podem ser adicionados aos clusters criados com o Dataproc versão 1.3 ou posterior. O componente Druid requer a instalação do Zookeeper, como mostrado no exemplo da Google Cloud CLI abaixo.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Dataproc.

Comando gcloud

Para criar um cluster do Dataproc que inclua o componente Druid, use o comando gcloud dataproc beta clusters create cluster-name com a sinalização --optional-components.

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

API REST

O componente Druid pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

  1. Ativar o componente.
    • No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado.
    • Na seção Componentes, em Componentes opcionais, selecione Druid, Zookeeper e outros componentes opcionais para instalar no cluster.

Como acessar o Druid

Um cluster do Dataproc criado com o componente Druid instalado tem os serviços de overlord, coordenador e agente do Druid configurados no nó mestre do cluster. Esses serviços são hospedados nas seguintes portas de nó mestre:

Serviço Porta
Overlord 8092
Coordenador 8081
Broker 8082

Um cluster do Dataproc criado com o componente Druid instalado tem os serviços históricos e Intermediários do Druid configurados nos nós de trabalho. Esses serviços são hospedados nas seguintes portas de nó de trabalho:

Serviço Porta
Intermediário 8091
Histórico 8083

Atualmente, o Druid não está integrado ao Gateway de componentes do Dataproc. Para acessar as IUs da Web do Druid Coordinator ou Overlord, crie um túnel SSH para a porta do serviço no nó mestre.