Puedes instalar componentes adicionales, como Druid, cuando creas un clúster de Dataproc con la función de componentes opcionales. En esta página, se describe el componente de Druid.
El componente de Apache Druid es un almacén de datos OLAP distribuido de código abierto. El componente de Druid instala los servicios de Druid en los nodos principales (Coordinator, Broker y Overlord) y trabajadores (Historical, Realtime y MiddleManager) del clúster de Dataproc. El componente de Druid usa Zookeeper para administrar la coordinación.
Instala el componente
Instala el componente cuando crees un clúster de Dataproc. Los componentes se pueden agregar a los clústeres creados con la versión 1.3 de Dataproc y las posteriores. El componente de Druid requiere la instalación del componente Zookeeper (como se muestra en el ejemplo de Google Cloud CLI, a continuación).
Consulta las versiones compatibles de Dataproc para la versión del componente incluida en cada versión de la imagen de Dataproc.
Comando de gcloud
Para crear un clúster de Dataproc que incluya el componente Druid, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components.
gcloud beta dataproc clusters create cluster-name \ --optional-components=DRUID,ZOOKEEPER \ --region=region \ ... other flags
API de REST
El componente de Druid se puede especificar mediante la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.Consola
- Habilita el componente.
- En Google Cloud Console, abre la página Create a cluster (Crear un clúster) de Dataproc. Se selecciona el panel Configurar clúster.
- En la sección Componentes, en Componentes opcionales, selecciona Druid, Zookeeper y otros componentes opcionales para instalar en tu clúster.
Accede a Druid
Un clúster de Dataproc creado con el componente de Druid instalado tiene los servicios de Druid Overlord, Coordinator y Broker configurados en el nodo de la instancia principal del clúster. Estos servicios se alojan en los puertos de nodos de las instancias principales siguientes:
| Servicio | Puerto |
|---|---|
| Overlord | 8092 |
| Coordinador | 8081 |
| Broker | 8082 |
Un clúster de Dataproc creado con el componente de Druid instalado tiene los servicios históricos y de Middlemanager de Druid configurados en los nodos trabajadores. Estos servicios se alojan en los siguientes puertos de nodos de las instancias principales:
| Servicio | Port |
|---|---|
| Middlemanager | 8091 |
| Histórico | 8083 |
Actualmente, Druid no está integrado con la puerta de enlace del componente de Dataproc. Para acceder a las IU web de Druid Overlord o Coordinator, crea un túnel SSH en el puerto del servicio en el nodo principal.