Componente Solr de Dataproc

Beta

Esta función se encuentra en un estado previo al lanzamiento y puede cambiar o tener asistencia limitada. Para obtener más información, consulta las etapas de lanzamiento de productos.

Puedes instalar componentes adicionales cuando creas un clúster de Dataproc con la función de componentes opcionales. Esta página describe el componente de Solr.

El componente de Apache Solr es una plataforma de búsqueda empresarial de código abierto. El servidor Solr y la IU web están disponibles en el puerto 8983 de los nodos de instancias principales del clúster.

Archivos de Solr persistentes: De forma predeterminada, Solr escribe y lee los archivos de registro de transacciones e índices en HDFS. Para conservar los archivos Solr, usa una ruta de Cloud Storage como directorio principal de Solr mediante la configuración de la propiedad de clúster dataproc:solr.gcs.path cuando instalas el componente.

Instala el componente

Instala el componente cuando crees un clúster de Dataproc. Los componentes se pueden agregar a los clústeres creados con la versión 1.3 de Dataproc y las posteriores.

Consulta las versiones compatibles de Dataproc para la versión del componente incluida en cada versión de la imagen de Dataproc.

Comando de gcloud

Para crear un clúster de Dataproc que incluya el componente de Solr, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components. El comando de muestra siguiente usa la marca opcional properties para establecer una ruta de Cloud Storage como el directorio principal de Solr.

Cuando crees el clúster, usa el comando gcloud dataproc clusters create con la marca --enable-component-gateway, como se muestra a continuación, para habilitar la conexión a la IU web del notebook de Jupyter mediante la puerta de enlace de componentes.

gcloud beta dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Agrega la propiedad del clúster --properties="dataproc:solr.gcs.path=gcs://bucket-name/" al comando gcloud beta dataproc clusters create para establecer un depósito de Cloud Storage donde se almacenarán los documentos de Solr (directorio principal de Solr).

API de REST

El componente Solr se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Como parte de tu solicitud clusters.create, puedes:

1. Configura la propiedad EndpointConfig.enableHttpPortAccess en true para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.
2. Establece la propiedad del clúster "dataproc:solr.gcs.path=gcs://bucket-name" en el campo SoftwareConfig.Component.properties para establecer un depósito de Cloud Storage donde se almacenarán los documentos Solr (directorio principal de Solr).

Console

Actualmente, no se admite la instalación del componente Solr desde Cloud Console.