Componente Solr de Dataproc

Puedes instalar componentes adicionales cuando creas un clúster de Dataproc con la función de componentes opcionales. En esta página, se describe el componente de Solr.

El componente de Apache Solr es una plataforma de búsqueda empresarial de código abierto. El servidor Solr y la IU web están disponibles en el puerto 8983 de los nodos de instancias principales del clúster.

Persistencia de archivos Solr: De forma predeterminada, Solr escribe y lee los archivos de registro de transacciones y de índice en HDFS. Para conservar los archivos de Solr, usa una ruta de Cloud Storage como directorio principal de Solr mediante la configuración de la propiedad de clúster dataproc:solr.gcs.path cuando instales el componente.

Instala el componente

Instala el componente cuando crees un clúster de Dataproc. Los componentes se pueden agregar a los clústeres creados con la versión 1.3 de Dataproc y las posteriores.

Consulta las versiones compatibles de Dataproc para la versión del componente incluida en cada versión de la imagen de Dataproc.

Comando de gcloud

Para crear un clúster de Dataproc que incluya el componente Solr, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components. En el siguiente comando de muestra, se usa la marca opcional properties para establecer una ruta de acceso de Cloud Storage como el directorio principal de Solr.

Cuando crees el clúster, usa el comando gcloud dataproc clusters create con la marca --enable-component-gateway, como se muestra a continuación, para habilitar la conexión a la IU web del notebook de Jupyter mediante la puerta de enlace de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Agrega la propiedad del clúster --properties="dataproc:solr.gcs.path=gs://bucket-name/" al comando gcloud dataproc clusters create para establecer un bucket de Cloud Storage donde se almacenarán los documentos de Solr (directorio principal de Solr).

API de REST

El componente Solr se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Como parte de tu solicitud clusters.create, puedes:

1. Configura la propiedad EndpointConfig.enableHttpPortAccess en true para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.
2. Establece la propiedad del clúster "dataproc:solr.gcs.path=gs://bucket-name" en el campo SoftwareConfig.Component.properties para establecer un bucket de Cloud Storage donde se almacenarán los documentos Solr (directorio principal de Solr).

Console

1. Habilita la puerta de enlace del componente y el componente.
   • En Cloud Console, abre la página Create a cluster (Crear un clúster) de Dataproc. Se selecciona el panel Configurar clúster.
   • En la sección Componentes, sigue estos pasos:
     • En componentes opcionales, selecciona Solr y otros componentes opcionales para instalar en tu clúster.
     • En Puerta de enlace de componentes, selecciona Habilitar puerta de enlace de componentes (consulta Visualiza y accede a las URL de la puerta de enlace de componentes).