Componente de Solr de Dataproc

Puedes instalar componentes adicionales cuando creas un clúster de Dataproc con la función de componentes opcionales. Esta página describe el componente de Solr.

El componente de Apache Solr es una plataforma de búsqueda empresarial de código abierto. El servidor Solr y la IU web están disponibles en el puerto 8983 de los nodos de instancias principales del clúster.

Archivos persistentes de Solr: de forma predeterminada, Solr escribe y lee los índices y archivos de registro de transacciones en HDFS. Para conservar los archivos Solr, usa una ruta de acceso de Cloud Storage como directorio principal de Solr si configuras la propiedad del clúster dataproc:solr.gcs.path cuando instalas el componente.

Instala el componente

Instala el componente cuando crees un clúster de Dataproc. Los componentes se pueden agregar a los clústeres creados con la versión 1.3 de Dataproc y las posteriores.

Consulta las versiones compatibles de Dataproc para la versión del componente incluida en cada versión de la imagen de Dataproc.

Comando de gcloud

Para crear un clúster de Dataproc que incluya el componente de Solr, usa elgcloud dataproc clusters create cluster-name con el comando--optional-components. El siguiente comando de ejemplo usa la marca opcional properties para establecer una ruta de Cloud Storage como el directorio principal de Solr.

Cuando crees el clúster, usa el comando gcloud dataproc clusters create con la marca --enable-component-gateway, como se muestra a continuación, para habilitar la conexión a la IU web del notebook de Jupyter mediante la puerta de enlace de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Agrega la propiedad del clúster --properties="dataproc:solr.gcs.path=gcs://bucket-name/" al comando gcloud dataproc clusters create para establecer un depósito de Cloud Storage donde se almacenarán los documentos de Solr (directorio principal de Solr).

API de REST

El componente Solr se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Como parte de tu solicitud clusters.create, puedes:

1. Configura la propiedad EndpointConfig.enableHttpPortAccess en true para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.
2. Establece la propiedad del clúster "dataproc:solr.gcs.path=gcs://bucket-name" en el campo SoftwareConfig.Component.properties para establecer un depósito de Cloud Storage donde se almacenarán los documentos Solr (directorio principal de Solr).

Console

1. Habilita la puerta de enlace del componente y el componente.
   • En Cloud Console, abre la página Create a cluster (Crear un clúster) de Dataproc. Se selecciona el panel Configurar clúster.
   • En la sección Componentes, sigue estos pasos:
     • En Componentes opcionales, selecciona Solr y otros componentes opcionales para instalar en tu clúster.
     • En Puerta de enlace de componentes, selecciona Habilitar la puerta de enlace de componentes (consulta Ver y acceder a las URL de puerta de enlace de componentes).