Componente Solr opcional do Dataproc

É possível instalar outros componentes, como o Solr, ao criar um cluster do Dataproc usando o recurso Componentes opcionais. Esta página descreve o componente Solr.

O componente Apache Solr é uma plataforma de pesquisa corporativa de código aberto. O servidor Solr e a IU da Web estão disponíveis na porta 8983 nos nós mestres do cluster.

Arquivos Solr permanentes: por padrão, o Solr grava e lê os arquivos de registro de índice e de transações no HDFS. Para manter arquivos Solr, use um caminho do Cloud Storage como o diretório inicial do Solr definindo a propriedade de cluster dataproc:solr.gcs.path quando você instalar o componente.

Instalar o componente

Instale o componente ao criar um cluster do Dataproc. Os componentes podem ser adicionados aos clusters criados com o Dataproc versão 1.3 ou posterior.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Dataproc.

Comando gcloud

Para criar um cluster do Dataproc que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a sinalização --optional-components. O comando de amostra abaixo usa a sinalização opcional properties para definir um caminho do Cloud Storage como o diretório inicial do Solr.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags
Adicione a propriedade de cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" ao comando gcloud dataproc clusters create para definir um bucket do Cloud Storage em que os documentos do Solr serão armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado por meio de API do Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

  1. Ative o componente e o gateway de componentes.
    • No console do Google Cloud, abra a página Criar um cluster do Dataproc. O painel "Configurar cluster" está selecionado.
    • Na seção "Componentes:"