Optionale Dataproc Solr-Komponente

Sie können zusätzliche Komponenten wie Solr installieren, wenn Sie einen Dataproc-Cluster mit der Funktion Optionale Komponenten erstellen. Auf dieser Seite wird die Solr-Komponente erläutert.

Die Apache Solr-Komponente ist eine Open-Source-Plattform für die Unternehmenssuche. Der Solr-Server und die Web-UI sind an Port 8983 auf den Masterknoten des Clusters verfügbar.

Solr-Dateien dauerhaft speichern: Standardmäßig schreibt und liest Solr die Index- und Transaktionslogdateien in HDFS. Um Solr-Dateien dauerhaft zu speichern, verwenden Sie einen Cloud Storage-Pfad als Solr-Basisverzeichnis. Dazu legen Sie bei der Installation der Komponente das Clusterattribut dataproc:solr.gcs.path fest.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Dataproc Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Zum Erstellen eines Dataproc-Clusters, der die Solr-Komponente enthält, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components. Der Beispielbefehl unten verwendet das optionale Flag properties, um einen Cloud Storage-Pfad als Solr-Basisverzeichnis festzulegen.

Verwenden Sie beim Erstellen des Clusters den Befehl gcloud beta dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt, um die Verbindung zur Jupyter Notebook Web UI mit dem Component Gateway zu ermöglichen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Fügen Sie dem Befehl gcloud dataproc clusters create das Clusterattribut --properties="dataproc:solr.gcs.path=gs://bucket-name/" hinzu, um einen Cloud Storage-Bucket festzulegen, in dem Solr-Dokumente gespeichert werden (Solr-Basisverzeichnis).

REST API

Die Solr-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Im Rahmen Ihrer clusters.create-Anfrage haben Sie folgende Möglichkeiten:

1. Setzen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true, um die Verbindung zur Solr-Webbenutzeroberfläche über das Component Gateway zu ermöglichen.
2. Legen Sie das Clusterattribut "dataproc:solr.gcs.path=gs://bucket-name" im Feld SoftwareConfig.Component.properties fest, um einen Cloud Storage-Bucket anzugeben, in dem Solr-Dokumente gespeichert werden sollen (Solr-Basisverzeichnis).

Console

1. Aktivieren Sie die Komponente und das Komponentengateway.
   • Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ Solr und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus (siehe Component Gateway-URLs ansehen und aufrufen).