Optionale Zeppelin-Komponente von Dataproc

Sie können zusätzliche Komponenten wie Zeppelin installieren, wenn Sie einen Dataproc-Cluster mit der Funktion Optionale Komponenten erstellen. Auf dieser Seite wird die Zeppelin-Komponente erläutert.

Die Zeppelin Notebook-Komponente ist ein webbasiertes Notebook zur interaktiven Datenanalyse. Die Web-UI von Zeppelin ist über Port 8080 auf dem ersten Masterknoten des Clusters verfügbar.

Notebooks werden standardmäßig im Dataproc-Staging-Bucket in Cloud Storage gespeichert. Dieser Bucket wird vom Nutzer festgelegt oder bei der Clustererstellung automatisch generiert. Der Standort kann zum Zeitpunkt der Clustererstellung über das zeppelin:zeppelin.notebook.gcs.dir-Attribut geändert werden.

• Sie können Zeppelin durch die vorangestellten Clusterattribute zeppelin und zeppelin-env konfigurieren.
  • Um das Risiko einer Remotecodeausführung über unsichere Notebookserver-APIs zu verringern, ist die zeppelin:zeppelin.server.addr-Clusterattribut-Standardeinstellung für Image-Versionen 1.3 und höher 127.0.0.1, wodurch die Verbindungen auf localhost beschränkt sind, wenn Component Gateway aktiviert ist.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Dataproc Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Zum Erstellen eines Dataproc-Clusters, der die Zeppelin-Komponente enthält, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

Verwenden Sie beim Erstellen des Clusters (Image-Version 1.3.29 oder höher) den Befehl gcloud dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt, um die Verbindung zur Zeppelin-Notebook-Web-UI mithilfe von Component Gateway zu aktivieren.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Die Zeppelin-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create angegeben werden.

Verwenden Sie die Dataproc v1 API und legen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true als Teil der clusters.create-Anfrage fest. Damit können Sie eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway ermöglichen.

Console

1. Aktivieren Sie das Komponenten- und das Komponentengateway.
   • Rufen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen auf. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ Zeppelin und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus (siehe Component Gateway-URLs ansehen und aufrufen).

Zeppelin-Notebook öffnen

Unter Component Gateway-URLs ansehen und darauf zugreifen erfahren Sie, wie Sie in der Google Cloud Console auf Component Gateway-Links klicken, um die Zeppelin-Notebook-UI, die auf dem Masterknoten des Clusters ausgeführt wird, in Ihrem lokalen Browser zu öffnen.