Optionale Zeppelin-Komponente für Dataproc

Sie können beim Erstellen eines Dataproc zusätzliche Komponenten wie Zeppelin installieren. mit dem Optionale Komponenten . Auf dieser Seite wird die Zeppelin-Komponente erläutert.

Die Zeppelin Notebook-Komponente ist ein webbasiertes Notebook für interaktive Datenanalysen. Die Web-UI von Zeppelin ist über Port 8080 auf dem ersten Masterknoten des Clusters verfügbar.

Notebooks werden standardmäßig im Dataproc-Staging-Bucket in Cloud Storage gespeichert. Dieser Bucket wird vom Nutzer festgelegt oder bei der Clustererstellung automatisch generiert. Der Standort kann zum Zeitpunkt der Clustererstellung über das zeppelin:zeppelin.notebook.gcs.dir-Attribut geändert werden.

• Sie können Zeppelin durch die vorangestellten Clusterattribute zeppelin und zeppelin-env konfigurieren.
  • Um das Risiko einer Remotecodeausführung über unsichere Notebookserver-APIs zu verringern, ist die zeppelin:zeppelin.server.addr-Clusterattribut-Standardeinstellung für Image-Versionen 1.3 und höher 127.0.0.1, wodurch die Verbindungen auf localhost beschränkt sind, wenn Component Gateway aktiviert ist.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Dataproc Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

So erstellen Sie einen Dataproc-Cluster, der die Zeppelin-Komponente enthält: verwenden Sie die gcloud Dataproc-Cluster erstellen cluster-name mit dem Flag --optional-components.

Verwenden Sie beim Erstellen des Clusters (Image-Version 1.3.29 oder höher) den Befehl gcloud dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt. Sie können dann eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway herstellen.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Die Zeppelin-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Verwenden Sie die Dataproc v1 API und legen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true als Teil der clusters.create-Anfrage fest. Damit können Sie eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway ermöglichen.

Console

1. Aktivieren Sie die Komponente und das Komponentengateway.
   • Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ Zeppelin und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus (siehe Component Gateway-URLs ansehen und aufrufen).

Zeppelin-Notebook öffnen

Siehe Component Gateway-URLs ansehen und auf diese zugreifen um in der Google Cloud Console auf Component Gateway-Links zu klicken, Zeppelin-Notebook-UI wird auf dem Masterknoten des Clusters in Ihrer lokalen Umgebung ausgeführt Browser.