Dataproc-Hub verwenden

Lernziele

  1. Verwenden Sie Dataproc Hub, um eine JupyterLab-Notebook-Umgebung für einzelne Nutzer zu erstellen, die auf einem Dataproc-Cluster ausgeführt wird.

  2. Erstellen Sie ein Notebook und führen Sie einen Spark-Job im Dataproc-Cluster aus.

  3. Löschen Sie den Cluster und behalten Sie Ihr Notebook in Cloud Storage bei.

Hinweise

  1. Der Administrator muss Ihnen die Berechtigung notebooks.instances.use erteilen (siehe IAM-Identity and Access Management festlegen).

Dataproc JupyterLab-Cluster über Dataproc Hub erstellen

  1. Wählen Sie in der Google Cloud Console auf der Seite Dataproc → Workbench den Tab Nutzerverwaltete Notebooks aus.

  2. Klicken Sie in der Zeile mit der vom Administrator erstellten Dataproc Hub-Instanz auf JupyterLab öffnen.

    1. Wenn Sie keinen Zugriff auf die Google Cloud Console haben, geben Sie in Ihrem Webbrowser die Dataproc Hub-Instanz-URL ein, die ein Administrator für Sie freigegeben hat.

  3. Wählen Sie auf der Seite Jupyterhub → Dataproc-Optionen eine Clusterkonfiguration und -zone aus. Falls aktiviert, nehmen Sie die gewünschten Anpassungen vor und klicken Sie auf Erstellen.

    Nachdem der Dataproc-Cluster erstellt wurde, werden Sie zur JupyterLab-Benutzeroberfläche weitergeleitet, die auf dem Cluster ausgeführt wird.

Notebook erstellen und einen Spark-Job ausführen

  1. Klicken Sie im linken Bereich der JupyterLab-Benutzeroberfläche auf GCS (Cloud Storage).

  2. Erstellen Sie ein PySpark-Notebook über den JupyterLab-Launcher.

  3. Der PySpark-Kernel initialisiert einen SparkContext mithilfe der Variable sc. Sie können den SparkContext untersuchen und einen Spark-Job aus dem Notebook ausführen.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Benennen Sie das Notebook und speichern Sie es. Das Notebook wird gespeichert und verbleibt in Cloud Storage, nachdem der Dataproc-Cluster gelöscht wurde.

Dataproc-Cluster herunterfahren

  1. Wählen Sie in der JupyterLab-Benutzeroberfläche File → Hub Control Panel (Datei → Hub-Steuerfeld) aus, um die Seite Jupyterhub zu öffnen.

  2. Klicken Sie auf Stop My Cluster, um den JupyterLab-Server zu beenden (löschen), wodurch der Dataproc-Cluster gelöscht wird.

Nächste Schritte