Utiliser Dataproc Hub

Objectifs

  1. Utilisez Dataproc Hub pour créer un environnement de notebook JupyterLab à utilisateur unique, qui s'exécute sur un cluster Dataproc.

  2. Créer un notebook et exécuter une tâche Spark sur le cluster Dataproc

  3. Supprimer le cluster et conserver le notebook dans Cloud Storage

Avant de commencer

  1. L'administrateur doit vous accorder l'autorisation notebooks.instances.use (consultez la page Définir les rôles Identity and Access Management (IAM)).

Créer un cluster Dataproc JupyterLab à partir de Dataproc Hub

  1. Sélectionnez l'onglet Notebooks gérés par l'utilisateur sur la page Dataproc → Workbench dans la console Google Cloud.

  2. Cliquez sur Ouvrir JupyterLab sur la ligne répertoriant l'instance Dataproc Hub créée par l'administrateur.

    1. Si vous n'avez pas accès à la console Google Cloud, saisissez l'URL de l'instance Dataproc Hub qu'un administrateur a partagée avec vous dans votre navigateur Web.

  3. Sur la page Jupyterhub → Dataproc Options (Options Dataproc), sélectionnez une configuration de cluster et une zone. Si cette option est activée, spécifiez les personnalisations souhaitées, puis cliquez sur Create (Créer).

    Une fois le cluster Dataproc créé, vous êtes redirigé vers l'interface JupyterLab en cours d'exécution sur le cluster.

Créer un notebook et exécuter une tâche Spark

  1. Dans le panneau de gauche de l'interface JupyterLab, cliquez sur GCS (Cloud Storage).

  2. Créez un notebook PySpark à partir du lanceur de JupyterLab.

  3. Le noyau PySpark initialise un SparkContext (à l'aide de la variable sc). Vous pouvez examiner le SparkContext et exécuter une tâche Spark à partir du notebook.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Nommez et enregistrez le notebook. Le notebook est enregistré et reste dans Cloud Storage après la suppression du cluster Dataproc.

Éteindre le cluster Dataproc

  1. Dans l'interface JupyterLab, sélectionnez Fichier → Panneau de configuration Hub pour ouvrir la page Jupyterhub.

  2. Cliquez sur Arrêter mon cluster pour arrêter (supprimer) le serveur JupyterLab, ce qui supprime le cluster Dataproc.

Étapes suivantes