Composant Jupyter Dataproc facultatif

Vous pouvez installer des composants supplémentaires tels que Jupyter lorsque vous créez un à l'aide de la commande Composants facultatifs . Cette page décrit le composant Jupyter.

Le composant Jupyter est un notebook Web unique qui permet d'analyser des données de façon interactive. JupyterLab UI Web L'interface utilisateur Web de Jupyter est disponible sur le port 8123 du premier nœud maître du cluster.

Lancez des notebooks pour plusieurs utilisateurs. Vous pouvez créer Dataproc compatible Instance Vertex AI Workbench ou installer le plug-in Dataproc JupyterLab sur une VM pour diffuser des notebooks auprès de plusieurs utilisateurs.

Configurez Jupyter. Vous pouvez configurer Jupyter en fournissant dataproc:jupyter propriétés du cluster. Pour réduire le risque d'exécution de code à distance sur un serveur de notebooks non sécurisé API, la propriété de cluster par défaut dataproc:jupyter.listen.all.interfaces est défini sur false, ce qui limite les connexions à localhost (127.0.0.1) lorsque la passerelle des composants (l'activation de la passerelle des composants est requise lors de l'installation du composant Jupyter).

Le notebook Jupyter fournit un noyau Python permettant d'exécuter du code Spark, ainsi qu'un noyau PySpark. Par défaut, les notebooks sont enregistrés dans Cloud Storage. dans le bucket de préproduction Dataproc spécifié par l'utilisateur créé automatiquement lors de la création du cluster. L'emplacement peut être modifié au moment de la création du cluster à l'aide de la dataproc:jupyter.notebook.gcs.dir.

Travailler avec des fichiers de données : Vous pouvez utiliser un notebook Jupyter pour travailler avec des fichiers de données qui ont été importées dans Cloud Storage. Depuis le connecteur Cloud Storage est préinstallé sur un cluster Dataproc, vous pouvez référencer le directement dans votre notebook. Voici un exemple qui accède aux fichiers CSV dans Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Voir Fonctions de chargement et d'enregistrement génériques pour les exemples PySpark.

Installer Jupyter

Installez le composant lorsque vous créez un cluster Dataproc. Le composant Jupyter nécessite l'activation de Dataproc Passerelle des composants.

Console

  1. Activez le composant.

CLI gcloud

Pour créer un cluster Dataproc incluant le composant Jupyter, utilisez la gcloud dataproc clusters create cluster-name avec l'option --optional-components.

Exemple de la dernière version d'image par défaut

L'exemple suivant permet d'installer le fichier sur un cluster qui utilise la dernière version d'image par défaut.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Le composant Jupyter peuvent être installées via l'API Dataproc en utilisant SoftwareConfig.Component dans le cadre d'un clusters.create requête.

Ouvrir les interfaces utilisateur Jupyter et JupyterLab

Cliquez sur les liens de la passerelle des composants de la console Google Cloud. pour ouvrir dans votre navigateur local l'interface utilisateur du notebook Jupyter ou JupyterLab le nœud maître du cluster.

Sélectionnez "GCS" ou "Disque local" pour créer un notebook Jupyter dans l'un des emplacements.

Associer des GPU aux nœuds maîtres et aux nœuds de calcul

Vous pouvez ajouter des GPU aux nœuds maîtres et aux nœuds de calcul de votre cluster lorsque vous utilisez un notebook Jupyter pour :

  1. Prétraitez les données dans Spark, puis collectez un DataFrame sur le maître et exécuter TensorFlow
  2. Utiliser Spark pour orchestrer des exécutions TensorFlow en parallèle
  3. Exécuter Tensorflow-on-YARN
  4. Utiliser ce notebook avec d'autres scénarios de machine learning fonctionnant avec des GPU