Componente Jupyter facoltativo di Dataproc

Puoi installare componenti aggiuntivi come Jupyter quando crei un utilizzando il cluster Componenti facoltativi funzionalità. In questa pagina viene descritto il componente Jupyter.

Il componente Jupyter è un blocco note per un solo utente basato su web per l'analisi interattiva dei dati e supporta l'interfaccia utente web di JupyterLab. L'interfaccia utente web di Jupyter è disponibile sulla porta 8123 sul primo nodo master del cluster.

Avvia blocchi note per più utenti. Puoi creare un'istanza Vertex AI Workbench abilitata per Dataproc o installare il plug-in JupyterLab di Dataproc su una VM per fornire i notebook a più utenti.

Configura Jupyter. Jupyter può essere configurato fornendo dataproc:jupyter proprietà del cluster. Per ridurre il rischio di esecuzione di codice remoto tramite API di server di notebook non sicure, l'impostazione predefinita della proprietà del cluster dataproc:jupyter.listen.all.interfaces è false, che limita le connessioni a localhost (127.0.0.1) quando il gateway dei componenti è attivato (l'attivazione del gateway dei componenti è necessaria per l'installazione del componente Jupyter).

Il blocco note Jupyter fornisce un kernel Python per eseguire il codice Spark e un del kernel PySpark. Per impostazione predefinita, i blocchi note vengono salvati in Cloud Storage nel bucket temporaneo Dataproc, specificato dall'utente o creato automaticamente al momento della creazione del cluster. La località può essere modificata al momento della creazione del cluster utilizzando Proprietà del cluster dataproc:jupyter.notebook.gcs.dir.

Lavorare con i file di dati. Puoi usare un blocco note Jupyter per lavorare con i file di dati che sono stati caricate su Cloud Storage. Poiché il connettore Cloud Storage è preinstallato su un cluster Dataproc, puoi fare riferimento ai file direttamente nel notebook. Ecco un esempio di accesso ai file CSV in Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Consulta: Funzioni di caricamento e salvataggio generiche per esempi di PySpark.

Installa Jupyter

Installa il componente quando crei un cluster Dataproc. Il componente Jupyter richiede l'attivazione del gateway dei componenti di Dataproc.

Console

  1. Attiva il componente.

Interfaccia a riga di comando gcloud

Per creare un cluster Dataproc che includa il componente Jupyter, utilizza la Comando cluster-name gcloud dataproc clusters create con il flag --optional-components.

Esempio di versione dell'immagine predefinita più recente

L'esempio seguente installa lo strumento Jupyter su un cluster che utilizza la versione dell'immagine predefinita più recente.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Il componente Jupyter può essere installato tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di un clusters.create richiesta.

Apri le UI di Jupyter e JupyterLab

Fai clic sui link al gateway dei componenti della console Google Cloud. per aprire nel browser locale il blocco note Jupyter o la UI JupyterLab in esecuzione il nodo master del cluster.

Seleziona "GCS" o "Disco locale" per creare un nuovo blocco note Jupyter in entrambe le posizioni.

Collega le GPU a nodi master e worker

Puoi aggiungere GPU ai nodi master e worker del cluster quando utilizzi un blocco note Jupyter per:

  1. Esegui la preelaborazione dei dati in Spark, poi raccogli un DataFrame sul master ed esegui TensorFlow
  2. Utilizzare Spark per orchestrare le esecuzioni di TensorFlow in parallelo
  3. Esegui Tensorflow-on-YARN
  4. Da utilizzare con altri scenari di machine learning che impiegano GPU