Utilizzare Dataproc Serverless Spark con i notebook gestiti

Questa pagina mostra come eseguire un file notebook su Spark serverless in un'istanza di notebook gestiti da Vertex AI Workbench utilizzando Dataproc Serverless.

L'istanza Managed Notebooks può inviare il codice di un file notebook da eseguire sul servizio Dataproc Serverless. Il servizio esegue il codice su un'infrastruttura di calcolo gestita che scala automaticamente le risorse in base alle esigenze. Pertanto, non devi eseguire il provisioning e gestire il tuo cluster.

Gli addebiti di Dataproc Serverless si applicano solo al periodo di esecuzione del carico di lavoro.

Requisiti

Per eseguire un file notebook su Dataproc Serverless Spark, consulta i seguenti requisiti.

  • La sessione Dataproc Serverless deve essere eseguita nella stessa regione dell'istanza di blocchi note gestiti.

  • Il vincolo Richiedi accesso al sistema operativo (constraints/compute.requireOsLogin) non deve essere abilitato per il tuo progetto. Consulta Gestire OS Login in un'organizzazione.

  • Per eseguire un file notebook su Dataproc Serverless, devi fornire un service account con autorizzazioni specifiche. Puoi concedere queste autorizzazioni all'account di servizio predefinito o fornire un service account personalizzato. Consulta la sezione Autorizzazioni di questa pagina.

  • La sessione Dataproc Serverless Spark utilizza una rete Virtual Private Cloud (VPC) per eseguire i carichi di lavoro. La subnet VPC deve soddisfare requisiti specifici. Consulta i requisiti in Configurazione di rete di Dataproc Serverless per Spark.

Autorizzazioni

Per assicurarti che il account di servizio disponga delle autorizzazioni necessarie per eseguire un file notebook su Dataproc Serverless, chiedi all'amministratore di concedere al account di servizio il ruolo IAM Editor Dataproc (roles/dataproc.editor) sul tuo progetto.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per eseguire un file notebook su Dataproc Serverless. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per eseguire un file notebook su Dataproc Serverless sono necessarie le seguenti autorizzazioni:

  • dataproc.agents.create
  • dataproc.agents.delete
  • dataproc.agents.get
  • dataproc.agents.update
  • dataproc.session.create
  • dataproc.sessions.get
  • dataproc.sessions.list
  • dataproc.sessions.terminate
  • dataproc.sessions.delete
  • dataproc.tasks.lease
  • dataproc.tasks.listInvalidatedLeases
  • dataproc.tasks.reportStatus

L'amministratore potrebbe anche essere in grado di concedere al account di servizio queste autorizzazioni tramite ruoli personalizzati o altri ruoli predefiniti.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Notebooks, Vertex AI, and Dataproc APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Notebooks, Vertex AI, and Dataproc APIs.

    Enable the APIs

  8. Se non l'hai ancora fatto, crea un'istanza di blocchi note gestiti.
  9. Se non l'hai ancora fatto, configura una rete VPC che soddisfi i requisiti elencati in Configurazione di rete di Dataproc Serverless per Spark.
  10. Apri JupyterLab

    1. Nella console Google Cloud , vai alla pagina Blocchi note gestiti.

      Vai a Notebook gestiti

    2. Fai clic su Apri JupyterLab accanto al nome dell'istanza di blocchi note gestiti.

    Avvia una sessione Spark Dataproc Serverless

    Per avviare una sessione Spark Dataproc Serverless, completa i seguenti passaggi.

    1. Nell'interfaccia JupyterLab dell'istanza di notebook gestiti, seleziona la scheda Avvio app, quindi seleziona Spark serverless. Se la scheda Avvio app non è aperta, seleziona File > Nuovo Avvio app per aprirla.

      Viene visualizzata la finestra di dialogo Crea sessione Spark serverless.

    2. Nel campo Nome sessione, inserisci un nome per la sessione.

    3. Nella sezione Configurazione dell'esecuzione, inserisci il service account che vuoi utilizzare. Se non inserisci un service account, la sessione utilizzerà l'account di servizio predefinito di Compute Engine.

    4. Nella sezione Configurazione di rete, seleziona la rete e la subnet di una rete che soddisfi i requisiti elencati in Configurazione di rete di Dataproc Serverless per Spark.

    5. Fai clic su Crea.

      Si apre un nuovo file del blocco note. La sessione Spark Dataproc Serverless che hai creato è il kernel che esegue il codice del file del notebook.

    Esegui il codice su Dataproc Serverless Spark e altri kernel

    1. Aggiungi il codice al nuovo file del notebook ed eseguilo.

    2. Per eseguire il codice su un kernel diverso, cambia il kernel.

    3. Quando vuoi eseguire di nuovo il codice nella sessione Spark di Dataproc Serverless, imposta di nuovo il kernel sul kernel Spark di Dataproc Serverless.

    Termina la sessione Spark di Dataproc Serverless

    Puoi terminare una sessione Spark Dataproc Serverless nell'interfaccia di JupyterLab o nella console Google Cloud . Il codice nel file del notebook viene conservato.

    JupyterLab

    1. In JupyterLab, chiudi il file del notebook creato quando hai creato la sessione Dataproc Serverless Spark.

    2. Nella finestra di dialogo visualizzata, fai clic su Termina sessione.

    Console Google Cloud

    1. Nella console Google Cloud , vai alla pagina Sessioni Dataproc.

      Vai alle sessioni Dataproc

    2. Seleziona la sessione che vuoi terminare e poi fai clic su Termina.

    Elimina la sessione Spark di Dataproc Serverless

    Puoi eliminare una sessione Spark serverless Dataproc utilizzando la console Google Cloud . Il codice nel file del notebook viene conservato.

    1. Nella console Google Cloud , vai alla pagina Sessioni Dataproc.

      Vai alle sessioni Dataproc

    2. Seleziona la sessione che vuoi eliminare e poi fai clic su Elimina.

    Passaggi successivi