Configurazione di Dataproc Hub

---

I blocchi note gestiti dall'utente di Dataproc Hub e Vertex AI Workbench sono deprecati. Il 30 gennaio 2025, non sarà più possibile creare istanze di blocchi note gestiti dall'utente e non sarà più possibile creare istanze di blocchi note gestiti dall'utente. Per soluzioni di blocco note alternative su Google Cloud, consulta:

• Installa il componente Jupyter sul cluster Dataproc.
• Crea un'istanza di Vertex AI Workbench abilitata per Dataproc.

Dataproc Hub è un server JupyterHub personalizzato. Gli amministratori configurano e creano istanze Dataproc Hub che possono generare cluster Dataproc per utente singolo per ospitare ambienti di blocchi note Jupyter e JupyterLab (vedi Utilizzare Dataproc Hub).

Avvia Notebooks per più utenti. Puoi creare un'istanza di Vertex AI Workbench abilitata per Dataproc o installare il plug-in JupyterLab su una VM per fornire blocchi note a più utenti.

Obiettivi

1. Definisci la configurazione di un cluster Dataproc (o usa uno dei file di configurazione predefiniti).

2. Imposta le variabili di ambiente dell'istanza Dataproc Hub.

3. Creare un'istanza Dataproc Hub.

Prima di iniziare

Se non l'hai ancora fatto, crea un progetto Google Cloud e un bucket Cloud Storage.

1. Configurazione del progetto

   1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

   2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

   4. Abilita le API Dataproc, Compute Engine, and Cloud Storage.

      Abilita le API

   5. Installa Google Cloud CLI.

   6. Per initialize gcloud CLI, esegui questo comando:

      gcloud init

   7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   8. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

   9. Abilita le API Dataproc, Compute Engine, and Cloud Storage.

      Abilita le API

   10. Installa Google Cloud CLI.

   11. Per initialize gcloud CLI, esegui questo comando:

       gcloud init

2. Creazione di un bucket di Cloud Storage nel progetto per conservare i dati utilizzati in questo tutorial.

   1. Nella console Google Cloud, vai alla pagina Bucket di Cloud Storage.

      Vai alla pagina Bucket

   2. Fai clic su Crea bucket.
   3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
      • In Assegna un nome al bucket, inserisci un nome che soddisfi i requisiti di denominazione dei bucket.
      • Per Scegli dove archiviare i tuoi dati, segui questi passaggi:
        • Seleziona un'opzione Tipo di località.
        • Seleziona un'opzione Località.
      • In Scegli una classe di archiviazione predefinita per i dati, seleziona una classe di archiviazione.
      • Per Scegli come controllare l'accesso agli oggetti, seleziona un'opzione Controllo dell'accesso.
      • In Impostazioni avanzate (facoltative), specifica un metodo di crittografia, un criterio di conservazione o le etichette dei bucket.
   4. Fai clic su Crea.

Definisci una configurazione del cluster

Un'istanza Dataproc Hub crea un cluster dai valori di configurazione contenuti in un file di configurazione del cluster YAML.

Configurazioni di cluster predefinite: puoi utilizzare i seguenti file di configurazione predefiniti situati in Cloud Storage:

• Configurazione example-cluster: configura un cluster di componenti Jupyter standard con un master e due nodi worker
• Configurazione example-single-node: configura un cluster di componenti Jupyter con un nodo

Per visualizzare questi file di configurazione pubblici di Cloud Storage, esegui:

gsutil cat gs://dataproc-spawner-dist/example-configs/example-cluster.yaml
gsutil cat gs://dataproc-spawner-dist/example-configs/example-single-node.yaml

Crea un hub per la guida rapida. Per creare un hub utilizzando le configurazioni dei cluster predefinite, vai a Creare un'istanza Dataproc Hub. La località Cloud Storage delle configurazioni dei cluster predefinite elencate in precedenza è il valore predefinito del campo della variabile di ambiente DATAPROC_CONFIGS.

La configurazione del tuo cluster può specificare qualsiasi funzionalità o componente disponibile per i cluster Dataproc (come tipo di macchina, azioni di inizializzazione e componenti facoltativi). La versione dell'immagine del cluster deve essere 1.4.13 o successiva. Il tentativo di generare un cluster con una versione dell'immagine inferiore alla 1.4.13 causerà un errore e non riuscirà.

Nota: gli amministratori possono consentire agli utenti di eseguire l'override di alcuni parametri di configurazione del cluster predefiniti. Per maggiori informazioni, consulta DATAPROC_ALLOW_CUSTOM_CLUSTERS in Impostare i valori di ambiente dell'istanza Dataproc Hub.

Esempio di file di configurazione del cluster YAML

clusterName: cluster-name
config:
  softwareConfig:
    imageVersion: 2.2-ubuntu22
    optionalComponents:
    - JUPYTER

Ogni configurazione deve essere salvata in Cloud Storage. Puoi creare e salvare più file di configurazione per offrire agli utenti la possibilità di scegliere quando utilizzano Dataproc Hub per creare l'ambiente di blocchi note del cluster Dataproc.

Esistono due modi per creare un file di configurazione del cluster YAML:

1. Crea il file di configurazione del cluster YAML dalla console

2. Esportare un file di configurazione del cluster YAML da un cluster esistente

crea il file di configurazione del cluster YAML dalla console

1. Apri la pagina Crea un cluster nella console Google Cloud, quindi seleziona e compila i campi per specificare il tipo di cluster che Dataproc Hub mostrerà per gli utenti.
   L'override delle impostazioni di regione e zona verrà eseguito alla generazione del cluster dell'utente. La regione del cluster generato sarà quella in cui si trova Dataproc Hub e l'utente selezionerà una zona all'interno di questa regione.
   1. Nella parte inferiore del riquadro a sinistra, seleziona "REST equivalente".
   2. Copia il blocco JSON generato, escludendo la riga di richiesta POST principale, quindi incolla il blocco JSON in un convertitore da JSON a YAML online (cerca "Converti JSON in YAML" online).
      Alcuni convertitori da JSON a YAML generano una prima riga contenente "---". L'inclusione di questa riga nel file YAML è facoltativa.
   3. Copia il file YAML convertito in un file cluster-config-filename.yaml locale.

Esporta un file di configurazione di cluster YAML da un cluster esistente

1. Crea un cluster che soddisfi i tuoi requisiti.
2. Esporta la configurazione del cluster in un file cluster-config-filename.yaml locale.

   gcloud dataproc clusters export cluster-name \
       --destination cluster-config-filename.yaml  \
       --region region
    

Salva il file di configurazione YAML in Cloud Storage

Copia il file di configurazione del cluster YAML locale nel tuo bucket Cloud Storage.

gsutil cp cluster-config-filename.yaml gs://bucket-name/

Impostare le variabili di ambiente dell'istanza Dataproc Hub

L'amministratore può impostare le variabili di ambiente hub elencate nella tabella seguente, per impostare gli attributi dei cluster Dataproc che verranno visualizzati dagli utenti hub.

Nota: se le variabili di ambiente hub non sono impostate, Dataproc utilizzerà i valori predefiniti, inclusa l'impostazione DATAPROC_CONFIGS sul percorso di Cloud Storage delle configurazioni del cluster predefinite (vedi Definire una configurazione del cluster).

Variabile	Descrizione	Esempio
NOTEBOOKS_LOCATION	Bucket o cartella bucket Cloud Storage contenente i blocchi note dell'utente. Il prefisso "gs://" è facoltativo. Predefinito:il bucket gestione temporanea Dataproc.	gs://bucket-name/
DATAPROC_CONFIGS	Elenco delimitato da virgole di stringhe dei percorsi Cloud Storage dei file di configurazione dei cluster YAML. Il prefisso "gs://" è facoltativo. Predefinita: gs://dataproc-spawner-dist/example-configs/. che contiene gli elementi predefiniti example-cluster.yaml e example-single-node.yaml.	gs://cluster-config-filename.yaml
DATAPROC_LOCATIONS_LIST	Suffissi di zona nella regione in cui si trova l'istanza Dataproc Hub. Gli utenti possono selezionare una di queste zone come zona in cui verrà generato il cluster Dataproc. Predefinito: "b".	b,c,d
DATAPROC_DEFAULT_SUBNET	Subnet su cui l'istanza Dataproc Hub genererà i cluster Dataproc. Predefinito:la subnet dell'istanza Dataproc Hub.	https://www.googleapis.com/compute/v1/projects/project-id/regions/region/subnetworks/subnet-name
DATAPROC_SERVICE_ACCOUNT	Account di servizio su cui verranno eseguite le VM Dataproc. Predefinito: se non viene configurato, viene utilizzato l'account di servizio Dataproc predefinito.	[e-mail]
SPAWNER_DEFAULT_URL	Indica se mostrare la UI Jupyter o JupyterLab sui cluster Dataproc generati per impostazione predefinita. Predefinito: "/lab".	"/" o "/lab", rispettivamente per Jupyter o JupyterLab.
DATAPROC_ALLOW_CUSTOM_CLUSTERS	Specifica se consentire agli utenti di personalizzare i cluster Dataproc. Predefinito:falso.	"true" o "false"
DATAPROC_MACHINE_TYPES_LIST	Elenco di tipi di macchine che gli utenti possono scegliere per i loro cluster Dataproc generati, se la personalizzazione del cluster (DATAPROC_ALLOW_CUSTOM_CLUSTERS) è abilitata. Predefinito:vuoto (sono consentiti tutti i tipi di macchina).	n1-standard-4,n1-standard-8,e2-standard-4,n1-highcpu-4
NOTEBOOKS_EXAMPLES_LOCATION	Percorso Cloud Storage del bucket o della cartella del bucket di blocchi note da scaricare nel cluster Dataproc generato all'avvio del cluster. Predefinito:vuoto.	gs://bucket-name/

Impostazione delle variabili di ambiente dell'hub

Esistono due modi per impostare le variabili di ambiente hub:

1. Impostare le variabili di ambiente hub dalla console

2. Impostare le variabili di ambiente hub in un file di testo

Imposta le variabili di ambiente hub dalla console

Quando crei un'istanza Dataproc Hub dalla scheda Blocchi note gestiti dall'utente nella pagina Dataproc→Workbench della console Google Cloud, puoi fare clic sul pulsante Compila per aprire un modulo Compila Dataproc Hub che ti consente di impostare ogni variabile di ambiente.

Impostare le variabili di ambiente hub in un file di testo

1. Crea il file. Con un editor di testo puoi impostare le variabili di ambiente dell'istanza Dataproc Hub in un file locale. In alternativa, puoi creare il file eseguendo questo comando dopo aver inserito i valori segnaposto e modificato o aggiunto le variabili e i relativi valori.

   cat <<EOF > environment-variables-file
   DATAPROC_CONFIGS=gs://bucket/cluster-config-filename.yaml
   NOTEBOOKS_LOCATION=gs://bucket/notebooks
   DATAPROC_LOCATIONS_LIST=b,c
   EOF
   

2. Salva il file in Cloud Storage. Copia il file delle variabili di ambiente dell'istanza Dataproc Hub locale nel tuo bucket Cloud Storage.

   gsutil cp environment-variable-filename gs://bucket-name/folder-name/
   

Impostare i ruoli IAM (Identity and Access Management)

Dataproc Hub include le seguenti identità con le seguenti capacità:

• Amministratore: crea un'istanza Dataproc Hub
• Utente di dati e ML: accede all'interfaccia utente di Dataproc Hub
• Account di servizio Dataproc Hub: rappresenta Dataproc Hub
• Account di servizio Dataproc: rappresenta il cluster Dataproc creato da Dataproc Hub.

Ogni identità richiede autorizzazioni o ruoli specifici per eseguire le attività associate. La tabella riportata di seguito riassume i ruoli e le autorizzazioni IAM richiesti per ciascuna identità.

Identità	Tipo	Ruolo o autorizzazione
Amministratore Dataproc Hub	Account utente o di servizio	roles/notebooks.admin
Utente Dataproc Hub	Utente	notebooks.instances.use, dataproc.clusters.use
Dataproc Hub	Service account	roles/dataproc.hubAgent
Dataproc	Service account	roles/dataproc.worker

Per impostazione predefinita, l'istanza Dataproc Hub e i nodi dei cluster Dataproc vengono eseguiti come account di servizio Compute Engine predefinito del progetto.

Crea un'istanza Dataproc Hub

1. Prima di iniziare: per creare un'istanza Dataproc Hub dalla console Google Cloud, il tuo account utente deve disporre dell'autorizzazione compute.instances.create. Inoltre, l'account di servizio dell'istanza (l'account di servizio predefinito di Compute Engine o l'account di servizio specificato dall'utente in IAM e amministrazione > Account di servizio (vedi Account di servizio VM Dataproc) deve avere l'autorizzazione iam.serviceAccounts.actAs.

2. Vai alla pagina Dataproc→Workbench nella console Google Cloud, quindi seleziona la scheda Blocchi note gestiti dall'utente.

3. Se non è preselezionato come filtro, fai clic nella casella Filtro, quindi seleziona **Ambiente:hub Dataproc"".

4. Fai clic su Nuovo blocco note→Dataproc Hub.

5. Nella pagina Crea un blocco note gestito dall'utente, fornisci le seguenti informazioni:

   1. Nome blocco note: nome dell'istanza Dataproc Hub.
   2. Regione: seleziona una regione per l'istanza Dataproc Hub. Anche i cluster Dataproc generati da questa istanza Dataproc Hub verranno creati in questa regione.
      Per un rendimento ottimale, seleziona una regione geograficamente vicina.
   3. Zona: seleziona una zona all'interno della regione selezionata.
   4. Ambiente:
      1. Environment: seleziona Dataproc Hub.
      2. Select a script to run after creation (facoltativo): puoi inserire o sfogliare e selezionare un'azione di inizializzazione script o eseguibile da eseguire sul cluster Dataproc generato.
      3. Populate Dataproc Hub (optional): fai clic su Compila per aprire un modulo che ti consente di impostare ciascuna delle variabili di ambiente hub (consulta Impostare le variabili di ambiente dell'istanza Dataproc Hub per una descrizione di ciascuna variabile). Dataproc utilizza i valori predefiniti per tutte le variabili di ambiente non impostate. In alternativa, puoi impostare coppie Metadati key:value per impostare le variabili di ambiente (vedi l'elemento successivo).
      4. Metadata:
         1. Se hai creato un file di testo che contiene le impostazioni variabile di ambiente hub (consulta Impostazione delle variabili di ambiente hub), fornisci il nome del file come key e gs://bucket-name/folder-name/environment-variable-filename il percorso di Cloud Storage del file come value. Dataproc utilizza i valori predefiniti per tutte le variabili di ambiente non impostate.
   5. Configurazione macchina:
      1. Machine Type: seleziona il tipo di macchina di Compute Engine.
      2. Imposta altre opzioni di configurazione della macchina.
   6. Altre opzioni:
      1. Puoi espandere e impostare o sostituire i valori predefiniti nelle sezioni Dischi, Networking, Autorizzazione, Sicurezza e Upgrade dell'ambiente e integrità del sistema.
   7. Fai clic su Crea per avviare l'istanza Dataproc Hub.

6. Il link Apri JupyterLab per l'istanza Dataproc Hub diventa attivo dopo la creazione dell'istanza. Gli utenti fanno clic su questo link per aprire la pagina del server JupyterHub e configurare e creare un cluster JupyterLab di Dataproc (consulta Utilizzare Dataproc Hub).

Esegui la pulizia

Elimina l'istanza Dataproc Hub

• Per eliminare l'istanza Dataproc Hub:

  gcloud compute instances delete --project=${PROJECT} ${INSTANCE_NAME}
  

Elimina il bucket

• Per eliminare il bucket Cloud Storage che hai creato nella sezione Prima di iniziare, inclusi i file di dati archiviati nel bucket:

  gsutil -m rm -r gs://${BUCKET_NAME}
  

Passaggi successivi

• Utilizzo di Dataproc Hub