Questo tutorial è rivolto a data scientist, ricercatori e amministratori di reti aziendali. Mostra come proteggere un'istanza di Notebooks gestita dall'utente creandola in una rete Virtual Private Cloud (VPC).
Una rete VPC è una versione virtuale di una rete fisica implementata all'interno della rete di produzione di Google. Si tratta di una rete privata con indirizzi IP, subnet e gateway di rete privati. Nelle aziende, le reti VPC vengono utilizzate per proteggere i dati e le istanze controllando l'accesso da altre reti e da internet.
La rete VPC in questo tutorial è una rete autonoma. Tuttavia, puoi condividere una rete VPC da un progetto (chiamato progetto host) ad altri progetti della tua Google Cloud organizzazione. Per scoprire di più sul tipo di rete VPC da utilizzare, consulta Rete VPC singola e VPC condivisa.
In base alle best practice per la sicurezza della rete, la rete VPC in questo tutorial utilizza una combinazione di Cloud Router, Cloud NAT e Accesso privato Google per proteggere l'istanza nei seguenti modi:
- L'istanza di blocchi note gestiti dall'utente non ha un indirizzo IP esterno.
- L'istanza ha accesso a internet in uscita tramite un router Cloud regionale e un gateway Cloud NAT, in modo da poter installare pacchetti software o altre dipendenze. Cloud NAT consente le connessioni in uscita e le risposte in entrata a queste connessioni. Non consente richieste in entrata non richieste da internet.
- L'istanza utilizza l'accesso privato Google per raggiungere gli indirizzi IP esterni delle API e dei servizi Google.
Il tutorial mostra anche come:
- Crea uno script di post-avvio per clonare automaticamente un repository GitHub nell'istanza di blocchi note gestiti dall'utente appena creata.
- Utilizza Cloud Monitoring per monitorare l'istanza di Notebooks gestita dall'utente.
- Utilizza l'API Compute Engine per avviare e arrestare automaticamente l'istanza in modo da ottimizzare i costi.
Obiettivi
- Crea una rete VPC e aggiungi una subnet con accesso privato Google attivo.
- Crea un router cloud e Cloud NAT per la rete VPC.
- Crea un'istanza di notebook gestita dall'utente nella sottorete utilizzando un script di post-avvio che clona il repository GitHub di Google Cloud AI generativa.
- Abilita Cloud Monitoring per l'istanza.
- Crea una pianificazione dell'istanza VM e collegala all'istanza.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il Calcolatore prezzi.
Al termine delle attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la sezione Pulizia.
Prima di iniziare
-
In the Google Cloud console, go to the project selector page.
-
Select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- Apri Cloud Shell per eseguire i comandi elencati in questo tutorial. Cloud Shell è un ambiente shell interattivo Google Cloud che ti consente di gestire i tuoi progetti e le tue risorse dal browser web. Vai a Cloud Shell
- In Cloud Shell, imposta il progetto corrente sul tuo
ID progetto Google Cloud e memorizza lo stesso
ID progetto nella variabile di shell
projectid
: Sostituisci PROJECT_ID con l'ID del tuo progetto. Se necessario, puoi trovare l'ID progetto nella console Google Cloud. Per ulteriori informazioni, consulta Trovare l'ID progetto.projectid="PROJECT_ID" gcloud config set project ${projectid}
-
Enable the IAM, Compute Engine, Notebooks, Cloud Storage, and Vertex AI APIs:
gcloud services enable iam.googleapis.com
compute.googleapis.com notebooks.googleapis.com storage.googleapis.com aiplatform.googleapis.com -
Grant roles to your user account. Run the following command once for each of the following IAM roles:
roles/compute.networkAdmin, roles/compute.securityAdmin, roles/compute.instanceAdmin, roles/notebooks.admin, roles/resourcemanager.projectIamAdmin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUser, roles/storage.Admin
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
- Replace
PROJECT_ID
with your project ID. -
Replace
USER_IDENTIFIER
with the identifier for your user account. For example,user:myemail@example.com
. - Replace
ROLE
with each individual role.
- Replace
Creare e configurare una VPC autonoma
Crea una rete VPC denominata
securevertex-vpc
:gcloud compute networks create securevertex-vpc --subnet-mode=custom
Crea una subnet denominata
securevertex-subnet-a
con un intervallo IPv4 principale di10.10.10.0/29
:gcloud compute networks subnets create securevertex-subnet-a --range=10.10.10.0/29 --network=securevertex-vpc --region=us-central1 --enable-private-ip-google-access
Se vuoi, puoi fornire un valore diverso per il parametro
--range
. Tuttavia, la lunghezza minima del prefisso per un singolo notebook è 29. Per ulteriori informazioni, consulta Intervalli di subnet IPv4.Crea un router Cloud regionale denominato
cloud-router-us-central1
:gcloud compute routers create cloud-router-us-central1 --network securevertex-vpc --region us-central1
Crea un gateway Cloud NAT regionale denominato
cloud-nat-us-central1
:gcloud compute routers nats create cloud-nat-us-central1 --router=cloud-router-us-central1 --auto-allocate-nat-external-ips --nat-all-subnet-ip-ranges --region us-central1
Crea un bucket Cloud Storage
Crea il bucket Cloud Storage:
gcloud storage buckets create --location=us-central1 --uniform-bucket-level-access gs://BUCKET_NAME
Sostituisci BUCKET_NAME con un nome di bucket univoco.
Imposta la variabile shell
BUCKET_NAME
e verifica che sia stata inserita correttamente:BUCKET_NAME=BUCKET_NAME echo $BUCKET_NAME
Sostituisci BUCKET_NAME con il nome del bucket.
Creare e caricare uno script post-avvio
Per creare lo script, utilizza un editor di testo come
vi
onano
per creare un file denominatopoststartup.sh
.Incolla il seguente script shell nel file:
#! /bin/bash echo "Current user: id" >> /tmp/notebook_config.log 2>&1 echo "Changing dir to /home/jupyter" >> /tmp/notebook_config.log 2>&1 cd /home/jupyter echo "Cloning generative-ai from github" >> /tmp/notebook_config.log 2>&1 su - jupyter -c "git clone https://github.com/GoogleCloudPlatform/generative-ai.git" >> /tmp/notebook_config.log 2>&1 echo "Current user: id" >> /tmp/notebook_config.log 2>&1 echo "Installing python packages" >> /tmp/notebook_config.log 2&1 su - jupyter -c "pip install --upgrade --no-warn-conflicts --no-warn-script-location --user \ google-cloud-bigquery \ google-cloud-pipeline-components \ google-cloud-aiplatform \ seaborn \ kfp" >> /tmp/notebook_config.log 2>&1
Salva il file.
Carica il file nel bucket Cloud Storage:
gcloud storage cp poststartup.sh gs://$BUCKET_NAME
Crea un account di servizio personalizzato
Quando crei un'istanza di notebook gestita dall'utente, ti consigliamo vivamente di deselezionare la casella di controllo Utilizza l'account di servizio predefinito di Compute Engine e di specificare un account di servizio personalizzato. Se la tua organizzazione non applica il vincolo dei criteri dell'organizzazione iam.automaticIamGrantsForDefaultServiceAccounts
, all'account di servizio predefinito di Compute Engine (e quindi a chiunque tu specifichi come utente dell'istanza) viene concesso il ruolo Editor (roles/editor
) nel tuo progetto. Per disattivare questo comportamento, consulta Disattivare l'assegnazione automatica dei ruoli agli account di servizio predefiniti.
Crea un account di servizio personalizzato denominato
user-managed-notebook-sa
:gcloud iam service-accounts create user-managed-notebook-sa \ --display-name="user-managed-notebook-sa"
Assegna il ruolo IAM Visualizzatore oggetti Storage all'account di servizio:
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
Assegna il ruolo IAM Utente Vertex AI all'account di servizio:
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:user-managed-notebook-sa@$projectid.iam.gserviceaccount.com" --role="roles/aiplatform.user"
Crea un'istanza di blocchi note gestiti dall'utente
Nella console Google Cloud, vai alla pagina Notebook gestiti dall'utente.
Fai clic su
Crea nuova e poi seleziona Opzioni avanzate.Viene visualizzata la pagina Crea istanza.
Nella pagina Crea istanza, nella sezione Dettagli, fornisci le seguenti informazioni per la nuova istanza e poi fai clic su Continua:
- Nome: fornisci un nome per la nuova istanza o accetta quello predefinito.
- Regione: seleziona us-central1.
- Zona: seleziona us-central1-a.
Nella sezione Ambiente, fornisci quanto segue e poi fai clic su Continua:
- Script post-avvio: fai clic su Sfoglia, fai doppio clic sul
poststartup.sh
file, fai clic un'altra volta e poi fai clic su Seleziona.
- Script post-avvio: fai clic su Sfoglia, fai doppio clic sul
Nella sezione Tipo di macchina, fornisci quanto segue e poi fai clic su Continua:
VM protetta: seleziona le seguenti caselle di controllo:
- Avvio protetto
- Virtual Trusted Platform Module (vTPM)
- Monitoraggio dell'integrità
Nella sezione Dischi, assicurati che Google-managed encryption key sia selezionato e poi fai clic su Continua:
Nella sezione Networking, fornisci quanto segue e poi fai clic su Continua:
Networking: seleziona Rete in questo progetto e completa i seguenti passaggi:
Nel campo Rete, seleziona securevertex-vpc.
Nel campo Subnet, seleziona securevertex-subnet-a.
Deseleziona la casella di controllo Assegna indirizzo IP esterno. La mancata assegnazione di un indirizzo IP esterno impedisce all'istanza di ricevere comunicazioni non richieste dall'internet o da altre reti VPC.
Seleziona la casella di controllo Consenti accesso proxy.
Nella sezione IAM e sicurezza, fornisci quanto segue e poi fai clic su Continua:
IAM e sicurezza: per concedere a un singolo utente l'accesso all'interfaccia JupyterLab dell'istanza, completa i seguenti passaggi:
- Seleziona Singolo utente.
- Nel campo Email utente, inserisci l'indirizzo email di un singolo account utente. Se crei l'istanza per qualcun altro, si applicano le seguenti condizioni:
- Tu (il creator dell'istanza) non hai accesso all'interfaccia JupyterLab dell'istanza. Tuttavia, hai comunque il controllo dell'istanza e puoi avviarla, interromperla o eliminarla.
- Dopo aver creato l'istanza, devi concedere all'utente il ruolo Utente account di servizio (
roles/iam.serviceAccountUser
) nell'account di servizio dell'istanza. Consulta (Facoltativo) Concedi il ruolo Utente account di servizio all'utente dell'istanza.
- Deseleziona la casella di controllo Utilizza l'account di servizio predefinito di Compute Engine.
Questo passaggio è importante perché l'account di servizio predefinito di Compute Engine (e quindi il singolo utente che hai appena specificato) potrebbe avere il ruolo Editor (
roles/editor
) nel tuo progetto. Nel campo Indirizzo email account di servizio, inserisci
user-managed-notebook-sa@$projectid.iam.gserviceaccount.com
. Si tratta dell'indirizzo email dell'account di servizio personalizzato che hai creato in precedenza. Questo service account ha autorizzazioni limitate.Per scoprire di più sulla concessione dell'accesso, consulta Gestire l'accesso all'interfaccia JupyterLab di un'istanza di notebook gestita dall'utente.
Opzioni di sicurezza: deseleziona la seguente casella di controllo:
- Accesso root all'istanza
Seleziona la seguente casella di controllo:
- nbconvert
nbconvert
consente agli utenti di esportare e scaricare un file del notebook come un tipo di file diverso, ad esempio HTML, PDF o LaTeX. Questa impostazione è richiesta da alcuni dei notebook nel repository GitHub di Google Cloud AI generativa.
Deseleziona la seguente casella di controllo:
- Download di file
Seleziona la seguente casella di controllo, a meno che non ti trovi in un ambiente di produzione:
- Accesso al terminale Consente l'accesso al terminale all'istanza dall'interfaccia utente di JupyterLab.
Nella sezione Integrità del sistema, seleziona Upgrade automatico dell'ambiente e fornisci quanto segue:
In Report, seleziona le seguenti caselle di controllo:
- Segnalare lo stato del sistema
- Segnalare metriche personalizzate a Cloud Monitoring
- Installa Cloud Monitoring
- Segnalare lo stato del DNS per i domini Google richiesti
Fai clic su Crea.
(Facoltativo) Concedi il ruolo Utente account di servizio all'utente dell'istanza
Se stai creando l'istanza di notebook gestita dall'utente per un altro utente, devi concedergli il ruolo Utente account di servizio (roles/iam.serviceAccountUser
) nell'account di servizio personalizzato user-managed-notebook-sa
come segue:
gcloud iam service-accounts add-iam-policy-binding \ user-managed-notebook-sa@PROJECT_ID.iam.gserviceaccount.com \ --member="user:USER_EMAIL" \ --role="roles/iam.serviceAccountUser"
Sostituisci i seguenti valori:
- PROJECT_ID: l'ID progetto
- USER_EMAIL: l'indirizzo email dell'utente
Verificare che l'istanza di blocchi note gestiti dall'utente sia stata creata
Vertex AI Workbench crea un'istanza di notebook gestita dall'utente in base alle proprietà specificate e la avvia automaticamente.
Quando l'istanza è pronta per l'uso, Vertex AI Workbench attiva un link Apri JupyterLab. Questo link è accessibile solo al singolo utente specificato al momento della creazione dell'istanza.
Apri l'istanza in JupyterLab e verifica che sia presente il repo GitHub di Google Cloud AI generativa clonato.
Nella console Google Cloud, vai alla pagina Notebook gestiti dall'utente.
Nell'elenco delle istanze di blocchi note gestiti dall'utente, fai clic sul link Apri JupyterLab per l'istanza che hai creato.
Nell'elenco delle cartelle vedrai una cartella
generative-ai
. Questa cartella contiene il repository GitHub clonato.
Monitorare lo stato di integrità tramite il monitoraggio
Puoi monitorare le metriche del sistema e dell'applicazione per le tue istanze di notebook gestite dall'utente utilizzando la consoleGoogle Cloud . Per scoprire di più sul monitoraggio delle istanze e sulla creazione di metriche personalizzate, consulta Monitorare lo stato di integrità.
Nella console Google Cloud, vai alla pagina Notebook gestiti dall'utente.
Fai clic sul nome dell'istanza di blocchi note gestiti dall'utente per cui vuoi visualizzare le metriche.
Nella pagina Dettagli notebook, fai clic sulla scheda Monitoraggio. Esamina Utilizzo CPU e Byte di rete per l'istanza del notebook. Per scoprire come interpretare queste metriche, consulta Esaminare le metriche delle risorse.
Se hai appena creato l'istanza, non vedrai immediatamente alcun dato. Attendi qualche minuto e aggiorna la scheda della console.
Crea una pianificazione dell'istanza VM per l'istanza di notebook gestita dall'utente
Poiché un'istanza di Notebook gestita dall'utente è un'istanza VM Compute Engine, puoi utilizzare le API Compute Engine per creare una pianificazione per l'istanza VM.
Utilizza una pianificazione delle istanze VM per avviare e arrestare l'istanza di Notebook gestiti dall'utente. Durante le ore in cui l'istanza è arrestata, paghi solo i costi di Cloud Storage.
Puoi collegare una pianificazione delle istanze a qualsiasi istanza VM che si trova nella stessa regione, in modo da poter utilizzare la stessa pianificazione delle istanze per controllare tutte le istanze di notebook gestite dall'utente nella regione.
Per scoprire di più sulle pianificazioni delle istanze VM, consulta Pianificare l'avvio e l'arresto di un'istanza VM.
Creare un ruolo IAM personalizzato
Come best practice per la sicurezza, ti consigliamo di creare un ruolo IAM personalizzato con solo le seguenti autorizzazioni e di assegnarlo all'account di servizio predefinito di Compute Engine:
compute.instances.start
compute.instances.stop
In Cloud Shell, crea un ruolo personalizzato denominato
Vm_Scheduler
e includi le autorizzazioni necessarie:gcloud iam roles create Vm_Scheduler --project=$projectid \ --title=vm-scheduler-notebooks \ --permissions="compute.instances.start,compute.instances.stop" --stage=ga
Descrivi il ruolo personalizzato:
gcloud iam roles describe Vm_Scheduler --project=$projectid
Assegna il ruolo all'account di servizio predefinito Compute Engine
Per concedere all'account di servizio predefinito di Compute Engine l'autorizzazione per avviare e arrestare le istanze di notebook gestite dall'utente, devi assegnare il ruolo personalizzato Vm_Scheduler
.
L'account di servizio predefinito Compute Engine per il tuo progetto ha il seguente indirizzo email: PROJECT_NUMBER-compute@developer.gserviceaccount.com
, dove PROJECT_NUMBER
è il numero del progetto.
Identifica il numero del progetto e memorizzalo nella variabile shell
project_number
:project_number=$(gcloud projects describe $projectid --format 'get(projectNumber)') echo $project_number
Assegna il ruolo personalizzato all'account di servizio predefinito:
gcloud projects add-iam-policy-binding $projectid --member="serviceAccount:$project_number-compute@developer.gserviceaccount.com" --role="projects/$projectid/roles/Vm_Scheduler"
Crea e allega la pianificazione
Per creare una pianificazione dell'istanza che avvii l'istanza di notebook gestiti dall'utente alle 07:00 e la fermi alle 18:00:
Crea una pianificazione di inizio e interruzione denominata
optimize-notebooks
:gcloud compute resource-policies create instance-schedule optimize-notebooks \ --region=us-central1 \ --vm-start-schedule='0 7 * * *' \ --vm-stop-schedule='0 18 * * *' \ --timezone=TIME_ZONE
Sostituisci TIME_ZONE con il fuso orario IANA basato sulla posizione per la pianificazione dell'istanza, ad esempio
America/Chicago
. Se omesso, viene utilizzato il valore predefinitoUTC
. Per ulteriori informazioni, consulta fuso orario.Identifica il nome dell'istanza dei blocchi note gestiti dall'utente eseguendo il seguente comando e annotando il valore
NAME
restituito:gcloud compute instances list
Memorizza il nome nella variabile shell
notebook_vm
:notebook_vm=NOTEBOOK_VM_NAME echo $notebook_vm
Sostituisci NOTEBOOK_VM_NAME con il nome dell'istanza di Notebook gestita dall'utente.
Collega la pianificazione dell'istanza all'istanza di notebook gestita dall'utente:
gcloud compute instances add-resource-policies $notebook_vm \ --resource-policies=optimize-notebooks \ --zone=us-central1-a
Descrivi la pianificazione dell'istanza:
gcloud compute resource-policies describe optimize-notebooks \ --region=us-central1
Puoi verificare se la pianificazione dell'istanza viene eseguita correttamente controllando i log di controllo di Compute Engine per il criterio della risorsa di pianificazione dell'istanza e l'istanza VM collegata. Potresti dover attendere fino a 15 minuti dopo l'ora programmata per ogni operazione.
Esegui la pulizia
Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Puoi eliminare le singole risorse del progetto nel seguente modo:
Nella console Google Cloud, vai alla pagina Notebook gestiti dall'utente.
Seleziona l'istanza del blocco note gestito dall'utente.
Fai clic su Elimina.
In Cloud Shell, elimina le singole risorse rimanenti eseguendo i seguenti comandi.
gcloud compute routers delete cloud-router-us-central1 --region=us-central1 --quiet gcloud compute routers nats delete cloud-nat-us-central1 --region=us-central1 --router=cloud-router-us-central1 --quiet gcloud compute instances remove-resource-policies $notebook_vm \ --resource-policies=optimize-notebooks \ --zone=us-central1-a --quiet gcloud compute resource-policies delete optimize-notebooks --region=us-central1 --quiet gcloud compute instances delete $notebook_vm --zone=us-central1-a --quiet gcloud compute networks subnets delete securevertex-subnet-a --region=us-central1 --quiet gcloud iam service-accounts delete user-managed-notebook-sa@$projectid.iam.gserviceaccount.com --quiet gcloud projects remove-iam-policy-binding $projectid --member="serviceAccount:$project_number-compute@developer.gserviceaccount.com" --role="projects/$projectid/roles/Vm_Scheduler" gcloud iam roles delete Vm_Scheduler --project=$projectid gcloud compute networks delete securevertex-vpc --quiet
Passaggi successivi
- Segui il codelab Creare un blocco note gestito dall'utente sicuro in Vertex AI.
- Scopri come utilizzare i Controlli di servizio VPC per configurare un'istanza di Jupyter Notebook gestita dall'utente all'interno di un perimetro di servizio.
- Scopri le best practice e le architetture di riferimento per la progettazione delle VPC.