Risoluzione dei problemi di Vertex AI Workbench

Questa pagina descrive i passaggi per la risoluzione dei problemi, utili in caso di problemi nell'utilizzo di Vertex AI Workbench.

Consulta anche la sezione Risoluzione dei problemi di Vertex AI per assistenza sull'utilizzo di altri componenti di Vertex AI.

Per filtrare i contenuti di questa pagina, fai clic su un argomento:

Qualsiasi istanza Vertex AI Workbench Notebook gestiti Notebook gestiti dall'utente

Procedure utili

Questa sezione descrive procedure che potresti trovare utili.

Utilizza SSH per connetterti all'istanza di Notebook gestita dall'utente

Utilizza SSH per connetterti all'istanza digitando il seguente comando in Cloud Shell o in qualsiasi ambiente in cui è installato Google Cloud CLI.

gcloud compute ssh --project PROJECT_ID \
  --zone ZONE \
  INSTANCE_NAME -- -L 8080:localhost:8080

Sostituisci quanto segue:

• PROJECT_ID: il tuo ID progetto
• ZONE: la zona Google Cloud in cui si trova la tua istanza
• INSTANCE_NAME: il nome della istanza

Puoi anche connetterti all'istanza aprendo la pagina dei dettagli di Compute Engine dell'istanza e facendo clic sul pulsante SSH.

Suggerimento: se non riesci a utilizzare SSH per connetterti all'istanza, puoi utilizzare gcpdiag per risolvere il problema

Esegui nuovamente la registrazione con il server Inverting Proxy

Per registrare di nuovo l'istanza dei blocchi note gestiti dall'utente con il server proxy di inversione interno, puoi arrestare e avviare la VM dalla pagina Blocchi note gestiti dall'utente oppure puoi utilizzare SSH per connetterti all'istanza dei blocchi note gestiti dall'utente e inserire:

cd /opt/deeplearning/bin
sudo ./attempt-register-vm-on-proxy.sh

Verifica lo stato del servizio Docker

Per verificare lo stato del servizio Docker, puoi utilizzare SSH per connetterti all'istanza di Notebook gestita dall'utente e inserire:

sudo service docker status

Verifica che l'agente Inverting Proxy sia in esecuzione

Per verificare se l'agente Inverting Proxy del notebook è in esecuzione, utilizza SSH per connetterti all'istanza di notebook gestita dall'utente e inserisci:

# Confirm Inverting Proxy agent Docker container is running (proxy-agent)
sudo docker ps

# Verify State.Status is running and State.Running is true.
sudo docker inspect proxy-agent

# Grab logs
sudo docker logs proxy-agent

Verifica lo stato del servizio Jupyter e raccogli i log

Per verificare lo stato del servizio Jupyter, puoi utilizzare SSH per collegarti all'istanza di JupyterLab gestita dall'utente e inserire:

sudo service jupyter status

Per raccogliere i log del servizio Jupyter:

sudo journalctl -u jupyter.service --no-pager

Verificare che l'API interna Jupyter sia attiva

L'API Jupyter deve sempre essere eseguita sulla porta 8080. Puoi verificarlo esaminando i log syslog dell'istanza per trovare una voce simile alla seguente:

Jupyter Server ... running at:
http://localhost:8080

Per verificare che l'API interna Jupyter sia attiva, puoi anche utilizzare SSH per connetterti all'istanza di notebook gestita dall'utente e inserire:

curl http://127.0.0.1:8080/api/kernelspecs

Puoi anche misurare il tempo necessario all'API per rispondere nel caso in cui le richieste impieghino troppo tempo:

time curl -V http://127.0.0.1:8080/api/status
time curl -V http://127.0.0.1:8080/api/kernels
time curl -V http://127.0.0.1:8080/api/connections

Per eseguire questi comandi nell'istanza Vertex AI Workbench, apri JupyterLab e crea un nuovo terminale.

Riavvia il servizio Docker

Per riavviare il servizio Docker, puoi arrestare e avviare la VM dalla pagina Notebook gestiti dall'utente oppure utilizzare SSH per connetterti all'istanza di Notebook gestiti dall'utente e inserire:

sudo service docker restart

Riavvia l'agente Inverting Proxy

Per riavviare l'agente proxy invertente, puoi arrestare e avviare la VM dalla pagina dei notebook gestiti dall'utente oppure puoi utilizzare SSH per connetterti all'istanza dei notebook gestiti dall'utente e inserire:

sudo docker restart proxy-agent

Riavvia il servizio Jupyter

Per riavviare il servizio Jupyter, puoi arrestare e avviare la VM dalla pagina Blocchi note gestiti dall'utente oppure puoi utilizzare SSH per connetterti alla tua istanza di blocchi note gestiti dall'utente e inserire:

sudo service jupyter restart

Riavviare l'agente di raccolta di Notebooks

Il servizio Notebooks Collection Agent esegue un processo Python in background che verifica lo stato dei servizi principali dell'istanza Vertex AI Workbench.

Per riavviare il servizio Notebooks Collection Agent, puoi arrestare e avviare la VM dalla console Google Cloud oppure puoi utilizzare SSH per connetterti alla la tua istanza Vertex AI Workbench e inserire:

sudo systemctl stop notebooks-collection-agent.service

seguita da:

sudo systemctl start notebooks-collection-agent.service

Per eseguire questi comandi nell'istanza Vertex AI Workbench, apri JupyterLab e crea un nuovo terminale.

Modificare lo script dell'agente di raccolta dei notebook

Nota: non modificare lo script dell'agente di raccolta dei notebook, a meno che non sia necessario per risolvere un problema con l'istanza.

Per accedere e modificare lo script, apri un terminale nella nostra istanza o utilizza ssh per connetterti all'istanza Vertex AI Workbench e inserisci:

nano /opt/deeplearning/bin/notebooks_collection_agent.py

Dopo aver modificato il file, ricordati di salvarlo.

Poi devi riavviare il servizio Notebooks Collection Agent.

Verifica che l'istanza possa risolvere i domini DNS richiesti

Per verificare che l'istanza possa risolvere i domini DNS richiesti, puoi utilizzare SSH per connetterti all'istanza di Notebook gestita dall'utente e inserire:

host notebooks.googleapis.com
host *.notebooks.cloud.google.com
host *.notebooks.googleusercontent.com
host *.kernels.googleusercontent.com

oppure:

curl --silent --output /dev/null "https://notebooks.cloud.google.com"; echo $?

Se l'istanza ha Dataproc abilitato, puoi verificare che risolva *.kernels.googleusercontent.com eseguendo:

curl --verbose -H "Authorization: Bearer $(gcloud auth print-access-token)" https://${PROJECT_NUMBER}-dot-${REGION}.kernels.googleusercontent.com/api/kernelspecs | jq .

Per eseguire questi comandi nell'istanza Vertex AI Workbench, apri JupyterLab e crea un nuovo terminale.

Crea una copia dei dati utente in un'istanza

Per archiviare una copia dei dati utente di un'istanza in Cloud Storage, completa i seguenti passaggi.

Nota: devi disporre dell'accesso al terminale alla tua istanza. L'accesso al terminale viene impostato manualmente quando crei un'istanza. L'impostazione di accesso al terminale non può essere modificata dopo la creazione dell'istanza.

(Facoltativo) Crea un bucket Cloud Storage

Nello stesso progetto in cui si trova l'istanza, crea un bucket Cloud Storage in cui archiviare i dati utente. Se hai già un bucket Cloud Storage, salta questo passaggio.

• Create a Cloud Storage bucket:

  gcloud storage buckets create gs://BUCKET_NAME

  Replace BUCKET_NAME with a bucket name that meets the bucket naming requirements.

Copiare i dati utente

1. Nell'interfaccia JupyterLab della tua istanza, seleziona File > Nuovo > Terminale per aprire una finestra del terminale. Per le istanze di notebook gestite dall'utente, puoi invece connetterti al terminale dell'istanza utilizzando SSH.

2. Utilizza la CLI gcloud per copiare i dati utente in un bucket Cloud Storage. Il seguente comando di esempio copia tutti i file dalla directory /home/jupyter/ dell'istanza in una directory di un bucket Cloud Storage.

   gcloud storage cp /home/jupyter/* gs://BUCKET_NAMEPATH --recursive
   

   Sostituisci quanto segue:

   • BUCKET_NAME: il nome del tuo bucket Cloud Storage
   • PATH: il percorso della directory куда vuoi copiare i file, ad esempio: /copy/jupyter/

Esaminare un'istanza bloccata nel provisioning utilizzando gcpdiag

gcpdiag è uno strumento open source. Non è un prodotto Google Cloud supportato ufficialmente. Puoi utilizzare lo strumento gcpdiag per identificare e risolvere i problemi dei progetti Google Cloud. Per maggiori informazioni, consulta il progetto gcpdiag su GitHub.

Questo runbook gcpdiag esamina le potenziali cause per cui un'istanza di Vertex AI Workbench si blocca nello stato di provisioning, tra cui le seguenti aree:

• Stato: controlla lo stato corrente dell'istanza per verificare che non sia bloccata nel provisioning e non sia interrotta o attiva.
• Immagine del disco di avvio della VM Compute Engine dell'istanza: controlla se l'istanza è stata creata con un contenitore personalizzato, un'immagine workbench-instances ufficiale, immagini VM di deep learning o immagini non supportate che potrebbero causare il blocco dell'istanza nello stato di provisioning.
• Script personalizzati: verifica se l'istanza utilizza script di avvio o post-avvio personalizzati che modificano la porta Jupyter predefinita o interrompono le dipendenze che potrebbero causare l'arresto dell'istanza nello stato di provisioning.
• Versione ambiente: verifica se l'istanza utilizza la versione più recente dell'ambiente controllandone l'upgradeabilità. Le versioni precedenti potrebbero causare il blocco dello stato di provisioning dell'istanza.
• Prestazioni della VM Compute Engine dell'istanza: controlla le prestazioni attuali della VM per assicurarsi che non siano compromesse da un elevato utilizzo della CPU, da una memoria insufficiente o da problemi di spazio su disco che potrebbero interrompere le normali operazioni.
• Porta seriale o logging di sistema di Compute Engine dell'istanza: controlla se l'istanza ha log della porta seriale, che vengono analizzati per verificare che Jupyter sia in esecuzione sulla porta 127.0.0.1:8080.
• Accesso SSH e al terminale di Compute Engine dell'istanza: verifica se la VM Compute Engine dell'istanza è in esecuzione in modo che l'utente possa accedere tramite SSH e aprire un terminale per verificare che l'utilizzo dello spazio in "home/jupyter" sia inferiore all'85%. Se non è rimasto spazio, l'istanza potrebbe rimanere bloccata nello stato di provisioning.
• IP esterno disattivato: controlla se l'accesso all'IP esterno è disattivato. Una configurazione di rete errata può causare il blocco dello stato del provisioning dell'istanza.

Console Google Cloud

1. Completa e poi copia il seguente comando.

gcpdiag runbook vertex/workbench-instance-stuck-in-provisioning \
    --parameter project_id=PROJECT_ID \
    --parameter instance_name=INSTANCE_NAME \
    --parameter zone=ZONE

2. Apri la console Google Cloud e attiva Cloud Shell.
Apri Cloud Console
3. Incolla il comando copiato.
4. Esegui il comando gcpdiag, che scarica l'immagine Docker gcpdiag, quindi esegui i controlli diagnostici. Se applicabile, segui le istruzioni di output per risolvere i problemi relativi ai controlli non riusciti.

Docker

Puoi eseguire gcpdiag utilizzando un wrapper che avvia gcpdiag in un container Docker. È necessario installare Docker o Podman.

1. Copia ed esegui il seguente comando sulla tua workstation locale.

   curl https://gcpdiag.dev/gcpdiag.sh >gcpdiag && chmod +x gcpdiag

2. Esegui il comando gcpdiag.

   ./gcpdiag runbook vertex/workbench-instance-stuck-in-provisioning \
       --parameter project_id=PROJECT_ID \
       --parameter instance_name=INSTANCE_NAME \
       --parameter zone=ZONE

Visualizza i parametri disponibili per questo runbook.

Sostituisci quanto segue:

• PROJECT_ID: l'ID del progetto contenente la risorsa.
• INSTANCE_NAME: il nome dell'istanza di Vertex AI Workbench di destinazione nel progetto.
• ZONE: la zona in cui si trova l'istanza di Vertex AI Workbench di destinazione.

Flag utili:

• --universe-domain: se applicabile, il dominio Trusted Partner Sovereign Cloud che ospita la risorsa
• --parameter o -p: parametri del runbook

Per un elenco e una descrizione di tutti i flag dello strumento gcpdiag, consulta le istruzioni per l'utilizzo di gcpdiag.