Monitoraggio dello stato di integrità
Le istanze di Vertex AI Workbench offrono diversi metodi per monitorare l'integrità dei blocchi note. In questa pagina viene descritto come utilizzare ciascun metodo.
Metodi per il monitoraggio dello stato di integrità
Puoi monitorare l'integrità delle tue istanze di Vertex AI Workbench in diversi modi. In questa pagina viene descritto come utilizzare i seguenti metodi:
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Notebooks.
- Installa Google Cloud CLI.
-
Per initialize gcloud CLI, esegui questo comando:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Notebooks.
- Installa Google Cloud CLI.
-
Per initialize gcloud CLI, esegui questo comando:
gcloud init
Utilizza gli attributi guest per segnalare l'integrità del sistema
Puoi utilizzare gli attributi guest per segnalare l'integrità del sistema dei seguenti servizi principali:
- Servizio Docker
- Agente proxy inverso Docker
- Servizio Jupyter
- API Jupyter
Gli attributi guest sono un tipo specifico di metadati personalizzati su cui le applicazioni possono scrivere durante l'esecuzione sull'istanza di Vertex AI Workbench. Per saperne di più sugli attributi guest, consulta Informazioni sui metadati della VM.
In che modo le istanze utilizzano gli attributi guest per segnalare l'integrità del sistema
Il servizio notebooks-collection-agent
esegue in background un processo Python che verifica lo stato dei servizi principali dell'istanza di Vertex AI Workbench e aggiorna gli attributi guest come 1
se non vengono rilevati problemi o -1
se viene rilevato un errore.
Per utilizzare il servizio notebooks-collection-agent
per generare report sull'integrità dell'istanza di Vertex AI Workbench, devi abilitare i seguenti attributi guest durante la creazione di un'istanza di Vertex AI Workbench:
enable-guest-attributes=TRUE
: questa operazione attiva gli attributi guest sulla tua istanza di Vertex AI Workbench. Tutte le nuove istanze abilitano questo attributo per impostazione predefinita.report-event-health=TRUE
: registra i risultati del controllo di integrità del sistema negli attributi guest.
Il servizio notebooks-collection-agent
non ha bisogno di autorizzazioni speciali per scrivere negli attributi guest dell'istanza.
Crea un'istanza di Vertex AI Workbench con attributi guest dell'integrità del sistema abilitati
Per utilizzare gli attributi guest dell'integrità del sistema per generare report sull'integrità dell'istanza di Vertex AI Workbench, devi selezionare la casella di controllo Abilita il report di integrità del sistema quando crei un'istanza di Vertex AI Workbench.
Puoi abilitare il report sull'integrità del sistema utilizzando la console Google Cloud.
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic su
Crea nuovo.Nella finestra di dialogo Nuova istanza, fai clic su Opzioni avanzate.
Nella sezione Dettagli della finestra di dialogo Crea istanza, fornisci le seguenti informazioni per la nuova istanza:
- Nome: specifica un nome per la nuova istanza.
- Regione e Zona: seleziona una regione e una zona per la nuova istanza. Per ottenere le migliori prestazioni di rete, seleziona la regione geograficamente più vicina a te.
Nella sezione Integrità del sistema, in Reporting, seleziona Segnala integrità del sistema.
Completa il resto della finestra di dialogo di creazione dell'istanza e fai clic su Crea.
Monitora l'integrità del sistema tramite gli attributi guest
Per le istanze di Vertex AI Workbench in cui sono abilitati gli attributi guest correlati, puoi recuperare i valori degli attributi guest dell'integrità del sistema utilizzando la console Google Cloud, Google Cloud CLI con i comandi di Compute Engine o Google Cloud CLI con i comandi di Vertex AI Workbench.
Console
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic sul nome dell'istanza di cui vuoi visualizzare lo stato di integrità del sistema.
Nella pagina Dettagli istanza, fai clic sulla scheda Integrità. Controlla lo stato dell'istanza e dei relativi servizi principali.
gcloud con Compute Engine
gcloud compute instances get-guest-attributes INSTANCE_NAME \
--zone ZONE
Sostituisci quanto segue:
INSTANCE_NAME
: il nome dell'istanzaZONE
: la zona in cui si trova l'istanza
Se i servizi principali sono integri, i risultati saranno i seguenti.
Il valore 1
indica che non è stato rilevato alcun errore.
NAMESPACE KEY VALUE
notebooks docker_proxy_agent_status 1
notebooks docker_status 1
notebooks jupyterlab_api_status 1
notebooks jupyterlab_status 1
notebooks system-health 1
notebooks updated 2023-06-20 17:00:00.12345
Se uno dei quattro servizi principali ha esito negativo, lo stato del sistema segnala un
valore -1
per indicare un errore del sistema. Nella maggior parte dei casi, un errore di sistema significa che JupyterLab non è accessibile.
Un esempio di risultato di errore potrebbe essere il seguente.
NAMESPACE KEY VALUE
notebooks docker_proxy_agent_status -1
notebooks docker_status -1
notebooks jupyterlab_api_status 1
notebooks jupyterlab_status 1
notebooks system-health -1
notebooks updated 2023-06-20 17:00:00.12345
Segnala metriche personalizzate a Monitoring
Le istanze di Vertex AI Workbench consentono di raccogliere le metriche JupyterLab e quelle relative allo stato del sistema e a inviarle a Cloud Monitoring. Queste metriche personalizzate sono diverse da quelle standard riportate quando installi Monitoring nell'istanza di Vertex AI Workbench.
Le metriche personalizzate segnalate a Monitoring includono quanto segue:
L'integrità del sistema di questi servizi principali di Vertex AI Workbench:
- Servizio Docker
- Agente proxy inverso Docker
- Servizio Jupyter
- API Jupyter
Le seguenti metriche JupyterLab:
- Numero di kernel
- Numero di terminali
- Numero di connessioni
- Numero di sessioni
- Memoria massima
- Con memoria elevata
- Memoria attuale
In che modo le istanze segnalano metriche personalizzate a Monitoring
Per generare report sulle metriche personalizzate a Monitoring, devi abilitare
l'impostazione dei metadati report-notebook-metrics
durante
la creazione di un'istanza di Vertex AI Workbench.
Devi inoltre assicurarti che l'account di servizio dell'istanza di Vertex AI Workbench disponga delle autorizzazioni Writer metriche Monitoring (roles/monitoring.metricWriter
). Per maggiori informazioni, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Crea un'istanza di Vertex AI Workbench che segnali le metriche personalizzate a Monitoring
Per segnalare metriche personalizzate a Monitoring, devi selezionare la casella di controllo Segnala metriche personalizzate a Cloud Monitoring quando crei un'istanza di Vertex AI Workbench.
Puoi abilitare il reporting di metriche personalizzate a Cloud Monitoring utilizzando la console Google Cloud.
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic su
Crea nuovo.Nella finestra di dialogo Nuova istanza, fai clic su Opzioni avanzate.
Nella sezione Dettagli della finestra di dialogo Crea istanza, fornisci le seguenti informazioni per la nuova istanza:
- Nome: specifica un nome per la nuova istanza.
- Regione e Zona: seleziona una regione e una zona per la nuova istanza. Per ottenere le migliori prestazioni di rete, seleziona la regione geograficamente più vicina a te.
Nella sezione Integrità del sistema, in Reporting, seleziona Segnala metriche personalizzate a Cloud Monitoring.
Completa il resto della finestra di dialogo di creazione dell'istanza e fai clic su Crea.
Concedi le autorizzazioni di Writer metriche Monitoring all'account di servizio
Dopo aver creato la nuova istanza di Vertex AI Workbench, concedi le autorizzazioni Writer metriche Monitoring (roles/monitoring.metricWriter
) all'account di servizio per l'istanza di Vertex AI Workbench.
Per maggiori informazioni, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Monitora le metriche personalizzate tramite Monitoring
Per le istanze di Vertex AI Workbench in cui sono abilitate le metriche personalizzate per la generazione di report, puoi monitorare le metriche personalizzate utilizzando la console Google Cloud.
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic sul nome dell'istanza di cui vuoi visualizzare le metriche personalizzate.
Nella pagina Dettagli istanza, fai clic sulla scheda Monitoring. Esamina le metriche personalizzate per la tua istanza.
Installa Monitoring su un'istanza
Questa opzione installa automaticamente Monitoring. L'installazione richiede 256 MB di spazio su disco. Affinché le metriche vengano segnalate a Monitoring, è necessaria una connessione a internet.
Come le istanze segnalano metriche di sistema e delle applicazioni
Per generare report sulle metriche di sistema e delle applicazioni installando Cloud Monitoring sull'istanza di Vertex AI Workbench, devi selezionare la casella di controllo Installa agente Cloud Monitoring quando crei un'istanza di Vertex AI Workbench.
Queste metriche sono diverse da quelle personalizzate che vengono segnalate quando attivi l'impostazione dei metadati report-notebook-metrics
.
Crea un'istanza di Vertex AI Workbench che segnali le metriche di sistema e applicazione a Monitoring
Per installare Monitoring sulla tua istanza Vertex AI Workbench, puoi usare la console Google Cloud.
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic su
Crea nuovo.Nella finestra di dialogo Nuova istanza, fai clic su Opzioni avanzate.
Nella sezione Dettagli della finestra di dialogo Crea istanza, fornisci le seguenti informazioni per la nuova istanza:
- Nome: specifica un nome per la nuova istanza.
- Regione e Zona: seleziona una regione e una zona per la nuova istanza. Per ottenere le migliori prestazioni di rete, seleziona la regione geograficamente più vicina a te.
Nella sezione Integrità del sistema, in Reporting, seleziona Installa Cloud Monitoring.
Completa il resto della finestra di dialogo di creazione dell'istanza e fai clic su Crea.
Monitora le metriche di sistema e delle applicazioni tramite Monitoring
Per le istanze di Vertex AI Workbench in cui è installato Monitoring, puoi monitorare le metriche di sistema e dell'applicazione utilizzando la console Google Cloud:
Nella console Google Cloud, vai alla pagina Istanze.
Fai clic sul nome dell'istanza di cui vuoi visualizzare le metriche di sistema e applicazione.
Nella pagina Dettagli istanza, fai clic sulla scheda Monitoring. Esamina le metriche di sistema e dell'applicazione per la tua istanza. Per scoprire come interpretare queste metriche, consulta Esaminare le metriche delle risorse.
Utilizza lo strumento di diagnostica per monitorare l'integrità del sistema
Le istanze di Vertex AI Workbench includono uno strumento di diagnostica integrato che consente di monitorare l'integrità del sistema delle istanze.
Attività eseguite dallo strumento di diagnostica
Lo strumento di diagnostica esegue le seguenti attività:
Verifica lo stato dei seguenti servizi principali di Vertex AI Workbench:
- Servizio Docker
- Agente proxy inverso Docker
- Servizio Jupyter
- API Jupyter
Controlla se lo spazio su disco per i dischi di avvio e di dati viene utilizzato oltre una soglia dell'85%.
Installa
lsof
(è richiesta una connessione a internet).Raccoglie i seguenti log dell'istanza:
- Informazioni di rete (
ifconfig
,netstat
) - Log nella cartella
/var/log/
- Informazioni sullo stato di Docker
- Dati di
lsof
(file aperti) - Stato del servizio Docker
- Stato inversione agente proxy
- Stato del servizio Jupyter
- Stato dell'API Jupyter
- File di configurazione dell'agente proxy
- Processi Python
- Informazioni di rete (
Esegue i seguenti comandi e raccoglie i risultati:
- blocco pip
- elenco conda
- gcloud compute instances describe
INSTANCE_NAME
- gcloud config list
Esegui lo strumento di diagnostica
Per eseguire lo strumento di diagnostica, procedi nel seguente modo:
Utilizza SSH per connetterti all'istanza di Vertex AI Workbench.
Nel terminale SSH, esegui questi comandi:
sudo -i cd /opt/deeplearning/bin/ ./diagnostic_tool.sh
Lo strumento di diagnostica raccoglie i log, li comprime in un file
.tar.gz
e li inserisce nella cartella/tmp/
.Estrai il file e valuta i contenuti. I contenuti includono:
- Cartella
log
: log della cartellavar/log/
report.log
: output per tutti i comandi raccoltiproxy-agent-config.json
: Informazioni sulla configurazione del proxy- Docker log: un file
-json.log
che include i log dei container Docker
- Cartella
Con lo strumento di diagnostica puoi utilizzare le seguenti opzioni.
Opzione | Descrizione |
---|---|
-R | Un'opzione di riparazione che tenta di ripristinare lo stato dei servizi principali di Vertex AI Workbench non riuscito |
-s | Esecuzione senza conferma |
-b |
Carica il file .tar.gz
in un bucket Cloud Storage.
|
-v | Un'opzione di debug per la risoluzione dei problemi dello strumento in caso di errori |
-c | Acquisisce 30 secondi di traffico dei pacchetti nell'istanza di Vertex AI Workbench, filtrando SSH |
- g | Una cartella di destinazione in cui salvare i log |
-h | Guida |