Comprendere le prestazioni del modello è una parte importante della gestione dei modelli di machine learning. Puoi monitorare i pattern di traffico, la frequenza degli errori, la latenza e l'utilizzo delle risorse del modello per individuare i problemi dei modelli e trovare il tipo di macchina giusto per ottimizzare latenza e costi.
Puoi anche utilizzare Cloud Monitoring per configurare avvisi basati sulle metriche. Ad esempio, puoi ricevere avvisi se
la latenza di previsione del modello diventa troppo elevata. AI Platform Prediction esporta le
metrics in Cloud Monitoring.
Ogni tipo di metrica di AI Platform Prediction include "previsione"
nel nome, ad esempio ml.googleapis.com/prediction/online/replicas o
ml.googleapis.com/prediction/online/accelerator/duty_cycle.
Monitoraggio delle metriche sul rendimento
Puoi trovare informazioni su pattern di traffico, errori e latenza del modello nella console Google Cloud. I seguenti grafici sono disponibili nella pagina Dettagli versione della scheda Rendimento:
- Previsioni: il numero di previsioni al secondo sia per le previsioni online che per quelle batch. Se hai più di un'istanza per richiesta, ogni istanza viene conteggiata in questo grafico.
- Errori: la frequenza di errori generati dal modello. Un'elevata percentuale di errori è in genere un segnale che qualcosa non va nel modello o nelle richieste al modello. I codici di risposta possono essere utilizzati per determinare gli errori.
- Latenza del modello e latenza totale: la latenza del modello. La latenza totale è il tempo totale che la richiesta trascorre nel servizio. La latenza del modello è il tempo dedicato al calcolo.
Per visualizzare i grafici sul rendimento:
Vai alla pagina Modelli di AI Platform Prediction nella console Google Cloud.
Fai clic sul nome del modello nell'elenco per andare alla pagina Dettagli modello.
Fai clic sul nome della versione nell'elenco per andare alla pagina Dettagli versione.
Se non è già selezionata, fai clic sulla scheda Rendimento.
Scorri per visualizzare ciascuno dei grafici.
Monitoraggio del consumo delle risorse
I grafici sull'utilizzo delle risorse per le versioni dei modelli che utilizzano i tipi di macchine di Compute Engine (N1) sono disponibili nella console Google Cloud. I seguenti grafici sono disponibili nella pagina Dettagli versione della scheda Utilizzo delle risorse:
- Replica: il numero di repliche per la tua versione. Se utilizzi la scalabilità manuale, questo grafico mostra il numero di nodi che hai scelto quando hai eseguito il deployment o l'ultimo aggiornamento della versione. Se hai abilitato la scalabilità automatica, il grafico mostra in che modo il conteggio delle repliche del modello cambia nel tempo in risposta alle variazioni del traffico.
- Utilizzo CPU, utilizzo memoria, ciclo di lavoro medio dell'acceleratore e utilizzo memoria dell'acceleratore: l'utilizzo di CPU, GPU e memoria della versione per replica.
Byte di rete inviati e Byte di rete ricevuti: l'utilizzo della rete del job, misurato in byte al secondo.
Per visualizzare i grafici sull'utilizzo delle risorse:
Vai alla pagina Modelli di AI Platform Prediction nella console Google Cloud.
Fai clic sul nome del modello nell'elenco per andare alla pagina Dettagli modello.
Fai clic sul nome della versione nell'elenco per andare alla pagina Dettagli versione.
Fai clic sulla scheda Utilizzo delle risorse.
Scorri per visualizzare ciascuno dei grafici.
Passaggi successivi
- Risolvi i problemi relativi alla versione del tuo modello.
- Seleziona un tipo di macchina per ridurre la latenza o i costi.