Questa pagina fornisce una panoramica di Vertex AI Model Monitoring.
Panoramica del monitoraggio
Vertex AI Model Monitoring ti consente di eseguire job di monitoraggio in base alle esigenze o con una frequenza regolare per monitorare la qualità dei modelli tabulari. Se hai impostato degli avvisi, Vertex AI Model Monitoring ti informa quando le metriche superano una soglia specificata.
Ad esempio, supponiamo di avere un modello che preveda il lifetime value cliente. Man mano che le abitudini dei clienti cambiano, cambiano anche i fattori che prevedono la spesa dei clienti. Di conseguenza, le funzionalità e i valori delle funzionalità che hai utilizzato per addestrare il tuo modello in precedenza potrebbero non essere pertinenti per fare previsioni oggi. Questa deviazione nei dati è nota come deriva.
Vertex AI Model Monitoring può monitorare e avvisarti quando le deviazioni superano una soglia specificata. Puoi quindi rivalutare o addestrare nuovamente il modello per assicurarti che si comporti come previsto.
Ad esempio, Vertex AI Model Monitoring può fornire visualizzazioni come quella riportata nella figura seguente, che sovrappone due grafici di due set di dati. Questa visualizzazione ti consente di confrontare e vedere rapidamente le deviazioni tra i due set di dati.
Versioni di Vertex AI Model Monitoring
Vertex AI Model Monitoring offre due versioni: v2 e v1.
Il monitoraggio dei modelli v2 è in anteprima ed è l'ultima offerta che associa tutte le attività di monitoraggio a una versione del modello. Al contrario, Model Monitoring v1 è in disponibilità generale ed è configurato sugli endpoint Vertex AI.
Se hai bisogno di assistenza a livello di produzione e vuoi monitorare un modello di cui è stato eseguito il deployment su un endpoint Vertex AI, utilizza la versione 1 di Model Monitoring. Per tutti gli altri casi d'uso, utilizza Model Monitoring v2, che offre tutte le funzionalità di Model Monitoring v1 e altro ancora. Per ulteriori informazioni, consulta la panoramica di ogni versione:
Per gli utenti esistenti di Model Monitoring v1, la versione v1 viene mantenuta invariata. Non è richiesta la migrazione alla versione v2 di Model Monitoring. Se vuoi eseguire la migrazione, puoi utilizzare entrambe le versioni contemporaneamente fino a quando non avrai completato la migrazione alla versione 2 di Monitoraggio dei modelli per evitare lacune nel monitoraggio durante la transizione.
Panoramica di Model Monitoring 2.0
Model Monitoring 2.0 ti consente di monitorare le metriche nel tempo dopo aver configurato un monitoraggio del modello ed eseguito i job di monitoraggio. Puoi eseguire job di monitoraggio on demand o impostare esecuzioni pianificate. Utilizzando le esecuzioni pianificate, il monitoraggio dei modelli esegue automaticamente i job di monitoraggio in base a una pianificazione che definisci.
Obiettivi di monitoraggio
Le metriche e le soglie monitorate sono associate agli scopi di monitoraggio. Per ogni versione del modello, puoi specificare uno o più scopi di monitoraggio. La tabella seguente illustra ciascun scopo:
| Obiettivo | Descrizione | Tipo di dati delle funzionalità | Metriche supportate |
|---|---|---|---|
| Deviazione dei dati delle caratteristiche di input |
Misura la distribuzione dei valori delle caratteristiche di input rispetto a una distribuzione data di riferimento. |
Categorical: boolean, string, categorical |
|
| Numerico: float, integer | Jensen Shannon Divergence | ||
| Deviazione dei dati di previsione di output |
Misura la distribuzione dei dati delle previsioni del modello rispetto a una distribuzione di dati di riferimento. |
Categorical: boolean, string, categorical |
|
| Numerico: float, integer | Jensen Shannon Divergence | ||
| Attribuzione delle caratteristiche |
Misura la variazione del contributo delle caratteristiche alla previsione di un modello rispetto a un valore di riferimento. Ad esempio, puoi monitorare se l'importanza di una funzionalità molto importante diminuisce improvvisamente. |
Tutti i tipi di dati | Valore SHAP (SHapley Additive exPlanations) |
Deviazione della caratteristica di input e della previsione di output
Dopo il deployment di un modello in produzione, i dati di input possono discostarsi da quelli utilizzati per addestrare il modello o la distribuzione dei dati delle funzionalità in produzione potrebbe cambiare in modo significativo nel tempo. Model Monitoring 2.0 può monitorare le modifiche alla distribuzione dei dati di produzione rispetto ai dati di addestramento o tracciare l'evoluzione della distribuzione dei dati di produzione nel tempo.
Analogamente, per i dati di previsione, Model Monitoring 2.0 può monitorare le variazioni nella distribuzione degli esiti previsti rispetto alla distribuzione degli dati di addestramento o di produzione nel tempo.
Attribuzione delle caratteristiche
Le attribuzioni delle caratteristiche indicano in che misura ciascuna caratteristica del modello ha contribuito alle previsioni per ogni istanza specifica. I punteggi di attribuzione sono proporzionali al contributo della caratteristica alla previsione di un modello. In genere sono contrassegnati, a indicare se una funzionalità contribuisce ad aumentare o diminuire la previsione. La somma degli attributi di tutte le funzionalità deve corrispondere al punteggio di previsione del modello.
Monitorando le attribuzioni delle funzionalità, la versione 2 del monitoraggio dei modelli tiene traccia delle modifiche ai contributi di una funzionalità alle previsioni di un modello nel tempo. Una variazione del punteggio di attribuzione di una caratteristica principale spesso indica che la caratteristica è stata modificata in modo da poter influire sull'accuratezza delle previsioni del modello.
Per ulteriori informazioni sulle metriche e sulle attribuzioni delle funzionalità, consulta Spiegazioni basate su funzionalità e Metodo Shapley campionato.
Come configurare il monitoraggio dei modelli 2.0
Devi prima registrare i tuoi modelli in Vertex AI Model Registry. Se gestisci i modelli al di fuori di Vertex AI, non è necessario caricare l'artefatto del modello. Poi crei un monitoraggio del modello, che associ a una versione del modello, e definisci lo schema del modello. Per alcuni modelli, come quelli AutoML, lo schema è fornito.
Nel monitoraggio dei modelli, puoi specificare facoltativamente configurazioni predefinite come scopi di monitoraggio, un set di dati di addestramento, la posizione dell'output del monitoraggio e le impostazioni di notifica. Per ulteriori informazioni, vedi Configurare il monitoraggio del modello.
Dopo aver creato un monitoraggio del modello, puoi eseguire un job di monitoraggio on demand o pianificare job regolari per il monitoraggio continuo. Quando esegui un job, Monitoraggio dei modelli utilizza la configurazione predefinita impostata nel monitor dei modelli, a meno che non fornisci una configurazione di monitoraggio diversa. Ad esempio, se fornisci scopi di monitoraggio diversi o un set di dati di confronto diverso, il monitoraggio dei modelli utilizza le configurazioni del job anziché la configurazione predefinita del monitoraggio del modello. Per maggiori informazioni, consulta Eseguire un job di monitoraggio.
Prezzi
Non ti viene addebitato alcun costo per Model Monitoring v2 durante la fase di anteprima. Ti verrà comunque addebitato l'utilizzo di altri servizi, come Cloud Storage, BigQuery, le previsioni batch di Vertex AI, Vertex Explainable AI e Cloud Logging.
Tutorial di Notebook
I tutorial seguenti mostrano come utilizzare l'SDK Vertex AI per Python per configurare Model Monitoring v2 per il modello.
Monitoraggio dei modelli 2.0: job di previsione batch del modello personalizzato
Model Monitoring 2.0: previsione online del modello personalizzato
Model Monitoring 2.0: modelli esterni a Vertex AI
Panoramica di Model Monitoring v1
Per aiutarti a mantenere le prestazioni di un modello, la versione 1 di Model Monitoring monitora i dati di input della previsione del modello per rilevare il disallineamento e la deviazione delle caratteristiche:
Il disallineamento addestramento/produzione si verifica quando la distribuzione dei dati delle funzionalità in produzione si discosta da quella utilizzata per addestrare il modello. Se i dati di addestramento originali sono disponibili, puoi attivare il rilevamento del disallineamento per monitorare i modelli per rilevare il disallineamento addestramento/produzione.
La deviazione della previsione si verifica quando la distribuzione dei dati delle funzionalità in produzione cambia in modo significativo nel tempo. Se i dati di addestramento originali non sono disponibili, puoi attivare il rilevamento della deviazione per monitorare le variazioni dei dati di input nel tempo.
Puoi attivare sia il rilevamento di disallineamenti sia quello di deviazioni.
La versione 1 del monitoraggio dei modelli supporta il rilevamento di disallineamenti e deviazioni delle caratteristiche per le caratteristiche categoriche e numeriche:
Le caratteristiche categoriche sono dati limitati dal numero di valori possibili, tipicamente raggruppati per proprietà qualitative. Ad esempio, categorie come tipo di prodotto, paese o tipo di cliente.
Le caratteristiche numeriche sono dati che possono essere qualsiasi valore numerico. Ad esempio, peso e altezza.
Quando il disallineamento o la deriva per la funzionalità di un modello supera una soglia di avviso impostata, la versione 1 di Model Monitoring ti invia un avviso via email. Puoi anche visualizzare le distribuzioni per ogni funzionalità nel tempo per valutare se è necessario addestrare nuovamente il modello.
Calcola la deriva
Per rilevare la deriva per la versione 1, Vertex AI Model Monitoring utilizza TensorFlow Data Validation (TFDV) per calcolare le distribuzioni e i punti di distanza.
Calcola la distribuzione statistica della base di riferimento:
Per il rilevamento dei disallineamenti, la base è la distribuzione statistica dei valori della caratteristica nei dati di addestramento.
Per il rilevamento della deviazione, la base è la distribuzione statistica dei valori della caratteristica rilevati in produzione in passato.
Le distribuzioni per le caratteristiche categoriche e numeriche vengono calcolate come segue:
Per le caratteristiche categoriche, la distribuzione calcolata è il numero o la percentuale di istanze di ogni possibile valore della caratteristica.
Per le caratteristiche numeriche, il monitoraggio del modello Vertex AI suddivide l'intervallo di possibili valori delle caratteristiche in intervalli uguali e calcola il numero o la percentuale di valori delle caratteristiche che rientrano in ciascun intervallo.
La linea di base viene calcolata quando crei un job Vertex AI Model Monitoring e viene ricalcolata solo se aggiorni il set di dati di addestramento per il job.
Calcola la distribuzione statistica degli ultimi valori delle caratteristiche rilevati in produzione.
Confronta la distribuzione degli ultimi valori delle caratteristiche in produzione con la distribuzione di riferimento calcolando un punteggio di distanza:
Per le caratteristiche categoriche, il punteggio di distanza viene calcolato utilizzando la distanza L-infinity.
Per le caratteristiche numeriche, il punteggio di distanza viene calcolato utilizzando la divergenza di Jensen-Shannon.
Quando il punteggio della distanza tra due distribuzioni statistiche supera la soglia specificata, Vertex AI Model Monitoring identifica l'anomalia come disallineamento o deviazione.
L'esempio seguente mostra uno scostamento o una deriva tra la linea di base e le ultime distribuzioni di un attributo categorico:
Distribuzione di riferimento
Distribuzione più recente
L'esempio seguente mostra uno scostamento o una deriva tra la linea di base e le ultime distribuzioni di una caratteristica numerica:
Distribuzione di riferimento
Distribuzione più recente
Considerazioni sull'utilizzo di Model Monitoring
Per contenere i costi, puoi impostare una frequenza di campionamento delle richieste di previsione per monitorare un sottoinsieme degli input di produzione inviati a un modello.
Puoi impostare una frequenza con cui gli input registrati di recente di un modello di cui è stato eseguito il deployment vengono monitorati per verificare la presenza di disallineamenti o deviazioni. La frequenza di monitoraggio determina il periodo di tempo, o la durata della finestra di monitoraggio, dei dati registrati che vengono analizzati in ogni esecuzione del monitoraggio.
Puoi specificare le soglie di avviso per ogni funzionalità da monitorare. Viene registrato un avviso quando la distanza statistica tra la distribuzione della funzionalità di input e la base di riferimento corrispondente supera la soglia specificata. Per impostazione predefinita, tutte le funzionalità categoriche e numeriche vengono monitorate, con valori di soglia pari a 0,3.
Un endpoint di previsione online può ospitare più modelli. Quando attivi il rilevamento di scostamento o derive su un endpoint, i seguenti parametri di configurazione vengono condivisi tra tutti i modelli ospitati in quell'endpoint:
- Tipo di rilevamento
- Frequenza del monitoraggio
- Frazione di richieste di input monitorate
Per gli altri parametri di configurazione, puoi impostare valori diversi per ogni modello.