Introduzione a Vertex AI Model Monitoring

Questa pagina offre una panoramica di Vertex AI Model Monitoring per i modelli tabulari con addestramento personalizzato AutoML e tabulari. Per abilitare Vertex AI Model Monitoring, consulta Utilizzo del monitoraggio dei modelli.

Panoramica

Un modello di cui è stato eseguito il deployment in produzione ha il rendimento migliore con dati di input di previsione simili ai dati di addestramento. Quando i dati di input si discostano da quelli utilizzati per addestrare il modello, le prestazioni del modello possono peggiorare, anche se il modello stesso non è cambiato.

Per aiutarti a mantenere le prestazioni di un modello, il monitoraggio dei modelli monitora i dati di input di previsione del modello per rilevare eventuali disallineamenti e drift delle caratteristiche:

  • Il disallineamento addestramento/produzione si verifica quando la distribuzione dei dati delle caratteristiche in produzione devia dalla distribuzione dei dati delle caratteristiche utilizzata per addestrare il modello. Se sono disponibili dati di addestramento originali, puoi abilitare il rilevamento del disallineamento per monitorare i modelli per il disallineamento addestramento/produzione.

  • La deviazione della previsione si verifica quando la distribuzione dei dati delle funzionalità in produzione cambia notevolmente nel tempo. Se i dati di addestramento originali non sono disponibili, puoi abilitare il rilevamento delle deviazioni per monitorare i dati di input alla ricerca di modifiche nel tempo.

Puoi abilitare sia il rilevamento dell'inclinazione sia quello delle deviazioni.

Model Monitoring supporta il rilevamento del disallineamento e della deviazione delle funzionalità per le caratteristiche categoriche e numeriche:

  • Le caratteristiche categoriche sono dati limitati in base al numero di valori possibili, in genere raggruppati per proprietà qualitative. Ad esempio, categorie come tipo di prodotto, paese o tipo di cliente.

  • Le caratteristiche numeriche sono dati che possono contenere qualsiasi valore numerico. Ad esempio, peso e altezza.

Quando il disallineamento o la deriva della funzionalità di un modello supera una soglia di avviso impostata, Model Monitoring ti invia un avviso via email. Puoi anche visualizzare le distribuzioni per ogni caratteristica nel tempo per valutare se è necessario riaddestrare il modello.

Calcolare il disallineamento addestramento/produzione e la deriva della previsione

Per rilevare il disallineamento addestramento/produzione e la deviazione della previsione, il monitoraggio dei modelli utilizza TensorFlow Data Validation (TFDV) per calcolare le distribuzioni e i punteggi di distanza in base al seguente processo:

  1. Calcola la distribuzione statistica della base di riferimento:

    • Per il rilevamento del disallineamento, la base di riferimento è la distribuzione statistica dei valori della caratteristica nei dati di addestramento.

    • Per il rilevamento delle deviazioni, la base di riferimento è la distribuzione statistica dei valori della caratteristica osservati in produzione nel recente passato.

    Le distribuzioni degli elementi categorici e numerici vengono calcolate come segue:

    • Per le caratteristiche categoriche, la distribuzione calcolata è il numero o la percentuale di istanze di ogni possibile valore della caratteristica.

    • Per le caratteristiche numeriche, Model Monitoring suddivide l'intervallo di possibili valori delle caratteristiche in intervalli uguali e calcola il numero o la percentuale di valori delle caratteristiche che rientrano in ogni intervallo.

    La base di riferimento viene calcolata quando crei un job di monitoraggio dei modelli e viene ricalcolata solo se aggiorni il set di dati di addestramento per il job.

  2. Calcola la distribuzione statistica degli ultimi valori delle caratteristiche osservate in produzione.

  3. Confronta la distribuzione dei valori più recenti delle funzionalità in produzione con la distribuzione di riferimento calcolando un punteggio di distanza:

  4. Quando il punteggio della distanza tra due distribuzioni statistiche supera la soglia specificata, il monitoraggio dei modelli identifica l'anomalia come disallineamento o deviazione.

L'esempio seguente mostra un'inclinazione o una deriva tra la base di riferimento e le distribuzioni più recenti di una caratteristica categorica:

Distribuzione di riferimento

Un'esempio di distribuzione delle caratteristiche del set di dati di riferimento.

Distribuzione più recente

Esempio di distribuzione delle caratteristiche del set di dati più recente.

L'esempio seguente mostra un'inclinazione o una deriva tra la base di riferimento e le distribuzioni più recenti di una caratteristica numerica:

Distribuzione di riferimento

Un'esempio di distribuzione delle caratteristiche del set di dati di riferimento.

Distribuzione più recente

Esempio di distribuzione delle caratteristiche del set di dati più recente.

Considerazioni sull'utilizzo del monitoraggio dei modelli

  • Per l'efficienza dei costi, puoi impostare una frequenza di campionamento delle richieste di previsione per monitorare un sottoinsieme di input di produzione per un modello.

  • Puoi impostare una frequenza con cui gli input registrati di recente di un modello di cui è stato eseguito il deployment vengono monitorati per rilevare eventuali disallineamenti o deviazioni. La frequenza di monitoraggio determina l'intervallo di tempo, o le dimensioni della finestra di monitoraggio, dei dati registrati analizzati in ogni esecuzione di monitoraggio.

  • Puoi specificare le soglie di avviso per ogni funzionalità da monitorare. Viene registrato un avviso quando la distanza statistica tra la distribuzione delle caratteristiche di input e la base di riferimento corrispondente supera la soglia specificata. Per impostazione predefinita, ogni caratteristica categorica e numerica viene monitorata, con valori di soglia pari a 0,3.

  • Un endpoint di previsione online può ospitare più modelli. Quando abiliti il rilevamento del disallineamento o della deviazione su un endpoint, i seguenti parametri di configurazione vengono condivisi tra tutti i modelli ospitati in quell'endpoint:

    • Tipo di rilevamento
    • Frequenza di monitoraggio
    • Frazione di richieste di input monitorata

    Per gli altri parametri di configurazione, puoi impostare valori diversi per ciascun modello.

Passaggi successivi