Questa pagina descrive come configurare richieste di job di previsione batch per includere l'analisi di Model Monitoring una tantum. Per batch le previsioni, Model Monitoring supporta il rilevamento del disallineamento per caratteristiche di input categorico e numerico.
Creazione di un job di previsione batch con Model Monitoring l'analisi del disallineamento, devi includere sia i dati di input della previsione batch dati di addestramento originali per il modello nella richiesta. Puoi aggiungere solo Analisi del monitoraggio del modello durante la creazione di un nuovo batch in altri job di previsione.
Per ulteriori informazioni sul disallineamento, consulta la sezione Introduzione alle Model Monitoring.
Per istruzioni su come configurare il monitoraggio previsioni online (in tempo reale), consulta Utilizzo Model Monitoring.
Prerequisiti
Per utilizzare Model Monitoring con previsioni batch, completa il seguenti:
Avere in Vertex AI Model Registry disponibile un modello tabulare AutoML o un tipo di addestramento personalizzato tabulare.
Carica i dati di addestramento Cloud Storage o BigQuery e ottenere il link URI ai dati.
- Per i modelli addestrati con AutoML, puoi utilizzare l'ID del set di dati per il set di dati di addestramento.
Model Monitoring confronta i dati di addestramento l'output della previsione batch. Assicurati di utilizzare formati file supportati per dati di addestramento e output della previsione batch:
Tipo di modello Dati di addestramento Output di previsione batch Addestrato dal cliente CSV, JSONL, BigQuery, TfRecord(tf.train.Example) JSONL Dati tabulari AutoML CSV, JSONL, BigQuery, TfRecord(tf.train.Example) CSV, JSONL, BigQuery, TfRecord(Protobuf.Value) (Facoltativo) Per i modelli con addestramento personalizzato, carica lo schema del tuo in Cloud Storage. Model Monitoring richiede lo schema per calcolare la distribuzione di riferimento per il rilevamento del disallineamento.
Richiedi una previsione batch
Puoi usare i seguenti metodi per aggiungere Configurazioni di Model Monitoring per job di previsione in batch:
Console
Segui le istruzioni per effettuare una richiesta di previsione batch con Model Monitoring abilitato:
API REST
Segui le istruzioni per effettuare una richiesta di previsione batch utilizzando l'API REST:
Quando crei la richiesta di previsione batch, aggiungi quanto segue Configurazione di Model Monitoring nel corpo JSON della richiesta:
"modelMonitoringConfig": { "alertConfig": { "emailAlertConfig": { "userEmails": "EMAIL_ADDRESS" }, "notificationChannels": [NOTIFICATION_CHANNELS] }, "objectiveConfigs": [ { "trainingDataset": { "dataFormat": "csv", "gcsSource": { "uris": [ "TRAINING_DATASET" ] } }, "trainingPredictionSkewDetectionConfig": { "skewThresholds": { "FEATURE_1": { "value": VALUE_1 }, "FEATURE_2": { "value": VALUE_2 } } } } ] }
dove:
EMAIL_ADDRESS è l'indirizzo email a cui vuoi ricevere gli avvisi da Model Monitoring. Ad esempio,
example@example.com
.NOTIFICATION_CHANNELS: un elenco di Canali di notifica di Cloud Monitoring per ricevere avvisi da Model Monitoring. Utilizza i nomi delle risorse per i canali di notifica, che puoi recuperare elencare i canali di notifica nel tuo progetto. Ad esempio:
"projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568"
.TRAINING_DATASET è il link al set di dati di addestramento archiviato in Cloud Storage.
- Per utilizzare un link a un set di dati di addestramento BigQuery, sostituisci
il campo
gcsSource
con quanto segue:
"bigquerySource": { { "inputUri": "TRAINING_DATASET" } }
- Per utilizzare un link a un modello AutoML, sostituisci il campo
gcsSource
con quanto segue:
"dataset": "TRAINING_DATASET"
- Per utilizzare un link a un set di dati di addestramento BigQuery, sostituisci
il campo
FEATURE_1:VALUE_1 e FEATURE_2:VALUE_2 è la soglia di avviso per ciascuna caratteristica che vuoi monitorare. Ad esempio, se specifichi
Age=0.4
, Model Monitoring registra un avviso quando le distanza tra le distribuzioni di input e di riferimento per La funzionalitàAge
supera 0,4. Per impostazione predefinita, ogni valore viene monitorata con valori soglia di 0,3.
Per ulteriori informazioni sul monitoraggio del modello configurazioni, consulta il riferimento sul job di monitoraggio.
Python
Consulta il blocco note di esempio per eseguire un job di previsione batch con Model Monitoring per un modello tabulare personalizzato.
Model Monitoring ti avvisa automaticamente via email degli aggiornamenti sulle offerte e degli avvisi.
Metriche di disallineamento degli accessi
Puoi usare i seguenti metodi per accedere alle metriche di disallineamento per la previsione batch offerte di lavoro:
Console (istogramma)
Utilizza la console Google Cloud per visualizzare gli istogrammi della distribuzione delle caratteristiche per ciascuna caratteristica monitorata e scoprire quali cambiamenti hanno causato un disallineamento nel tempo:
Vai alla pagina Previsioni batch:
Nella pagina Previsioni batch, fai clic sul job di previsione batch da analizzare.
Fai clic sulla scheda Avvisi di monitoraggio dei modelli per visualizzare delle caratteristiche di input del modello, insieme alle informazioni pertinenti, come la soglia di avviso per ogni caratteristica.
Per analizzare un elemento, fai clic sul suo nome. Una pagina mostra degli istogrammi della distribuzione delle caratteristiche in questione.
La visualizzazione della distribuzione dei dati sotto forma di istogrammi consente di concentrarti rapidamente delle modifiche apportate ai dati. In seguito, puoi decidere di la tua pipeline di generazione delle caratteristiche o riaddestrare il modello.
Console (file JSON)
Utilizza la console Google Cloud per accedere alle metriche in formato JSON:
Vai alla pagina Previsioni batch:
Fai clic sul nome del job di monitoraggio della previsione batch.
Fai clic sulla scheda Proprietà di monitoraggio.
Fai clic sul link Directory di output di Monitoring, che ti indirizza a una nel bucket Cloud Storage.
Fai clic sulla cartella
metrics/
.Fai clic sulla cartella
skew/
.Fai clic sul file
feature_skew.json
, che ti porta all'oggetto dei dettagli.Apri il file JSON utilizzando una delle seguenti opzioni:
Fai clic su Scarica e apri il file nel tuo editor di testo locale.
Utilizza il percorso del file URI gsutil per eseguire
gsutil cat GSUTIL_URI
in Cloud Shell o nel tuo terminale locale.
Il file feature_skew.json
include un dizionario in cui la chiave è
il nome della caratteristica, mentre il valore è il disallineamento delle caratteristiche. Ad esempio:
{ "cnt_ad_reward": 0.670936, "cnt_challenge_a_friend": 0.737924, "cnt_completed_5_levels": 0.549467, "month": 0.293332, "operating_system": 0.05758, "user_pseudo_id": 0.1 }
Python
Consulta l'esempio di blocco note per accedere alle metriche di disallineamento per un tabulare dopo l'esecuzione di un job di previsione batch Model Monitoring.
Debug degli errori di monitoraggio della previsione batch
Se il job di monitoraggio della previsione batch non riesce, puoi trovare i log di debug in la console Google Cloud:
Vai alla pagina Previsioni batch.
Fai clic sul nome del job di monitoraggio della previsione batch non riuscito.
Fai clic sulla scheda Proprietà di monitoraggio.
Fai clic sul link Directory di output di Monitoring, che ti indirizza a una nel bucket Cloud Storage.
Fai clic sulla cartella
logs/
.Fai clic su uno dei file
.INFO
per passare all'oggetto dei dettagli.Apri il file di log utilizzando una delle seguenti opzioni:
Fai clic su Scarica e apri il file nel tuo editor di testo locale.
Utilizza il percorso dell'URI gsutil per eseguire
gsutil cat GSUTIL_URI
in Cloud Shell o nel tuo terminale locale.
Tutorial sul blocco note
Scopri di più su come utilizzare Vertex AI Model Monitoring per ottenere visualizzazioni e statistiche per i modelli con questi tutorial end-to-end.
AutoML
- Vertex AI Model Monitoring per i modelli tabulari AutoML
- Vertex AI Model Monitoring per la previsione batch nei modelli di immagini AutoML
- Vertex AI Model Monitoring per la previsione online nei modelli di immagini AutoML
Personalizzato
- Vertex AI Model Monitoring per modelli tabulari personalizzati
- Vertex AI Model Monitoring per i modelli tabulari personalizzati con il container TensorFlow Serving
Modelli XGBoost
Attribuzioni delle caratteristiche di Vertex Explainable AI
Previsione batch
Configurazione per i modelli tabulari
Passaggi successivi
- Scopri come utilizzare il monitoraggio dei modelli.
- Scoprire come Model Monitoring calcola addestramento-distribuzione il disallineamento e la deviazione della previsione.