Quando esegui un job, Model Monitoring v2 utilizza i dati dei tuoi set di dati di destinazione e di riferimento, calcolano le metriche e potenzialmente genera avvisi. Offerte on demand di Model Monitoring v2 job per il monitoraggio ad hoc o job pianificati per il monitoraggio continuo. No indipendentemente dall'opzione scelta, ogni job è una singola esecuzione batch.
Per ulteriori informazioni sugli obiettivi di monitoraggio e sui modelli supportati, consulta Panoramica di Model Monitoring v2 e Configura il monitoraggio del modello.
Esegui un job on demand
Esegui un job di monitoraggio una tantum. Impostare i set di dati target e di riferimento, nonché le specifiche del monitoraggio per gli obiettivi da monitorare. La tua configurazione esegue l'override eventuali valori predefiniti, se impostati, definiti dal monitoraggio del modello.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello per il quale vuoi eseguire un job di monitoraggio.
Nella pagina dei dettagli del monitoraggio dei modelli, fai clic su Esegui ora per configurare di monitoraggio del job.
Configura il job o utilizza i valori predefiniti definiti nel monitoraggio del modello.
Fai clic su Esegui.
SDK Python
from vertexai.resources.preview import ml_monitoring
FEATURE_THRESHOLDS = {
"culmen_length_mm": 0.001,
"body_mass_g": 0.002,
}
FEATURE_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
categorical_metric_type="l_infinity",
numeric_metric_type="jensen_shannon_divergence",
default_categorical_alert_threshold=0.001,
default_numeric_alert_threshold=0.002,
feature_alert_thresholds=FEATURE_THRESHOLDS,
)
PREDICTION_OUTPUT_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
categorical_metric_type="l_infinity",
numeric_metric_type="jensen_shannon_divergence",
default_categorical_alert_threshold=0.001,
default_numeric_alert_threshold=0.001,
)
FEATURE_ATTRIBUTION_SPEC=ml_monitoring.spec.FeatureAttributionSpec(
default_alert_condition=0.0003,
feature_alert_conditions={"cnt_ad_reward":0.0001},
)
EXPLANATION_SPEC=ExplanationSpec(
parameters=ExplanationParameters(
{"sampled_shapley_attribution": {"path_count": 2}}
),
metadata=ExplanationMetadata(
inputs={
"cnt_ad_reward": ExplanationMetadata.InputMetadata({
"input_tensor_name": "cnt_ad_reward",
"encoding": "IDENTITY",
"modality": "numeric"
}),
...
},
...
)
)
TRAINING_DATASET=ml_monitoring.spec.MonitoringInput(
gcs_uri=TRAINING_URI,
data_format="csv"
)
TARGET_DATASET=ml_monitoring.spec.MonitoringInput(
table_uri=BIGQUERY_URI
)
model_monitoring_job=my_model_monitor.run(
display_name=JOB_DISPLAY_NAME,
baseline_dataset=TRAINING_DATASET,
target_dataset=TARGET_DATASET,
tabular_objective_spec=ml_monitoring.spec.TabularObjective(
# Optional: set to monitor input feature drift.
feature_drift_spec=FEATURE_DRIFT_SPEC,
# Optional: set to monitor prediction output drift.
prediction_output_drift_spec=PREDICTION_OUTPUT_DRIFT_SPEC,
# Optional: set to monitor feature attribution drift.
feature_attribution_spec=FEATURE_ATTRIBUTION_SPEC
),
# Optional: additional configurations to override default values.
explanation_config=EXPLANATION_SPEC,
notification_spec=NOTIFICATION_SPEC,
output_spec=OUTPUT_SPEC
)
Pianifica esecuzioni continue
Puoi impostare una o più esecuzioni pianificate per il monitoraggio di un modello. Per utilizzare la il monitoraggio con specifiche temporali, il set di dati deve avere una colonna timestamp in modo che Model Monitoring v2 possa recuperare i dati dall'intervallo di tempo specificato.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello per il quale vuoi configurare il monitoraggio continuo .
Fai clic su Pianifica un'esecuzione ricorrente.
Imposta i set di dati target e di riferimento, poi fai clic su Continua.
Stabilisci gli obiettivi da monitorare, le relative soglie, le impostazioni di notifica quando viene generato un avviso.
Fai clic su Continua.
Configura una pianificazione per i job ricorrenti:
- Specifica un nome per lo scheduler.
- In Ora di inizio, specifica quando inizierà il primo job.
- In Frequenza, utilizza un'espressione cron per impostare la frequenza. e poi impostare il fuso orario.
- In Termina, specifica quando termina lo scheduler.
Fai clic su Crea.
SDK Python
Per impostare la frequenza dei job di monitoraggio, utilizza un'espressione cron.
my_model_monitoring_schedule=my_model_monitor.create_schedule(
display_name=SCHEDULE_DISPLAY_NAME,
# Every day at 0:00(midnight)
cron='"0 * * * *"',
baseline_dataset=ml_monitoring.spec.MonitoringInput(
endpoints=[ENDPOINT_RESOURCE_NAME],
offset="24h",
window="24h",
),
target_dataset=ml_monitoring.spec.MonitoringInput(
endpoints=[ENDPOINT_RESOURCE_NAME],
window="24h"
),
tabular_objective_spec=ml_monitoring.spec.TabularObjective(
feature_drift_spec=FEATURE_DRIFT_SPEC
),
output_spec=OUTPUT_SPEC,
notification_spec=NOTIFICATION_SPEC,
)
Mettere in pausa o riprendere una pianificazione
Puoi mettere in pausa e riprendere una pianificazione per saltare o interrompere temporaneamente il job di monitoraggio viene eseguito.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello che contiene la pianificazione da modificare.
Nella pagina dei dettagli, vai alla scheda Pianificazioni.
Fai clic sulla pianificazione da modificare.
Fai clic su Metti in pausa o Riprendi per mettere in pausa o riprendere la pianificazione.
SDK Python
# Pause schedule my_model_monitor.pause_schedule(my_monitoring_schedule.name) # Resume schedule my_model_monitor.resume_schedule(my_monitoring_schedule.name)
Elimina una pianificazione
Elimina una pianificazione se non la utilizzi. I dati esistenti rimangono così per i job creati in precedenza.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello che contiene la pianificazione da modificare.
Nella pagina dei dettagli, vai alla scheda Pianificazioni.
Fai clic sulla pianificazione da modificare.
Fai clic su Elimina e poi di nuovo su Elimina per confermare.
SDK Python
my_model_monitor.delete_schedule(my_monitoring_schedule.name)
Analizza i risultati del job di monitoraggio
Puoi utilizzare la console Google Cloud per visualizzare le distribuzioni dei dati per ogni obiettivo del monitoraggio e scoprire quali cambiamenti hanno portato alla deviazione nel tempo.
Le visualizzazioni mostrano un istogramma che confronta la distribuzione dei dati tra target e i dati di riferimento. In base al tuo livello di tolleranza, puoi: Ad esempio, decidi di modificare la pipeline di generazione delle caratteristiche o model.
Visualizza i dettagli del job
Visualizza i dettagli sull'esecuzione di un job di monitoraggio, ad esempio un elenco di funzionalità monitorate e quali caratteristiche hanno generato un avviso.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello che contiene il job da analizzare.
Nella pagina Dettagli monitoraggio, fai clic sulla scheda Esecuzioni.
Nell'elenco delle esecuzioni, fai clic su una corsa per visualizzarne i dettagli, ad esempio incluse in una corsa.
L'esempio seguente mostra un confronto della distribuzione per il paese dei job di previsione batch. Inoltre, la console Google Cloud fornire dettagli sul confronto in base alla metrica, ad esempio numero di valori univoci, valore medio e deviazione standard.
Visualizza dettagli delle funzionalità
Visualizza le informazioni su una caratteristica e un elenco di job di monitoraggio che includono il funzionalità.
Console
Nella console Google Cloud, vai alla pagina Monitoring.
Fai clic sul monitoraggio del modello che contiene i job da analizzare.
Nella scheda Panoramica puoi visualizzare un riepilogo, che include le tendenze relative deviazione per tutti gli obiettivi monitorati se il monitoraggio è continuo configurazione. Puoi anche approfondire determinati obiettivi per visualizzarne i dettagli come i nomi delle funzionalità monitorate e un elenco delle esecuzioni di monitoraggio.
L'esempio seguente mostra un confronto della distribuzione per il paese funzionalità. Dopo l'istogramma, puoi vedere quali esecuzioni hanno generato un avviso seleziona un altro job di monitoraggio che includa i dati di monitoraggio funzionalità.
