Présentation de Vertex AI Model Monitoring

Cette page offre un aperçu de Vertex AI Model Monitoring pour les modèles AutoML tabulaires et les modèles entraînés personnalisés tabulaires. Pour activer la surveillance des modèles Vertex AI, consultez la page Utiliser la surveillance des modèles.

Aperçu

Un modèle déployé en production fonctionne mieux sur les données d'entrée de prédiction semblables aux données d'entraînement. Lorsque les données d'entrée s'écartent des données utilisées pour entraîner le modèle, les performances du modèle peuvent se dégrader, même si le modèle lui-même n'a pas changé.

Pour vous aider à maintenir les performances d'un modèle, Model Monitoring surveille les données d'entrée de prédiction du modèle pour connaître les décalages et les écarts :

  • Un décalage entraînement/diffusion se produit lorsque la distribution des données de caractéristiques en production est différente de la distribution des données de caractéristique utilisée pour entraîner le modèle. Si les données d'entraînement d'origine sont disponibles, vous pouvez activer la détection des écarts pour surveiller les décalages d'entraînement/diffusion de vos modèles.

  • Un écart de prédiction se produit lorsque la distribution des données de caractéristique dans la production est très significative au fil du temps. Si les données d'entraînement d'origine ne sont pas disponibles, vous pouvez activer la détection de écarts pour surveiller les changements des données entrées au fil du temps.

Vous pouvez activer la détection des écarts et des décalages.

Model Monitoring accepte la détection des écarts et des décalages de caractéristiques pour les caractéristiques catégorielles et numériques.

  • Les caractéristiques de type catégorique sont des données limitées par le nombre de valeurs possibles, généralement regroupées par propriétés qualitatives. Par exemple, des catégories telles que le type de produit, le pays ou le type de client.

  • Les caractéristiques numériques sont des données qui peuvent être n'importe quelle valeur numérique. Par exemple, le poids et la hauteur.

Une fois que le décalage ou la dérive d'une caractéristique d'un modèle dépasse le seuil d'alerte que vous avez défini, Model Monitoring vous envoie une alerte par e-mail. Vous pouvez également afficher les distributions de chaque caractéristique au fil du temps pour déterminer si vous devez réentraîner votre modèle.

Calculer le décalage entraînement/inférence et la dérive de prédiction

Pour détecter les décalages entraînement/diffusion et la dérive de prédiction, Model Monitoring utilise TensorFlow Data Validation (TFDV) pour calculer les distributions et les scores de distance en fonction au processus suivant :

  1. Calculez la distribution statistique de référence :

    • Pour la détection des écarts, la référence correspond à la distribution statistique des valeurs de la caractéristique dans les données d'entraînement.

    • Pour la détection des écarts, la référence correspond à la distribution statistique des valeurs de la caractéristique observée en production dans un passé récent.

    Les distributions des caractéristiques catégorielles et numériques sont calculées comme suit :

    • Pour les caractéristiques catégorielles, la distribution calculée est le nombre ou le pourcentage d'instances de chaque valeur possible de la caractéristique.

    • Pour les caractéristiques numériques, la surveillance du modèle divise la plage de valeurs de caractéristiques possibles en intervalles égaux et calcule le nombre ou le pourcentage de valeurs de caractéristiques qui tombe dans chaque intervalle.

    La référence est calculée lorsque vous créez une tâche Model Monitoring et n'est recalculée que si vous mettez à jour l'ensemble de données d'entraînement de la tâche.

  2. Calculez la distribution statistique des dernières valeurs de caractéristiques observées en production.

  3. Comparez la distribution des dernières valeurs de caractéristiques en production à la distribution de référence en calculant un score de distance :

    • Pour les caractéristiques de type catégorique, le score de distance est calculé à l'aide de la distance L-infini.

    • Pour les caractéristiques numériques, le score de distance est calculé à l'aide de la divergence Jensen-Shannon.

  4. Lorsque le score de distance entre deux distributions statistiques dépasse le seuil que vous spécifiez, la surveillance du modèle identifie l'anomalie en tant que décalage ou écart.

L'exemple suivant montre un décalage ou un écart entre la distribution de référence et la dernière distribution d'une caractéristique catégorielle :

Distribution de référence

Exemple de distribution de caractéristiques d'un ensemble de données de référence.

Dernière distribution

Exemple de distribution de caractéristiques du dernier ensemble de données.

L'exemple suivant montre un décalage ou écart entre la distribution de référence et la dernière distribution d'une caractéristique numérique :

Distribution de référence

Exemple de distribution de caractéristiques d'un ensemble de données de référence.

Dernière distribution

Exemple de distribution de caractéristiques du dernier ensemble de données.

Éléments à prendre en compte lors de l'utilisation de la surveillance des modèles

  • Pour plus de rentabilité, vous pouvez définir un taux d'échantillonnage des requêtes de prédiction pour surveiller un sous-ensemble d'entrées de production d'un modèle.

  • Vous pouvez définir une fréquence à laquelle les entrées récemment enregistrées d'un modèle déployé sont surveillées pour détecter tout écart ou décalage. La fréquence de surveillance détermine la période, ou taille de la fenêtre de surveillance, des données journalisées analysées à chaque exécution de la surveillance.

  • Vous pouvez spécifier des seuils d'alerte pour chaque fonctionnalité que vous souhaitez surveiller. Une alerte est consignée lorsque la distance statistique entre la distribution des caractéristiques d'entrée et la référence correspondante dépasse le seuil spécifié. Par défaut, chaque caractéristique catégorielle et numérique est surveillée, avec des valeurs de seuil de 0.3.

  • Un point de terminaison de prédiction en ligne peut héberger plusieurs modèles. Lorsque vous activez la détection d'écart ou de décalage sur un point de terminaison, les paramètres de configuration suivants sont partagés sur tous les modèles hébergés sur ce point de terminaison :

    • Type de détection
    • Fréquence de surveillance
    • Fraction des requêtes d'entrée surveillées

    Pour les autres paramètres de configuration, vous pouvez définir des valeurs différentes pour chaque modèle.

Étapes suivantes