Empêcher le surapprentissage

L'erreur la plus courante lors de l'entraînement d'un modèle BigQuery ML est le surapprentissage. Le surapprentissage se produit lorsque le modèle correspond de trop près aux données d'entraînement, ce qui entraîne des performances médiocres sur les nouvelles données. BigQuery ML accepte deux méthodes pour empêcher le surapprentissage : l'arrêt prématuré et la régularisation.

Pour savoir comment modifier les options décrites ci-dessous, reportez-vous à l'instruction CREATE MODEL.

Arrêt prématuré

L'arrêt prématuré est l'option par défaut pour la prévention du surapprentissage dans BigQuery ML. Lorsque l'arrêt prématuré est activé, la perte des données exclues est surveillée pendant l'entraînement, et l'entraînement est interrompu lorsque l'amélioration de la perte dans la dernière itération tombe en dessous d'un seuil donné. Étant donné que les données exclues ne sont pas utilisées pendant l'entraînement, elles représentent une bonne estimation de la perte du modèle sur les nouvelles données. Les options early_stop, min_rel_progress, data_split_method et data_split_eval_fraction contrôlent le comportement de l'arrêt prématuré.

Régularisation

La régularisation empêche que les pondérations du modèle ne deviennent trop importantes, et évite ainsi que le modèle ne corresponde de trop près aux données d'entraînement. BigQuery ML accepte deux méthodes pour contrôler la taille des pondérations du modèle : la régularisation L1 et la régularisation L2.

Par défaut, les valeurs l1_reg et l2_reg sont nulles, ce qui désactive la régularisation. Sur certains ensembles de données, la définition de valeurs positives pour l1_reg et l2_reg améliore les performances du modèle entraîné sur les nouvelles données. Les valeurs optimales des paramètres de régularisation sont généralement trouvées par tâtonnement, et il est courant de tester des valeurs sur plusieurs ordres de magnitude, tels que 0,01, 0,1, 1, 10 et 100.

Voici quelques conseils d'ordre général sur l'utilisation de la régularisation :

  • Si vous effectuez des tests sur les paramètres de régularisation, désactivez l'arrêt prématuré pour que l'effet de la régularisation soit clair.

  • Si le nombre de caractéristiques est important par rapport à la taille de l'ensemble d'entraînement, essayez d'utiliser des valeurs élevées pour les paramètres de régularisation. Le risque de surapprentissage est plus élevé lorsqu'il n'y a que quelques observations par caractéristique.

  • Si vous craignez que de nombreuses caractéristiques ne soient pas pertinentes pour prédire le libellé, essayez de définir l1_reg sur une valeur plus élevée que l2_reg et inversement. Certaines données théoriques prouvent que la régularisation L1 fonctionne mieux lorsque de nombreuses caractéristiques ne sont pas pertinentes.

Un autre avantage de la régularisation L1 est qu'elle définit généralement de nombreuses pondérations de modèle à zéro, ce qui est utile pour identifier les caractéristiques les plus pertinentes et entraîner un modèle compact.

Étape suivante