Cette documentation de Recommendations AI fait référence à la console Recommendations. Nous vous recommandons de passer à la console Retail et d'utiliser la documentation pour le commerce de détail, qui fournit des informations sur Recommendations AI, la console et sur Retail Search.

Si vous utilisez la version v1beta de Recommendations AI, migrez vers la version Retail API.

Tests A/B

Cette page vous explique comment utiliser les tests A/B pour comprendre comment Recommendations AI impacte votre activité.

Aperçu

Un test A/B est un test randomisé avec deux groupes : un groupe de test et un groupe de contrôle. Le groupe de test reçoit un traitement différent (dans ce cas, des prédictions de Recommendations AI) de celui appliqué au groupe de contrôle.

Lorsque vous exécutez un test A/B avec Recommendations AI, vous incluez des informations sur le groupe dans lequel se trouvait l'utilisateur au moment de l'enregistrement des événements utilisateur. Recommendations AI utilise ces informations pour affiner le modèle et fournir des métriques.

Les deux versions de votre application doivent être identiques, sauf que les utilisateurs du groupe de test voient les recommandations générées par Recommendations AI, contrairement aux utilisateurs du groupe de contrôle. Vous consignez les événements utilisateur pour les deux groupes.

Pour en savoir plus sur la répartition du trafic, consultez la section Répartir le trafic dans la documentation d'App Engine.

Plates-formes de test

Configurez le test avec une plate-forme tierce, telle que Google Optimize ou Optimizely. Les groupes de contrôle et de test obtiennent chacun un ID de test unique à partir de la plate-forme. Lorsque vous enregistrez un événement utilisateur, spécifiez le groupe dans lequel se trouve l'utilisateur en incluant l'ID de test dans le champ experimentIds. L'ID du test permet à Recommendations AI de comparer les métriques des versions de votre application du point de vue des groupes de contrôle et de test.

Bonnes pratiques pour les tests A/B

L'objectif d'un test A/B est de déterminer avec précision l'impact de la mise à jour de votre site (dans le cas présent, l'utilisation de Recommendations AI). Pour obtenir une mesure précise de l'impact, vous devez concevoir et mettre en œuvre correctement le test afin que les autres différences n'affectent pas les résultats du test.

Pour concevoir un test A/B pertinent, suivez les conseils ci-dessous :

  • Avant de configurer votre test A/B, utilisez l'aperçu de prédiction pour vous assurer que votre modèle se comporte comme prévu.

  • Assurez-vous que le comportement de votre site est identique pour le groupe de test et le groupe de contrôle.

    Le comportement du site comprend la latence, le format d'affichage, le format de texte, la mise en page, la qualité et la taille des images. Il ne devrait y avoir aucune différence notable pour ces attributs entre les expérience des groupes de contrôle et de test.

  • Acceptez et affichez les recommandations telles qu'elles sont renvoyées par Recommendations AI, et affichez-les dans le même ordre que celui dans lequel elles sont renvoyées.

    Il est acceptable de filtrer les articles non disponibles. Toutefois, vous devez éviter de filtrer ou de trier les recommandations en fonction des règles de votre entreprise.

  • Assurez-vous d'inclure correctement le jeton d'attribution avec vos événements utilisateur. En savoir plus

  • Assurez-vous que l'emplacement que vous fournissez lorsque vous demandez des recommandations correspond à votre intention pour cette recommandation, ainsi qu'à l'emplacement où vous affichez les résultats de la recommandation.

    L'emplacement affecte la manière dont les modèles sont entraînés et, par conséquent, les produits recommandés. En savoir plus

  • Si vous comparez une solution de recommandations existante à Recommendations AI, assurez-vous que l'expérience du groupe de contrôle est strictement séparée de celle du groupe de test.

    Si la solution de recommandations de contrôle ne fournit pas de recommandation, n'en fournissez pas à partir de Recommendations AI sur les pages de contrôle. Cela fausserait les résultats de votre test.