Cette page vous explique comment utiliser les tests A/B pour comprendre l'impact de Vertex AI Search pour le commerce sur votre entreprise.
Présentation
Un test A/B est un test randomisé avec deux groupes : un groupe de test et un groupe de contrôle. Le groupe de test reçoit un traitement différent (dans ce cas, des prédictions ou des résultats de recherche de Vertex AI Search for retail) de celui appliqué au groupe de contrôle.
Lorsque vous exécutez un test A/B, vous incluez des informations sur le groupe dans lequel se trouvait l'utilisateur au moment de l'enregistrement des événements utilisateur. Ces informations sont utilisées pour affiner le modèle et fournir métriques.
Les deux versions de votre application doivent être identiques, si ce n'est que les utilisateurs des groupe expérimental voit les résultats générés par Vertex AI Search pour le commerce et ce n'est pas le cas du groupe de contrôle. Vous consignez les événements utilisateur pour les deux groupes.
Pour en savoir plus sur la répartition du trafic, consultez la section Répartir le trafic dans la documentation d'App Engine.
Plates-formes de test
Configurez le test avec une plate-forme tierce, telle que VWO, ABTasty ou Optimizely. Les groupes de contrôle et de test obtiennent chacun un ID de test unique à partir de la plate-forme. Lorsque vous enregistrez
un événement utilisateur,
spécifiez le groupe dont fait partie l'utilisateur en incluant l'identifiant de test dans le
experimentIds. L'ID du test vous permet de comparer les métriques des versions de votre application du point de vue des groupes de contrôle et de test.
Bonnes pratiques pour les tests A/B
L'objectif d'un test A/B est de déterminer avec précision l'impact des mises à jour votre site (dans ce cas, à l'aide de Vertex AI Search pour le commerce). Pour obtenir une mesure précise de l'impact, vous devez concevoir et mettre en œuvre correctement le test afin que les autres différences n'affectent pas les résultats du test.
Pour concevoir un test A/B pertinent, suivez les conseils ci-dessous :
Avant de configurer votre test A/B, utilisez l'aperçu de prédiction ou de recherche pour vous assurer que votre modèle se comporte comme prévu.
Assurez-vous que le comportement de votre site est identique pour le groupe de test et le groupe de contrôle.
Le comportement du site comprend la latence, le format d'affichage, le format de texte, la mise en page, la qualité et la taille des images. Il ne devrait y avoir aucune différence notable pour ces attributs entre les expérience des groupes de contrôle et de test.
Acceptez et affichez les résultats tels qu'ils sont renvoyés par la recherche Vertex AI pour le commerce, en les affichant dans l'ordre dans lequel ils sont renvoyés.
Il est acceptable de filtrer les articles non disponibles. Toutefois, vous devez éviter de filtrer ou de trier les résultats en fonction des règles de votre entreprise.
Si vous incluez un jeton d'attribution dans vos événements utilisateur, assurez-vous qu'il est correctement configuré. Consultez la documentation sur les jetons d'attribution.
Assurez-vous que la configuration de diffusion que vous fournissez lorsque vous demandez recommandations ou résultats de recherche correspondent à votre intention recommandation ou résultat de recherche, et l'emplacement d'affichage résultats.
Lorsque vous utilisez des recommandations, la configuration de diffusion affecte la manière dont les modèles sont entraînés et, par conséquent, les produits recommandés. En savoir plus
Si vous comparez une solution existante à Vertex AI Search pour le commerce, maintenir l'expérience du groupe de contrôle dans une séparation stricte du groupe expérimental.
Si la solution de contrôle ne fournit pas de recommandation ou de résultat de recherche, n'en fournissez pas à partir de Vertex AI Search pour le commerce sur les pages de contrôle. Cela fausserait les résultats de votre test.
Assurez-vous que vos utilisateurs ne alternent pas entre le groupe de contrôle et le groupe de test. Cela est particulièrement important au cours d'une même session, mais également recommandé d'une session à l'autre. Cela améliore les performances du test et vous aide à obtenir des résultats de test A/B statistiquement pertinents plus rapidement.