Cette page explique comment surveiller le trafic des tests A/B et comparer les métriques commerciales clés pour la recherche dans la Search for Retail.
Présentation
Vous pouvez effectuer un test A/B pour comparer des métriques métier clés entre votre implémentation de recherche existante et Vertex AI Search pour le commerce.
Après avoir configuré le test et sa répartition du trafic, vous pouvez surveiller le trafic du test et afficher les métriques métier sur la page Test de la console Search for Retail.
Pour configurer la surveillance du test A/B dans la console, vous devez saisir des informations sur votre test A/B, telles que son nom, sa période et des informations sur le groupe de test. Chaque groupe de variantes de test correspond à un groupe de test que vous avez créé pour le test A/B, dans lequel le premier groupe que vous avez configuré dans la console est traité comme contrôle de référence.
Chaque test comporte un onglet Surveillance affichant des métriques de répartition du trafic qui peuvent vous aider à déterminer si le test A/B est correctement configuré. Cela est important pour vérifier si un biais a été introduit dans le test A/B. Par exemple, vous devez déterminer si certaines requêtes ou catégories sont diffusées par un groupe de test, mais pas par d'autres.
Chaque test comporte également un onglet Analytics dans lequel vous pouvez consulter des comparaisons de métriques commerciales clés. Deux catégories de métriques commerciales sont incluses:
- Métriques par recherche ou par navigation, telles que les clics par recherche.
- Métriques par recherche ou par visite de navigation, comme les revenus par visite de navigation.
Consultez la liste des métriques pour obtenir la liste complète.
Chaque métrique métier fournit des valeurs brutes, l'impact relatif par rapport au contrôle de référence et un intervalle de confiance de 95 %. Vous pouvez afficher des métriques agrégées et des métriques par date.
L'onglet de surveillance du trafic indique si des répartitions du trafic inattendues se sont produites et les dates auxquelles elles se sont produites. Une répartition du trafic inattendue est déterminée en comparant le pourcentage réel de répartition du trafic au pourcentage de répartition prévu que vous avez saisi lors de la configuration de la surveillance. La répartition du trafic est considérée comme correcte si la différence relative est inférieure ou égale à 10%. Par exemple, si le trafic est destiné à être réparti équitablement entre deux groupes, une répartition réelle de 45% à 55% se situe juste dans la plage prévue.
Vous pouvez utiliser la console pour surveiller plusieurs tests simultanément.
La date du test et les métriques segmentées par date utilisent America/Los_Angeles comme fuseau horaire et 00:00 AM America/Los_Angeles pour les dates de début et de fin.
Vous pouvez mettre à jour à tout moment les détails d'un test dans la console, comme les dates de début et de fin, le nombre de groupes de variantes, les ID de test et le pourcentage prévu de répartition du trafic, que le test soit en cours, terminé ou en attente. Les données sont mises à jour rétroactivement.
La surveillance et l'analyse des tests A/B présentent les exigences/limites suivantes:
Vous pouvez effectuer le suivi de la période maximale de données d'un test de 180 jours. Si un test a commencé il y a plus de 180 jours, les métriques antérieures à cette date ne sont pas capturées.
La surveillance du trafic par requête ou par catégorie ne renvoie que les 100 requêtes ou catégories qui génèrent le plus de trafic parmi tous les groupes de variantes du test.
Avant de commencer
Avant de configurer la surveillance dans la console Search for Retail pour un test A/B:
Configurez l'ingestion d'événements utilisateur pour les événements diffusés par votre implémentation de recherche existante et par Vertex AI Search pour le commerce.
Consultez les bonnes pratiques concernant les tests A/B.
Configurez le test avec une plate-forme tierce, telle que Google Optimize ou Optimizely.
Configurez et notez l'événement utilisateur
experimentIdspour chaque groupe de test. Lorsque vous configurez la surveillance d'un test, vous devez spécifier les ID de test pour chaque groupe de variantes.
Ajouter un test dans la console
Procédez comme suit pour ajouter un test à surveiller dans la console Search for Retail:
Dans cette procédure, vous créez des groupes de variantes dans la console Search for Retail correspondant aux groupes de test existants que vous avez créés dans votre plate-forme de test tierce. Pour obtenir des exemples de mappage des groupes de variantes à des groupes de test existants, consultez Exemples de configurations de test.
Ajouter les détails du test
Ajoutez un test dans la console, puis saisissez ses détails.
Accédez à la page Tests de la console Search for Retail.
Accéder à la page "Tests"Cliquez sur Ajouter un test.
La page Nouveau test s'ouvre.
Attribuez un nom à votre test.
Sélectionnez les dates de début et de fin de votre test.
Si le trafic de votre test est configuré pour augmenter progressivement, définissez la date de début sur une date correspondant à la fin de la montée en puissance et à la stabilisation de la répartition du trafic.
Sélectionnez le type d'activité suivi par ce test:
Parcourir: permet de naviguer sur votre site par catégorie de page. L'activité de navigation est indiquée par une requête vide dans la réponse de recherche.
Recherche: permet de rechercher une requête textuelle sur votre site.
Ensuite, créez des groupes de variantes pour votre test.
Ajouter des variantes
Après avoir ajouté les détails du test dans la console, créez des groupes de variantes correspondant à chaque groupe de test.
Le premier groupe de variantes que vous configurez est la variante de référence. La référence représente généralement votre solution existante.
Avant de commencer, assurez-vous de disposer de l'événement utilisateur experimentIds pour chaque groupe de test.
Cliquez sur Ajouter un groupe de variantes.
Le panneau Créer un groupe de variantes s'ouvre.
Saisissez l'événement utilisateur
experimentIdassocié à la configuration du test que ce groupe de variantes surveillera:Si vous configurez votre premier groupe de variantes:saisissez l'événement utilisateur
experimentIdassocié au groupe de référence qui servira de référence.Si vous avez déjà configuré votre groupe de variantes de référence: saisissez l'événement utilisateur
experimentIdassocié au groupe de test suivant.
Saisissez un nom lisible pour ce groupe de variantes.
Ce nom s'affiche dans les tableaux de bord de surveillance de la console.
(Facultatif) Fournissez une description de ce groupe de variantes.
Sélectionnez une destination du trafic de diffusion:
API Google Vertex AI Search for Retail: si ce groupe de variantes surveille le trafic pour Vertex AI Search pour le commerce.
Externe: si ce groupe de variantes surveille le trafic pour obtenir les résultats d'un service externe. Par exemple, le groupe de variantes de référence (ou de contrôle) représente probablement une destination externe si le test compare le trafic d'un service existant à Vertex AI Search pour le trafic du commerce.
Cliquez sur Créer pour finaliser la création de ce groupe de variantes.
Le groupe de variantes s'affiche sur la page Nouveau test.
Répétez les étapes précédentes pour créer des groupes de variantes associés à chaque groupe de test que vous prévoyez de surveiller.
Vous devez disposer d'au moins un groupe Externe et d'un groupe API Google Vertex AI Search for Retail.
(Facultatif) Par défaut, le pourcentage de trafic prévu est réparti équitablement entre tous les groupes de variantes. Pour personnaliser les pourcentages de trafic prévus:
Dans la section Ajouter des variantes, cliquez sur une valeur de pourcentage de trafic dans la colonne %de trafic.
Le panneau Pourcentage de trafic s'ouvre.
Dans le champ Répartition de la pondération, sélectionnez Pourcentages personnalisés.
Dans la colonne %de trafic de chaque groupe de variantes, saisissez le pourcentage de trafic prévu.
Le pourcentage de trafic total pour tous les groupes de variantes doit être égal à 100%.
Cliquez sur OK.
Le panneau Pourcentage de trafic se ferme.
Pour terminer, cliquez sur Créer sur la page Nouveau test.
Le test s'affiche sur la page Tests d'intégration.
Exemples de configurations de test
Cette section présente deux exemples de configurations de test.
L'exemple 1 présente un groupe de contrôle de référence et un groupe de test Vertex AI Search pour le commerce.
L'exemple 2 montre la comparaison d'un contrôle de référence avec deux groupes de test Vertex AI Search pour le commerce.
Exemple 1: Deux groupes de variantes
Supposons que vous prévoyez de configurer un test A/B avec les éléments suivants:
- 20% des requêtes de recherche envoyées aux moteurs de recherche internes comme groupe de contrôle de référence
- 20% des requêtes de recherche envoyées à l'API Google Vertex AI Search for Retail en tant que groupe de test
- 60% en tant que groupe d'exclusion n'ayant pas participé au test A/B
La requête et l'événement utilisateur sont configurés comme suit:
| Type de trafic | Moteur de découverte | event.experimentIds |
event.attributionToken |
% du trafic |
|---|---|---|---|---|
| Contrôler le trafic | En interne | CONTROL |
Non disponible | 20 % |
| Trafic généré par le test | API Google Vertex AI Search pour le commerce | EXPERIMENT |
Jeton d'attribution à partir de la réponse de recherche | 20 % |
| Trafic d'attente | L'un ou l'autre | Non disponible | Dépend du moteur de découverte | 60 % |
Le trafic d'attente peut être acheminé par un moteur de recherche interne, par Vertex AI Search pour le commerce, ou par les deux. Étant donné qu'elles ne font pas partie du test A/B, elles ne disposent pas d'un identifiant de test. Pour indiquer les événements utilisateur qui font partie du test A/B, veillez à fournir les informations experimentIds et attributionToken. Les chaînes experimentId peuvent être différentes de celles données dans cet exemple. Assurez-vous que les ID que vous utilisez sont cohérents entre vos tests et vos événements utilisateur.
Lorsque vous créez le test correspondant dans la console, vous ne devez créer que deux groupes de variantes, car le groupe de test n'en fait pas partie. Le pourcentage de trafic prévu réparti entre les deux groupes de variantes est de 50% / 50%.
Afin de configurer la surveillance pour cet exemple de test, vous devez créer les groupes de variantes correspondants dans la console pour chaque groupe de test. Le tableau suivant présente les informations que vous devez saisir dans la console lors de la configuration du groupe de variantes pour cet exemple.
| Nom du groupe de variantes | Destination du trafic | ID du test d'événement utilisateur | % de trafic prévu |
|---|---|---|---|
| Exemple de groupe de contrôle | Externe | CONTRÔLE | 50 % |
| Exemple de groupe de test | API Google Vertex AI Search pour le commerce | TESTEZ | 50 % |
Exemple 2: Trois groupes de variantes
Dans cet exemple, supposons que vous prévoyez d'effectuer un test A/B sur les requêtes principales (requêtes haute fréquence) et que vous incluez à la fois l'activation et la désactivation des attributs dynamiques. Les configurations des requêtes et des événements utilisateur se présenteraient comme suit:
| Nom du groupe de variantes | Destination du trafic | event.experimentIds | event.attributionToken | % du trafic |
|---|---|---|---|---|
| Commande des requêtes principales | En interne | CONTRÔLE | Non disponible | 50% des requêtes principales |
| Test des attributs dynamiques des requêtes principales | API Google Vertex AI Search pour le commerce | EXP_DF_ON | Jeton d'attribution à partir de la réponse de recherche | 25% des requêtes principales |
| Test des attributs dynamiques des requêtes principales | API Google Vertex AI Search pour le commerce | EXP_DF_OFF | Jeton d'attribution à partir de la réponse de recherche | 25% des requêtes principales |
| Requêtes autres que "head" et autres requêtes exclues | API Google Vertex AI Search pour le commerce | Non disponible | Dépend du moteur utilisé | Non disponible |
Afin de configurer la surveillance pour cet exemple de test, vous devez créer les groupes de variantes correspondants dans la console pour chaque groupe de test. Le tableau suivant présente les informations que vous devez saisir dans la console lors de la configuration du groupe de variantes pour cet exemple.
| Nom du groupe de variantes | Destination du trafic | ID du test d'événement utilisateur | % de trafic prévu |
|---|---|---|---|
| Exemple de groupe de contrôle | Externe | CONTRÔLE | 50 % |
| Exemple de groupe de test 1 | API Google Vertex AI Search pour le commerce | EXP_DF_ON | 25 % |
| Exemple de groupe de test 2 | API Google Vertex AI Search pour le commerce | EXP_DF_OFF | 25 % |
Métriques de trafic
La page Surveillance d'un test indique si des répartitions du trafic inattendues sont associées aux métriques suivantes:
- Nombre d'événements de recherche/navigation par date
- Nombre de visiteurs associés à la recherche/navigation par date
- Nombre d'événements de recherche/navigation par catégorie
Lorsque des répartitions du trafic inattendues se produisent pour l'une de ces métriques, la fiche correspondante en haut de la page Monitoring affiche les dates auxquelles la répartition du trafic s'est produite. Cliquez sur Répartitions du trafic involontaire pour afficher un tableau filtrable affichant les répartitions du trafic involontaires pour cette métrique.
Les tableaux suivants, figurant sur la page Surveillance d'un test, comparent les métriques de trafic entre les groupes de variantes en fonction de l'utilisation. Cliquez sur Afficher plus à côté du titre d'un tableau pour afficher un tableau filtrable répertoriant toutes les répartitions du trafic pour cette métrique:
Nombre d'événements de recherche/navigation par date: nombre total de recherches ou de navigations effectuées dans un groupe de variantes à une date donnée.
Nombre de visiteurs sur les pages de recherche/navigation par date: nombre de visiteurs ayant effectué une requête ou parcouru un groupe de variantes à une date donnée.
Nombre d'événements de recherche/navigation par catégorie: nombre total de recherches sur une requête ou une catégorie donnée dans un groupe de variantes entre la date de début du test et sa date de fin (ou la date du jour, si le test est en cours). Ce tableau n'affiche que les 100 premières requêtes ou catégories en termes de trafic total de tous les groupes de variantes du test.
Surveiller un test
La page Tests d'intégration affiche un tableau de vos tests récents.
Pour surveiller un test:
Accédez à la page Tests de la console Search for Retail.
Accéder à la page "Tests"Cliquez sur le nom du test.
La page Surveillance correspondante s'ouvre.
Examinez la page afin d'identifier les répartitions du trafic involontaires.
Chaque métrique affiche les dates auxquelles des répartitions de trafic inattendues se sont produites.
Si vous voyez des répartitions involontaires, cliquez sur Répartitions du trafic involontaires pour afficher un tableau filtrable répertoriant les répartitions du trafic non souhaitées pour cette métrique.
Résoudre les problèmes de répartition du trafic involontaire
La surveillance des tests depuis la Search for Retail peut vous aider à attirer votre attention sur les problèmes potentiels de votre test.
Si vous rencontrez des répartitions du trafic involontaires, assurez-vous que les événements sont tagués avec l'ID de test approprié. Par exemple, si un événement appartenant à un groupe de contrôle est tagué avec le mauvais ID de test, il peut être attribué au mauvais groupe de variantes.
Si l'ajout de tags d'événement fonctionne correctement, les répartitions de trafic inattendues signalées par la console Search for Retail peuvent indiquer des problèmes de répartition du trafic sur votre plate-forme de test. Dans ce cas, mettez en veille vos tests A/B avant de résoudre le problème, afin que votre test ne produise pas de résultats incorrects.
Métriques commerciales à des fins d'analyse
Deux groupes de métriques métier sont disponibles:
- Métriques par recherche ou par navigation
- Visite par recherche ou par navigation
Métriques sur les visites par recherche
Vous trouverez ci-dessous les définitions des métriques par recherche. Les définitions des métriques par navigation sont semblables à celles des métriques par recherche et par visite, toutes les instances de recherche étant remplacées par la navigation.
Dans le taux de bons de commande, un bon de commande peut inclure plusieurs SKU. Chaque SKU peut avoir une quantité supérieure ou égale à un.
| Nom de la métrique | Définition |
|---|---|
| Rechercher le nombre de visites | Nombre de visites contenant au moins une recherche. |
| Taux de pages vues | Nombre de clics (pages vues) / nombre de visites sur le Réseau de Recherche |
| Taux d'ajout au panier | Nombre d'unités d'ajout au panier dans le nombre de visites avec recherche / nombre de visites avec recherche |
| Taux de bon de commande | Nombre de bons de commande dans les visites avec recherche / nombre de visites avec recherche |
| Taux de revenus | Somme des revenus des visites avec recherche divisé par le nombre de visites avec recherche |
| Valeur moyenne de la commande | Somme des revenus des visites avec recherche / nombre de bons de commande pour les visites avec recherche |
Métriques par recherche
Les définitions des métriques par recherche sont listées ci-dessous. Les définitions des métriques par navigation sont semblables à celles des métriques par recherche, toutes les instances de recherche étant remplacées par la navigation.
| Nom de la métrique | Définition |
|---|---|
| Nombre de recherches | Nombre d'événements de recherche |
| Taux d'aucun résultat | Nombre d'événements de recherche sans résultat / nombre de recherches |
| Taux de clics (CTR) | Nombre de clics liés aux recherches (pages vues) divisés par le nombre de recherches |
| Taux d'ajout au panier | Nombre d'unités d'ajout au panier basées sur les recherches / nombre de recherches |
| Taux d'achat | Nombre d'unités d'achat axées sur les recherches / Nombre de recherches |
| Taux de revenus | Somme des revenus générés par les recherches / nombre de recherches |
| Valeur unitaire moyenne (AUV) | Somme des revenus générés par le Réseau de Recherche / nombre d'unités d'achat générées par le Réseau de Recherche |
Analyser les performances commerciales des tests
L'onglet Analytics de chaque test affiche des tableaux de bord de métriques commerciales. Les tableaux de bord présentent des comparaisons de performances entre les groupes de variantes.
Il existe deux tableaux de bord de métriques:
- Métriques par visite avec recherche et par visite de navigation
- Métriques par recherche et par navigation
Les métriques de recherche ou de navigation sont affichées en fonction de l'attribut ProductType du test.
Chaque tableau de bord affiche un tableau récapitulatif des métriques affichant les résultats agrégés pour les dates affichées dans le filtre de plage de dates. Les dates par défaut sont les dates de début et de fin du test.
Chaque métrique s'affiche sous la forme d'un tableau de résultats agrégés ainsi que d'un graphique des valeurs quotidiennes qui fournit des informations plus détaillées.
La plage de dates du tableau cumulé utilise les dates de début et de fin du test comme valeurs de dates par défaut. Si le test est en cours, la date de fin est définie sur la date du jour. Vous pouvez modifier le filtre de plage de dates. Si userAgent est fourni avec des événements utilisateur ingérés, vous pouvez également segmenter les métriques par type d'appareil.
Cliquez sur l'icône Actualiser pour appliquer les filtres modifiés aux métriques.
Lorsque l'impact relatif des métriques est suffisamment positif pour dépasser la bande passante de l'intervalle de confiance, une couleur d'arrière-plan verte s'affiche pour la variante. De même, si l'impact relatif est suffisamment négatif, une couleur d'arrière-plan rouge s'affiche pour la variante. Si l'impact relatif est inférieur à la largeur de l'intervalle de confiance, une couleur d'arrière-plan grise indique que le résultat n'a pas de pertinence statistique.
Par exemple, lorsque vous comparez un groupe de variantes au groupe de contrôle de référence:
- Si le taux de clics par recherche d'une métrique est de +3 % et que l'intervalle de confiance (CI d'impact) est de [2, 1%, 4,0%], le groupe de variantes est mis en surbrillance en vert pour indiquer qu'il s'agit d'une variante plus performante que la variante de référence pour cette métrique.
- Si la métrique Taux de revenu par visite de navigation est de -1,5 % et que l'intervalle de confiance est de [-2,6%, -0,4%], le groupe de variantes est mis en surbrillance en rouge pour indiquer qu'il enregistre de moins bonnes performances que le groupe de contrôle de référence.
- Si une métrique Valeur unitaire moyenne par recherche est égale à +1 % et que l'intervalle de confiance est [-1,1%, 3,0%], le groupe de variantes est mis en évidence en gris pour indiquer que la différence de performances n'est pas encore significative.
En règle générale, plus il y a de points de données, plus la variance est faible. Les métriques cumulées sur quelques semaines auront une bande passante d'intervalle de confiance inférieure à celle des métriques quotidiennes et seront plus susceptibles de montrer des résultats statistiquement pertinents.
Modifier les détails du test
Vous pouvez mettre à jour à tout moment les détails d'un test dans la console, comme les dates de début et de fin, le nombre de groupes de variantes, les ID de test et le pourcentage prévu de répartition du trafic, que le test soit en cours, terminé ou en attente. Les données sont mises à jour rétroactivement.
Pour modifier les détails d'un test:
Accédez à la page Tests de la console Search for Retail.
Accéder à la page "Tests"Dans le tableau contenant vos tests récents, recherchez celui que vous prévoyez de modifier.
Cliquez sur l'icône à trois points Actions à droite de la ligne du tableau, puis sur Modifier.
La page Modifier le test s'ouvre.
Modifiez les champs du test que vous souhaitez mettre à jour.
Cliquez sur Mettre à jour pour enregistrer vos modifications.
Supprimer un test de la console
Pour supprimer un test de la Search for Retail:
Accédez à la page Tests de la console Search for Retail.
Accéder à la page "Tests"Dans le tableau contenant vos tests récents, recherchez celui que vous prévoyez de supprimer.
Cliquez sur l'icône à trois points Actions à droite de la ligne du tableau, puis sur Supprimer.
La fenêtre de confirmation Supprimer le test ? s'ouvre.
Saisissez le nom du test, puis cliquez sur Confirmer pour confirmer la suppression.
Une fois la suppression terminée, la console affiche un message indiquant que votre test a bien été supprimé.