Auf dieser Seite wird beschrieben, wie Sie A/B-Tests verwenden, um zu verstehen, wie sich Vertex AI Search für den Einzelhandel auf Ihr Unternehmen auswirkt.
Übersicht
Ein A/B-Test ist ein zufälliger Test mit zwei Gruppen: einer Testgruppe und einer Kontrollgruppe. Die wurde die Testgruppe unterschiedlich behandelt (in diesem Fall oder Suchergebnisse von Vertex AI Search for Retail); in der Kontrollgruppe nicht.
Wenn Sie einen A/B-Test durchführen, schließen Sie Informationen darüber, zu welcher Gruppe ein Nutzer gehörte, wenn Sie Nutzerereignisse aufzeichnen. Anhand dieser Informationen wird das Modell optimiert Messwerte.
Beide Versionen Ihrer Anwendung müssen identisch sein, mit der Ausnahme, dass Nutzer in der Testgruppe sieht Ergebnisse von Vertex AI Search für den Einzelhandel in der Kontrollgruppe nicht. Nutzerereignisse werden für beide Gruppen protokolliert.
Weitere Informationen zur Trafficaufteilung finden Sie in der App Engine-Dokumentation unter Traffic aufteilen.
Testplattformen
Richten Sie den Test über eine Drittanbieter-Testplattform wie
VWO, ABTasty oder
Optimal: Die Kontroll- und Testgruppen erhalten jeweils eine eindeutige Test-ID von der Plattform. Wenn Sie ein Nutzerereignis aufzeichnen, geben Sie im Feld experimentIds an, in welcher Gruppe sich der Nutzer befindet. Wenn Sie die Test-ID angeben,
die Messwerte für die Versionen Ihrer
der Kontroll- und der Testgruppe.
Best Practices für A/B-Tests
Das Ziel eines A/B-Tests ist es, die Auswirkungen der Aktualisierung Ihrer Website (in diesem Fall Vertex AI Search für den Einzelhandel) genau zu bestimmen. Damit Sie die Auswirkungen genau ermitteln können, müssen Sie den Test korrekt entwerfen und implementieren, damit sich keine anderen Unterschiede einschleichen und auf die Testergebnisse auswirken.
Beachten Sie die folgenden Tipps, um einen sinnvollen A/B-Test zu erstellen:
Bevor Sie Ihren A/B-Test einrichten, sollten Sie mithilfe der Vorhersage- oder Suchvorschau prüfen, ob sich Ihr Modell wie erwartet verhält.
Achten Sie darauf, dass das Verhalten Ihrer Website für die Testgruppe und die Kontrollgruppe identisch ist.
Das Verhalten der Website umfasst Latenz, Anzeigeformat, Textformat, Seitenlayout, Bildqualität und Bildgröße. Zwischen den Attributen der Kontroll- und Testgruppen sollte es keinen erkennbaren Unterschied geben.
Akzeptieren und Ergebnisse so anzeigen, wie sie von zurückgegeben werden Vertex AI Search for Retail und zeigen sie in derselben Reihenfolge an, zurückgegeben.
Das Herausfiltern von Artikeln, die nicht auf Lager sind, ist akzeptabel. Sie sollten jedoch vermeiden, dass Ergebnisse basierend auf Ihren Geschäftsregeln gefiltert oder sortiert werden.
Wenn Sie Ihren Nutzerereignissen ein Attributionstoken hinzufügen, muss es korrekt eingerichtet haben. Weitere Informationen finden Sie in der Dokumentation zu Attributionstokens.
Achten Sie darauf, dass die bei der Anfrage angegebene Bereitstellungskonfiguration Empfehlungen oder Suchergebnisse, die Ihrer Absicht entsprechen oder das Suchergebnis und die Position, Ergebnisse.
Wenn Sie Empfehlungen verwenden, wirkt sich die Bereitstellungskonfiguration darauf aus, wie Modelle trainiert werden und welche Produkte empfohlen werden. Weitere Informationen
Wenn Sie eine vorhandene Lösung mit Vertex AI Search for Retail vergleichen, sollten Sie die Erfahrung der Kontrollgruppe strikt von der Erfahrung der Testgruppe trennen.
Wenn die Kontrolllösung keine Empfehlung bzw. Suchergebnis bereitstellt, geben Sie keines über Vertex AI Search für den Einzelhandel auf den Kontrollseiten an. Dies verzerrt sonst Ihre Testergebnisse.
Stellen Sie sicher, dass Ihre Nutzer nicht zwischen der Kontrollgruppe und der Testgruppe. Das ist besonders wichtig innerhalb derselben Sitzung, wird aber auch für Sitzungen empfohlen. Dies verbessert die Testleistung und können Sie schneller Ergebnisse von A/B-Tests mit statistischer Signifikanz erhalten.