Auf dieser Seite wird beschrieben, wie Sie A/B-Tests verwenden können, um zu verstehen, wie sich Vertex AI Search für den Einzelhandel auf Ihr Unternehmen auswirkt.
Überblick
Ein A/B-Test ist ein zufälliger Test mit zwei Gruppen: einer Testgruppe und einer Kontrollgruppe. Die Testgruppe wird anders behandelt (in diesem Fall Vorhersagen oder Suchergebnisse von Vertex AI Search für den Einzelhandel). Die Kontrollgruppe tut dies nicht.
Wenn Sie einen A/B-Test ausführen, fügen Sie Informationen darüber hinzu, welcher Gruppe ein Nutzer beim Aufzeichnen von Nutzerereignissen angehört hat. Diese Informationen werden verwendet, um das Modell zu optimieren und Messwerte bereitzustellen.
Beide Versionen Ihrer Anwendung müssen identisch sein, mit der Ausnahme, dass Nutzer in der Testgruppe Ergebnisse sehen, die von Vertex AI Search für den Einzelhandel generiert wurden, und die Kontrollgruppe nicht. Nutzerereignisse werden für beide Gruppen protokolliert.
Weitere Informationen zur Trafficaufteilung finden Sie in der App Engine-Dokumentation unter Traffic aufteilen.
Testplattformen
Richten Sie den Test mithilfe einer Testplattform eines Drittanbieters wie Google Optimize oder Optimizely ein. Die Kontroll- und Testgruppen erhalten jeweils eine eindeutige Test-ID von der Plattform. Wenn Sie ein Nutzerereignis aufzeichnen, geben Sie im Feld experimentIds an, in welcher Gruppe sich der Nutzer befindet. Wenn Sie die Test-ID angeben, können Sie die Messwerte für die Versionen Ihrer App vergleichen, die von der Kontroll- und der Testgruppe gesehen werden.
Best Practices für A/B-Tests
Das Ziel eines A/B-Tests besteht darin, die Auswirkungen der Aktualisierung Ihrer Website genau zu ermitteln (in diesem Fall mit Vertex AI Search für den Einzelhandel). Damit Sie die Auswirkungen genau ermitteln können, müssen Sie den Test korrekt entwerfen und implementieren, damit sich keine anderen Unterschiede einschleichen und auf die Testergebnisse auswirken.
Beachten Sie die folgenden Tipps, um einen sinnvollen A/B-Test zu erstellen:
Bevor Sie Ihren A/B-Test einrichten, sollten Sie mithilfe der Vorhersage- oder Suchvorschau prüfen, ob sich Ihr Modell wie erwartet verhält.
Achten Sie darauf, dass das Verhalten Ihrer Website für die Testgruppe und die Kontrollgruppe identisch ist.
Das Verhalten der Website umfasst Latenz, Anzeigeformat, Textformat, Seitenlayout, Bildqualität und Bildgröße. Zwischen den Attributen der Kontroll- und Testgruppen sollte es keinen erkennbaren Unterschied geben.
Akzeptieren und zeigen Sie die Ergebnisse an, wie sie von Vertex AI Search für den Einzelhandel zurückgegeben werden, und zeigen Sie sie in derselben Reihenfolge an, in der sie zurückgegeben werden.
Das Herausfiltern von Artikeln, die nicht auf Lager sind, ist akzeptabel. Sie sollten jedoch vermeiden, dass Ergebnisse basierend auf Ihren Geschäftsregeln gefiltert oder sortiert werden.
Wenn Sie in Nutzerereignissen ein Attributionstoken verwenden, prüfen Sie, ob es richtig eingerichtet ist. Weitere Informationen zu Attributionstokens
Achten Sie darauf, dass die Bereitstellungskonfiguration, die Sie angeben, wenn Sie Empfehlungen oder Suchergebnisse anfordern, Ihrer Absicht für diese Empfehlung oder dieses Suchergebnis entspricht und mit dem Ort, an dem die Ergebnisse angezeigt werden.
Wenn Sie Empfehlungen verwenden, wirkt sich die Bereitstellungskonfiguration darauf aus, wie Modelle trainiert werden und welche Produkte empfohlen werden. Weitere Informationen
Wenn Sie eine vorhandene Lösung mit Vertex AI Search für den Einzelhandel vergleichen, halten Sie die Erfahrung der Kontrollgruppe strikt von der Erfahrung der Testgruppe getrennt.
Wenn die Kontrolllösung keine Empfehlung oder kein Suchergebnis enthält, geben Sie auf den Kontrollseiten keine Empfehlung aus Vertex AI Search für den Einzelhandel an. Dies verzerrt sonst Ihre Testergebnisse.
Nutzer dürfen nicht zwischen der Kontrollgruppe und der Testgruppe wechseln. Das ist besonders wichtig innerhalb einer Sitzung, wird aber auch über mehrere Sitzungen hinweg empfohlen. Dadurch wird die Testleistung verbessert und Sie erhalten schneller statistisch signifikante A/B-Testergebnisse.