Diese Recommendations AI-Dokumentation verweist auf die Recommendations Console. Wir empfehlen, zur Retail Console zu wechseln und die Dokumentation für Einzelhändler zu verwenden. Darin werden Recommendations AI, die Retail Console und Retail Search dokumentiert.

Wenn Sie die v1beta-Version von Recommendations AI verwenden, migrieren Sie zur Retail API-Version.

A/B-Tests

Auf dieser Seite wird beschrieben, wie Sie A/B-Tests verwenden, um zu verstehen, wie sich Recommendations AI auf Ihr Unternehmen auswirkt.

Überblick

Ein A/B-Test ist ein zufälliger Test mit zwei Gruppen: einer Testgruppe und einer Kontrollgruppe. Die Testgruppe erhält eine andere Behandlung (in diesem Fall Vorhersagen von Recommendations AI) als die Kontrollgruppe.

Wenn Sie einen A/B-Test mit Recommendations AI ausführen, geben Sie an, in welcher Gruppe sich ein Nutzer befand, wenn Sie Nutzerereignisse aufzeichnen. Recommendations AI verwendet diese Informationen, um das Modell zu verfeinern und Messwerte bereitzustellen.

Beide Versionen Ihrer Anwendung müssen identisch sein, mit der Ausnahme, dass Nutzer in der Testgruppe Empfehlungen sehen, die von Recommendations AI generiert werden, und die Kontrollgruppe nicht. Nutzerereignisse werden für beide Gruppen protokolliert.

Weitere Informationen zur Trafficaufteilung finden Sie in der App Engine-Dokumentation unter Traffic aufteilen.

Testplattformen

Richten Sie den Test mithilfe einer Testplattform eines Drittanbieters wie Google Optimize oder Optimizely ein. Die Kontroll- und Testgruppen erhalten jeweils eine eindeutige Test-ID von der Plattform. Wenn Sie ein Nutzerereignis aufzeichnen, geben Sie im Feld experimentIds an, in welcher Gruppe sich der Nutzer befindet. Durch die Angabe der Test-ID kann Recommendations AI die Messwerte für die Versionen Ihrer Anwendung vergleichen, die von der Kontroll- und der Testgruppe gesehen werden.

Best Practices für A/B-Tests

Das Ziel eines A/B-Tests ist es, die Auswirkungen der Aktualisierung Ihrer Website (in diesem Fall Recommendations AI) genau zu bestimmen. Damit Sie die Auswirkungen genau ermitteln können, müssen Sie den Test korrekt entwerfen und implementieren, damit sich keine anderen Unterschiede einschleichen und auf die Testergebnisse auswirken.

Beachten Sie die folgenden Tipps, um einen sinnvollen A/B-Test zu erstellen:

  • Bevor Sie Ihren A/B-Test einrichten, sollten Sie mithilfe der Vorhersagevorschau prüfen, ob sich Ihr Modell wie erwartet verhält.

  • Achten Sie darauf, dass das Verhalten Ihrer Website für die Testgruppe und die Kontrollgruppe identisch ist.

    Das Verhalten der Website umfasst Latenz, Anzeigeformat, Textformat, Seitenlayout, Bildqualität und Bildgröße. Zwischen den Attributen der Kontroll- und Testgruppen sollte es keinen erkennbaren Unterschied geben.

  • Akzeptieren und zeigen Sie Empfehlungen an, die vom Recommendations AI zurückgegeben werden, und zwar in derselben Reihenfolge, in der sie zurückgegeben werden.

    Das Herausfiltern von Artikeln, die nicht auf Lager sind, ist akzeptabel. Sie sollten jedoch vermeiden, dass Ergebnisse basierend auf Ihren Geschäftsregeln gefiltert oder sortiert werden.

  • Prüfen Sie, ob das Attributionstoken korrekt in Ihre Nutzerereignisse enthalten ist. Weitere Informationen

  • Achten Sie darauf, dass das Placement, das Sie beim Anfordern von Empfehlungen angeben, mit der Absicht für diese Empfehlung übereinstimmt und an der Position, an der Sie die Empfehlungsergebnisse anzeigen.

    Das Placement hat Einfluss darauf, wie Modelle trainiert werden und welche Produkte empfohlen werden. Weitere Informationen

  • Wenn Sie eine vorhandene Empfehlungslösung mit Recommendations AI vergleichen, sollten Sie die Erfahrung der Kontrollgruppe strikt von der Erfahrung der Testgruppe trennen.

    Wenn die Kontrolllösung für Empfehlungen keine Empfehlung bietet, geben Sie auf den Kontrollseiten keine Empfehlung von Recommendations AI an. Dies verzerrt sonst Ihre Testergebnisse.