これは、Recommendations AI、Retail Search、新しい Retail コンソールに関するドキュメントです。制限付き一般提供フェーズで Retail Search を使用するには、Cloud 営業担当者にお問い合わせください

Recommendations AI のみを使用している場合は、Recommendations コンソールを引き続き使用し、Recommendations AI のドキュメントをご覧ください。

A/B テスト

このページでは、A/B テストを実施して、Retail がビジネスに与える影響を理解する方法を説明します。

概要

A/B テストは、テストグループとコントロール グループという 2 つのグループを使用した無作為抽出テストです。テストグループは、別の処理(この場合は予測または Retail API からの検索結果)を受け取ります。コントロールグループはこの処理を受け取りません。

Retail API で A/B テストを実施する場合は、ユーザー イベントの記録時にユーザーがどのグループに属しているかに関する情報を含めます。Retail API は、この情報を使用してモデルを絞り込み、指標を提供します。

アプリケーションの両方のバージョンが同じである必要がありますが、テストグループのユーザーには Retail API で生成された結果が表示され、コントロール グループは表示されません。両方のグループのユーザー イベントをログに記録します。

トラフィック分割の詳細については、App Engine ドキュメントのトラフィックの分割をご覧ください。

テスト プラットフォーム

Google オプティマイズOptimizely などのサードパーティのテスト プラットフォームを使用してテストを設定します。コントロール グループとテストグループはそれぞれ、そのプラットフォームから固有のテスト ID を取得します。ユーザー イベントを記録する際は、experimentIds フィールドにテスト ID を含めて、ユーザーが所属するグループを指定します。テスト ID を指定すると、Retail API で、コントロール グループとテストグループで確認されたアプリケーションのバージョンの指標を比較できます。

A/B テストのベスト プラクティス

A/B テストの目的は、サイトの更新の影響(この場合は Retail の使用)を正確に判断することです。影響を正確に測定するには、テスト結果に他の違いが入らず、影響を受けないように、テストを正しく設計して実施する必要があります。

有意義な A/B テストを設計するには、次のヒントを使用してください。

  • A/B テストを設定する前に、予測または検索プレビューを使用して、モデルが予期したとおりに動作することを確認します。

  • テストグループとコントロール グループに対して、サイトの動作が同じであることを確認します。

    サイトの動作には、レイテンシ、表示形式、テキスト形式、ページ レイアウト、画質、画像サイズが含まれます。コントロール グループとテストグループのエクスペリエンスの間でこれらの属性のいずれにも明確な違いはありません。

  • Retail から返される場合は結果を受け入れて表示し、返される順序と同じ順序で表示します。

    在庫切れのアイテムの除外は、受け入れ可能です。ただし、ビジネスルールに基づいた結果のフィルタリングまたは順序付けはしないでください。

  • アトリビューション トークンがユーザー イベントに正しく含まれていることを確認してください。詳細

  • 提案レコメンデーションまたは検索結果をリクエストする際に指定するプレースメントが、そのレコメンデーションまたは検索結果の意図と、結果を表示する場所が一致していることを確認してください。

    Recommendations AI を使用する場合、サービス提供構成は、モデルのトレーニング方法、つまり推奨される商品に影響します。詳細

  • 既存のソリューションを Retail API と比較する場合は、コントロール グループ エクスペリエンスをテストグループ エクスペリエンスから厳密に切り離します。

    コントロール ソリューションがレコメンデーションや検索結果を提供しない場合は、コントロール ページで Retail API から提供しないようにしてください。これを行うと、テスト結果が不正確になります。