監控及分析 A/B 實驗

本頁說明如何在「商業搜尋」控制台中監控 A/B 實驗流量，並比較搜尋的關鍵業務指標。

總覽

您可以進行 A/B 實驗，比較現有搜尋實作項目與商家適用的 Vertex AI Search 之間的主要業務指標。

設定實驗和流量分配後，您可以使用 Search for commerce 控制台的「實驗」頁面，監控實驗流量並查看商家指標。

如要在控制台中設定 A/B 實驗監控，請輸入 A/B 測試的相關資訊，例如名稱、時間範圍和實驗組資訊。每個實驗變體組都會對應到您為 A/B 實驗建立的實驗群組，而您在控制台中設定的第一個實驗組會視為基準控制組。

每個實驗都有「監控」分頁，顯示流量分配指標，可協助您判斷 A/B 測試是否設定正確。這項資訊有助於驗證 A/B 測試是否導入偏誤。舉例來說，您要留意的一般問題是，某些查詢或類別是否由一個實驗組提供服務，但其他實驗組則否。

每項實驗也都有「數據分析」分頁，可供您查看主要業務指標的比較結果。這份報表包含兩類商家指標：

  • 每次搜尋或瀏覽的指標，例如每次搜尋的點擊次數。
  • 每次搜尋或瀏覽造訪的指標，例如每次瀏覽造訪的收益。

如需完整指標清單，請參閱指標清單。

每項業務指標都會提供原始值、相較於基準控制組的相對升幅，以及 95% 的信賴區間。您可以查看匯總指標和依日期劃分的指標。

「流量監控」分頁會顯示是否發生非預期的流量分配，以及發生日期。系統會比較實際流量分配百分比與您設定監控時輸入的預期分配百分比，判斷是否出現非預期流量分配。如果相對差異等於或小於 10%，則流量分配視為正確。舉例來說，如果流量要平均分配給兩個實驗組，實際分配比例為 45% 對 55% 仍屬於預期範圍。

您可以使用控制台同時監控多項實驗。

實驗日期和按日期區分的指標會使用 America/Los_Angeles 時區，並以 America/Los_Angeles 時間凌晨 12:00 做為開始和結束日期。

無論實驗正在進行、已完成或待處理，您隨時都能在控制台中更新實驗詳細資料，例如開始和結束日期、變體組數量、實驗 ID，以及預期流量分配百分比。系統會回溯更新資料。

監控及分析 A/B 實驗時，須符合下列規定/限制：

  • 您最多可以追蹤 180 天的實驗資料。如果實驗開始時間超過 180 天，系統就不會擷取更早的指標。

  • 如果按查詢或類別監控流量，系統只會傳回實驗中所有變體組流量最高的 100 個查詢或類別。

事前準備

在「Search for commerce」控制台中設定 A/B 實驗的監控功能前，請先完成下列事項：

  • 為現有搜尋導入項目和商家適用的 Vertex AI Search 放送的事件，設定使用者事件擷取功能。

  • 詳閱 A/B 實驗最佳做法。

  • 使用第三方實驗平台 (例如 Google 最佳化工具或 Optimizely) 設定實驗。

  • 為每個實驗群組設定並記錄使用者事件 experimentIds。設定實驗監控時，您需要為每個變化版本組別指定實驗 ID。

在控制台中新增實驗

如要在「Search for commerce」控制台中新增要監控的實驗，請按照下列程序操作：

在本程序中，您會在「Search for commerce」控制台中建立對應的變體組，與您在第三方實驗平台中建立的現有實驗組相符。如需變化版本實驗組如何對應至現有實驗群組的範例，請參閱「實驗設定範例」。

新增實驗詳細資料

在控制台中新增實驗並輸入詳細資料。

  1. 前往 Search for commerce 控制台的「實驗」頁面。

    前往「實驗」頁面

  2. 按一下「新增實驗」。

    「新增實驗」頁面隨即開啟。

  3. 輸入實驗名稱。

  4. 選取實驗的開始和結束日期。

    如果實驗流量設定為逐步增加，請將開始日期設為流量增加完畢且分配比例穩定的日期。

  5. 選取這項實驗要追蹤的活動類型：

    • 瀏覽：依網頁類別瀏覽網站。 搜尋回應中的空白查詢表示瀏覽活動。

    • 搜尋：在您網站上進行文字查詢搜尋。

接著，為實驗建立變化版本實驗組。

新增變化版本

在控制台中新增實驗詳細資料後，請建立與各實驗組對應的變化版本實驗組。

您設定的第一個變化版本實驗組是基準變化版本。基準通常代表您現有的解決方案。

開始前，請確認您已取得每個實驗群組的使用者事件 experimentIds。

  1. 按一下「新增變化版本實驗組」。

    「建立變化版本實驗組」面板隨即開啟。

  2. 輸入與實驗設定相關聯的使用者事件experimentId，這個變化版本實驗組會監控該事件：

    • 如果要設定第一個變體組：輸入與基準群組相關聯的使用者事件，做為基準。experimentId

    • 如果已設定基準變化版本組：輸入與下一個實驗群組相關聯的使用者事件 experimentId。

  3. 請輸入這個變化版本實驗組的易讀名稱。

    這個名稱會顯示在主控台的監控資訊主頁中。

  4. (選填) 為這個變化版本實驗組提供說明。

  5. 選取放送流量目的地：

    • Google Vertex AI Search for Retail API：如果這個變體組監控 Vertex AI Search for Commerce 結果的流量。

    • 外部：如果這個變體組別監控外部服務的流量，以取得結果，舉例來說，如果實驗是比較現有服務的流量與 Vertex AI Search for commerce 流量，基準 (或控制) 變體組別可能代表外部目的地。

  6. 按一下「建立」，完成建立這個變體組。

    變化版本實驗組會顯示在「新增實驗」頁面。

  7. 重複上述步驟，為您打算監控的每個實驗群組建立相關聯的變體組。

    您必須至少有一個「外部」和一個「Google Vertex AI Search for Retail API」組別。

  8. (選用) 根據預設，預期流量百分比會平均分配給所有變化版本實驗組。如要自訂預期流量百分比，請按照下列步驟操作：

    1. 在「新增變體」部分，按一下「流量百分比」欄中的流量百分比值。

      「流量百分比」面板隨即開啟。

    2. 在「權重分配」欄位中，選取「自訂百分比」。

    3. 在每個變體實驗組的「流量百分比」欄中，輸入預期的流量百分比。

      所有變化版本實驗組的流量百分比總和必須為 100%。

    4. 按一下 [完成]。

      「流量百分比」面板會關閉。

  9. 在「新實驗」頁面按一下「建立」，完成實驗建立程序。

    實驗會顯示在「入門實驗」頁面。

實驗設定範例

本節將提供兩個實驗設定範例。

範例 1 顯示基準控制組和一個商家適用的 Vertex AI Search 實驗組。

範例 2 顯示如何比較基準控制組與兩個商家適用的 Vertex AI Search 實驗組。

範例 1：兩個變化版本實驗組

在本範例中，假設您打算設定 A/B 實驗，並使用下列設定：

  • 傳送至內部搜尋引擎的搜尋要求有 20% 做為基準 控制組
  • 傳送至 Google Vertex AI Search for Retail API 的搜尋要求中，有 20% 屬於實驗組
  • 60% 做為未納入 A/B 測試的排除群組

要求和使用者事件設定如下：

流量類型 探索引擎 60% event.experimentIds event.attributionToken 流量百分比
控管流量 內部 CONTROL 不適用 20%
實驗流量 Google Vertex AI Search for Retail API EXPERIMENT 搜尋回應中的歸因權杖 20%
預留流量 任一 / 兩者皆可 不適用 視探索引擎而定 60%

保留流量可由內部搜尋引擎、商家適用的 Vertex AI Search 或兩者提供。由於這些廣告活動不屬於 A/B 測試，因此沒有實驗 ID。如要指出哪些使用者事件屬於 A/B 測試，請務必提供 experimentIds 和 attributionToken 資訊。您的 experimentId 字串可能與本範例中的字串不同。請確保實驗和使用者事件使用的 ID 一致。

在管理中心建立對應實驗時，您只會建立兩個變數組，因為排除組不屬於實驗。兩個變化版本實驗組之間的預期流量分配比例為 50% / 50%。

如要為這個範例實驗設定監控，請在控制台中為每個實驗群組建立對應的變體組。下表顯示這個範例在變體 ARM 設定期間，您會在管理中心輸入的資訊。

變化版本實驗組名稱 流量目的地 使用者事件實驗 ID 預期流量百分比
控制組範例 外部 控制 50%
實驗組範例 Google Vertex AI Search for Retail API 實驗 50%

範例 2：三個變化版本實驗組

在這個範例中，假設您打算對主要查詢 (高頻率查詢) 進行 A/B 實驗，並同時啟用和停用動態層面。要求和使用者事件設定如下：

變化版本實驗組名稱 流量目的地 event.experimentIds event.attributionToken 流量百分比
控制頭部查詢 內部 控制 不適用 50% 的頭部查詢
頭部查詢動態 facet ON 實驗 Google Vertex AI Search for Retail API EXP_DF_ON 搜尋回應中的歸因權杖 25% 的熱門查詢
頭部查詢動態 facet 關閉實驗 Google Vertex AI Search for Retail API EXP_DF_OFF 搜尋回應中的歸因權杖 25% 的熱門查詢
非首要查詢和其他保留項目 Google Vertex AI Search for Retail API 不適用 視使用的引擎而定 不適用

如要為這個範例實驗設定監控，請在控制台中為每個實驗群組建立對應的變體組。下表顯示這個範例在變體 ARM 設定期間，您會在管理中心輸入的資訊。

變化版本實驗組名稱 流量目的地 使用者事件實驗 ID 預期流量百分比
控制組範例 外部 控制 50%
範例實驗組 1 Google Vertex AI Search for Retail API EXP_DF_ON 25%
實驗組 2 範例 Google Vertex AI Search for Retail API EXP_DF_OFF 25%

流量指標

實驗的「監控」頁面會顯示下列指標是否有非預期的流量分配：

  • 依日期搜尋/瀏覽事件數量
  • 依日期搜尋/瀏覽訪客人數
  • 依類別搜尋/瀏覽事件數量

如果這些指標出現非預期的流量分配，監控頁面頂端的指標資訊卡會顯示發生非預期流量分配的日期。按一下「非預期的流量分配」，即可查看可篩選的表格，其中列出該指標的非預期流量分配。

實驗「監控」頁面上的下列表格會根據使用情況，比較各變體組的流量指標。按一下任何資料表標題旁的「查看更多」，即可查看可篩選的資料表，其中列出該指標的所有流量分配：

  • 不同日期的搜尋/瀏覽事件數量：指定日期在變體組中發生的搜尋或瀏覽總次數。

  • 不同日期的搜尋/瀏覽訪客人數：在特定日期，查詢或瀏覽變體組的訪客人數。

  • 各類別的搜尋/瀏覽事件數量：從實驗開始日期到結束日期 (或到今天，如果實驗仍在進行中)，在變化版本中搜尋特定查詢或類別的總次數。這個表格只會顯示實驗中所有變體實驗組總流量排名前 100 的查詢或類別。

監控實驗

「入門實驗」頁面會顯示近期實驗的表格。

如要監控實驗，請按照下列步驟操作：

  1. 前往 Search for commerce 控制台的「實驗」頁面。

    前往「實驗」頁面

  2. 按一下實驗名稱。

    系統隨即會開啟該實驗的「監控」頁面。

  3. 查看頁面，確認是否有非預期的流量分配。

    每個指標都會顯示發生非預期流量分配的日期。

  4. 如果看到非預期分配，請按一下「非預期流量分配」，查看可篩選的表格，其中列出該指標的非預期流量分配。

解決非預期的流量分配問題

透過「搜尋」的商家控制台監控實驗，有助於找出實驗中的潛在問題。

如果遇到非預期的流量分配，請確認事件是否已標記正確的實驗 ID。舉例來說，如果控制組的事件標記了錯誤的實驗 ID，該事件就會歸因於錯誤的變體。

如果事件標記正常運作，但商務搜尋控制台回報了非預期的流量分配，可能表示實驗平台中的流量分配有問題。如果發生這種情況，請先暫停 A/B 測試，再解決問題，以免實驗產生錯誤結果。

用於分析的業務指標

系統提供兩組商家指標：

  • 個別搜尋或瀏覽指標
  • 每次搜尋造訪或每次瀏覽造訪

個別搜尋造訪指標

如要查看每次搜尋造訪指標的定義，請按這裡。每次瀏覽造訪指標的定義與每次搜尋造訪指標的定義類似，只是將所有「搜尋」換成「瀏覽」。

在訂購單率中，一份訂購單可包含多個 SKU。每個 SKU 的數量可大於或等於一。

-->
指標名稱 定義
搜尋造訪次數 至少包含一次搜尋的瀏覽次數。
跳出率 只有 1 個使用者事件的搜尋造訪次數 / 搜尋造訪次數
網頁瀏覽率 點擊次數 (網頁瀏覽量) / 搜尋造訪次數
加入購物車比率 搜尋造訪次數中加入購物車的商品數量 / 搜尋造訪次數
訂購單比率 搜尋造訪次數中的訂購單數量 / 搜尋造訪次數
收益率 搜尋造訪次數的收益總和 / 搜尋造訪次數
平均訂單價值 (AOV) 搜尋瀏覽中的收益總和 / 搜尋瀏覽中的訂單數量

每次搜尋指標

如要查看各項搜尋指標的定義，請按這裡。個別瀏覽指標的定義與個別搜尋指標的定義類似，只是將所有「搜尋」替換為「瀏覽」。

指標名稱 定義
搜尋數 搜尋事件數
無結果率 沒有結果的搜尋事件數 / 搜尋次數
點閱率 (CTR) 搜尋帶來的點擊次數 (網頁瀏覽量) / 搜尋次數
加入購物車比率 搜尋帶來的「加入購物車」單元數 / 搜尋次數
購買率 搜尋帶來的購買單位數 / 搜尋次數
收益率 搜尋帶來的收益總和 / 搜尋次數
平均單價 (AUV) 搜尋帶來的收益總和 / 搜尋帶來的購買單位數

分析實驗的商家成效

每項實驗的「Analytics」分頁都會顯示業務指標資訊主頁。資訊主頁會顯示不同變體組的成效比較結果。

指標資訊主頁有兩種：

  • 個別搜尋造訪和個別瀏覽造訪指標
  • 每次搜尋和每次瀏覽指標

系統會根據實驗的ProductType屬性，顯示搜尋指標或瀏覽指標。

每個資訊主頁都會顯示摘要指標表格，其中會匯總日期範圍篩選器中顯示的日期指標結果。預設日期值為實驗的開始和結束日期。

每項指標都會顯示為匯總結果表格，以及提供更詳細資訊的每日值圖表。

匯總表格的日期範圍會以實驗的開始和結束日期做為預設日期值。如果實驗正在進行中，結束日期會設為當天。您可以修改日期範圍篩選器。如果 userAgent 收到擷取的使用者事件，您也可以依裝置類型劃分指標。按一下「重新整理」圖示，將修改後的篩選條件套用至指標。

當指標的相對升幅夠大，超過信賴區間頻寬時，該變體就會顯示綠色背景色。同樣地，如果相對升幅為負值，且幅度夠大，該變數就會顯示紅色背景顏色。如果相對升幅小於信賴區間寬度，灰色背景顏色表示結果不具統計顯著性。

舉例來說，比較變化版本實驗組與基準控制組時：

  • 如果「每次搜尋的點擊率」指標為 +3.0%，且信賴區間 (顯示為「升幅信賴區間」) 為 [2.1%、4.0%]，則變數組會以綠色醒目顯示，表示就這項指標而言，變數組的成效優於基準控制組。
  • 如果指標「每次瀏覽造訪的收益率」為 -1.5%，且信賴區間為 [-2.6%、-0.4%]，則變化版本實驗組會以紅色醒目顯示，表示這項指標的成效低於基準控制組。
  • 如果指標「每次搜尋的平均單元價值」為 +1.0%，且信賴區間為 [-1.1%, 3.0%]，則變化版本組會以灰色醒目顯示，表示成效差異尚未達到統計顯著性。

一般來說，資料點越多，差異就越小。累積幾週的指標信賴區間頻寬會比每日指標小，也更有可能顯示統計顯著性。

修改實驗詳細資料

無論實驗正在進行、已完成或待處理，您隨時都能在控制台中更新實驗詳細資料，例如開始和結束日期、變化版本實驗組數量、實驗 ID，以及預期的流量分配百分比。系統會回溯更新資料。

如要編輯實驗詳細資料，請按照下列步驟操作：

  1. 前往 Search for commerce 控制台的「實驗」頁面。

    前往「實驗」頁面

  2. 在顯示近期實驗的表格中，找出要修改的實驗。

  3. 按一下資料列右側的三點「動作」圖示，然後點選「編輯」。

    「編輯實驗」頁面隨即開啟。

  4. 修改要更新的實驗欄位。

  5. 按一下 [Update] (更新)，儲存您所做的變更。

從控制台刪除實驗

如要從「搜尋商務」控制台刪除實驗，請按照下列步驟操作：

  1. 前往 Search for commerce 控制台的「實驗」頁面。

    前往「實驗」頁面

  2. 在顯示近期實驗的表格中，找出要刪除的實驗。

  3. 按一下資料列右側的三點「動作」圖示，然後點選「刪除」。

    系統會開啟「要刪除實驗嗎？」確認視窗。

  4. 輸入實驗名稱，然後按一下「確認」確認刪除。

    刪除完成後，控制台會顯示實驗已成功刪除的訊息。