BigQuery ML 模型評估總覽

本文件說明 BigQuery ML 如何支援機器學習 (ML) 模型評估作業。

模型評估總覽

您可以將 ML 模型評估指標用於下列用途：

  • 評估模型與資料之間的擬合品質。
  • 比較不同模型。
  • 在模型選取的情況下，預測每個模型在特定資料集上的準確度。

監督式學習和非監督式學習模型的評估方式不同：

  • 對於監督式學習模型，模型評估已明確定義。評估集是指尚未由模型分析的資料，通常會從訓練集中排除，然後用於評估模型效能。我們建議您不要使用訓練集進行評估，因為這會導致模型在推論新資料的預測結果時，成效不佳。這種結果稱為過度擬合。
  • 對於非監督式學習模型，模型評估的定義較少，且通常因模型而異。由於非監督式學習模型不會保留評估集，因此評估指標會使用整個輸入資料集來計算。

如要瞭解每個模型類型支援的 SQL 陳述式和函式，請參閱「每個模型的端對端使用者歷程」。

模型評估服務

BigQuery ML 提供下列函式，用於計算機器學習模型的評估指標：

模型類別 模型類型 模型評估函式 功能的作用
監督式學習 線性迴歸

提升樹迴歸器

隨機森林迴歸器

DNN 迴歸器

寬廣深迴歸器

AutoML Tables 迴歸器		 ML.EVALUATE 回報下列指標：
  • 平均絕對誤差
  • 均方誤差
  • 均方根對數誤差
  • 中位數絕對誤差
  • r2 分數
  • 變異解釋
邏輯迴歸

提升樹分類器

隨機森林分類器

DNN 分類器

寬廣與深度分類器

AutoML Tables 分類器		 ML.EVALUATE 回報下列指標：
  • 精確度
  • recall
  • 準確率
  • F1 分數
  • 對數損失
  • roc auc
ML.CONFUSION_MATRIX 回報混淆矩陣。
ML.ROC_CURVE 回報不同門檻值的指標，包括：
  • recall
  • 偽陽率
  • 真陽性
  • 偽陽性
  • 真陰性
  • 偽陰性

僅適用於二元分類模型。
非監督式學習 K-means ML.EVALUATE 回報 Davies-Bouldin 指數，以及資料點與指定群集的質心之間的均方距離。
矩陣分解 ML.EVALUATE 對於採用明確回饋的模型，報表會顯示下列指標：
  • 平均絕對誤差
  • 均方誤差
  • 均方根對數誤差
  • 中位數絕對誤差
  • r2 分數
  • 變異解釋
針對採用隱含回饋的模型，報表會顯示下列指標：
PCA ML.EVALUATE 回報總變異解釋率。
Autoencoder ML.EVALUATE 回報下列指標：
  • 平均絕對誤差
  • 均方誤差
  • 均方根對數誤差
時間序列 ARIMA_PLUS ML.EVALUATE 回報下列指標：
  • 平均絕對誤差
  • 均方誤差
  • 平均絕對百分比誤差
  • 對稱平均絕對百分比誤差

這個函式需要新資料做為輸入內容。
ML.ARIMA_EVALUATE 針對所有 ARIMA 候選模型，回報下列指標，這些模型的 (p、d、q、has_drift) 元組不同：

也會回報季節性、節日效應和尖峰與谷底異常值等其他資訊。

這個函式不需要新資料做為輸入內容。

在 CREATE MODEL 陳述式中自動評估

BigQuery ML 支援在建立模型時自動評估。視模型類型、資料分割訓練選項，以及是否使用超參數調整功能而定，評估指標會根據保留的評估資料集、保留的測試資料集或整個輸入資料集計算。

  • 針對 k 均值、主成分分析、自編碼器和 ARIMA_PLUS 模型，BigQuery ML 會使用所有輸入資料做為訓練資料，並根據整個輸入資料集計算評估指標。

  • 對於線性和邏輯迴歸、提升樹、隨機森林、DNN、寬廣深度和矩陣因子模型，評估指標會根據下列 CREATE MODEL 選項指定的資料集計算：

    使用超參數調整功能訓練這類模型時，DATA_SPLIT_TEST_FRACTION 選項也會協助定義評估指標的計算基準資料集。詳情請參閱「資料分割」。

  • 如需 AutoML Tables 模型的相關資訊，請參閱如何使用資料分割作業訓練及評估模型。

如要取得在建立模型時計算的評估指標，請在未指定輸入資料的模型上使用 ML.EVALUATE 等評估函式。如需範例，請參閱未指定輸入資料的 ML.EVALUATE。

使用新資料集進行評估

建立模型後，您可以指定新的評估資料集。如要提供新資料集，請在指定輸入資料的模型上使用 ML.EVALUATE 等評估函式。如需範例，請參閱ML.EVALUATE 含有自訂門檻和輸入資料。