使用 Stackdriver 監控 BigQuery

本文件說明如何使用 Stackdriver Monitoring 監控 BigQuery 資源,包括針對 BigQuery 指標建立圖表與提醒。

事前準備

檢視並建立資訊主頁、圖表及快訊

檢視 Stackdriver 資訊主頁

如要使用 Stackdriver 監控 BigQuery 專案:

  1. 在 Google Cloud Platform 主控台中,選取 [Stackdriver] > [Monitoring] (監控),或使用下列按鈕:

    前往「Monioring」(監控)

  2. 如果尚未在頁面頂端選取專案名稱,請立即選取。

  3. 選取 [Resources] (資源) > [BigQuery] 以檢視 BigQuery 資源。在此頁面中,您會看到使用者可加以設定的資料表、活動及事件報告的清單,另外還有專案指標或資料集指標的圖表。

    Stackdriver BigQuery 資訊主頁

視覺化可用的運算單元與分配的運算單元

如要視覺化可用的運算單元與分配至您的專案的運算單元:

  1. 前往 BigQuery 適用的 Stackdriver 資訊主頁,詳細說明請參閱檢視 Stackdriver 資訊主頁一節。

    前往 BigQuery 適用的 Monitoring

  2. 在 BigQuery 適用的 Stackdriver 資訊主頁中,向下捲動至名為「Slot Utilization」的圖表。

「Slot Utilization」圖表會同時顯示在主要的 Stackdriver 預設資訊主頁以及 BigQuery 適用的 Stackdriver 資訊主頁。

建立資訊主頁與圖表

在您自己的圖表與資訊主頁中顯示 Monitoring 收集的指標:

  1. 在 Monitoring 主控台左側導覽窗格中,選取 [Dashboards] (資訊主頁) > [Create Dashboard] (建立資訊主頁)。

    前往「Create Dashboard」(建立資訊主頁) 頁面

  2. 按一下 [Add Chart] (新增圖表)。畫面會出現「Add Chart」(新增圖表) 頁面:

    新增圖表

  3. 在「Find resource type and metric」(尋找資源類型與指標) 窗格欄位下:

    • 在「Resource type」(資源類型) 下拉式清單中選取 [Global] (全球)。您可以需要展開「Resource types」(資源類型) 清單,才能看到 [Global] (全球) 選項。
    • 在「Metric」(指標) 下拉式清單中選取 [Query execution time] (查詢執行時間)。
  4. 「Aggregation」(匯總) 欄位可用來控制執行時間資料的顯示方式。您可以調整這些欄位的預設設定。

  5. 按一下 [Save] (儲存)

建立提醒

如要建立快訊,請定義條件並設定通知。

  1. 在 Monitoring 主控台的左側導覽窗格中,依序選取 [Alerting] (快訊) > [Create a Policy] (建立政策),系統隨即會開啟「Create New Alerting Policy」(建立新快訊政策) 頁面。

    前往「Create new Alerting Policy」(建立新快訊政策) 頁面

  2. 在「Conditions」(條件) 區段中,按一下 [Add Condition] (新增條件):

    1. 在「Target」(目標) 窗格中,按照以下指示設定「Find resource type and metric」(尋找資源類型與指標) 欄位:

      • 在「Resource type」(資源類型) 下拉式清單中選取 [Global] (全球)。
      • 在「Metric」(指標) 下拉式清單中選取 [Query execution time] (查詢執行時間)。
    2. 填寫「Aggregation」(匯總) 窗格欄位,以取得校正週期中各時間序列值的第 50 個百分位數:

      • 在「Aligner」(校正工具) 下拉式清單中,選取 [50th percentile] (第 50 個百分位數)。
      • 在「Reducer」(縮減工具) 下拉式清單中,選取 [none] (無)。
      • 在「Alignment Period」(校正週期) 下拉式清單中,選取 [1]。
    3. 填寫「Configuration」(設定) 窗格欄位,如果在 1 分鐘之內有任何時間序列的第 50 個百分位數超過 800 毫秒就觸發提醒。

      • 在「Condition triggers if」(符合下列情況時觸發條件) 下拉式清單中,選取 [Any time series violates] (任何時間序列違反條件時)。
      • 在「Condition」(條件) 下拉式清單中,選取 [is above] (超過)。
      • 在門檻欄位中輸入 800。門檻設定取決於您的需求,之所以設定為 800,是因為此值約為平均第 50 個百分位數的兩倍。
      • 在「For」(持續時間) 下拉式清單中,選取 [1]。
    4. 按一下 [Save] (儲存)

      新增門檻條件

  3. 如要繼續進行通知設定,請按一下 [Add Notification Channel] (新增通知管道)。您可以選擇透過電子郵件、簡訊或其他方法來接收通知。

  4. 您可以選擇在「Documentation」(說明文件) 區段輸入通知訊息。

  5. 最後,為政策命名並按一下 [Save] (儲存)。

可供視覺化的指標

系統提供下列指標,但延遲時間可能長達數小時。

資源類型 名稱 單位 說明
BigQuery Scanned bytes 每分鐘位元組數 掃描的位元組數
BigQuery Scanned bytes billed 每分鐘位元組數 計費的傳送位元組數

Scanned bytes 和 Scanned bytes billed 不同的原因如下:

  • 系統設有最低收費標準。如果掃描的資料量未達該標準,就不會收取費用。
  • 如果您的帳戶享有部分抵免額,則這些指標可能會有不同。
BigQuery Query time
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
非快取的查詢執行時間 (s)
BigQuery Slots allocated 運算單元 在任何時間分配給專案的運算單元數。這也可以視為該專案使用的運算單元數。

系統會按照每個收費帳戶分配運算單元,而多個專案會共用相同的運算單元保留量。

BigQuery Slots allocated by job type 運算單元 在任何時間分配給專案的運算單元數,按工作類型區隔。這也可以視為該專案使用的運算單元數。目前,載入和匯出工作都是免費作業,且在資源的公開集區中執行。

系統會按照收費帳戶分配運算單元,而多個專案會共用相同的運算單元保留量。

BigQuery Slots available 運算單元 專案可用的運算單元總數。

如果某個專案會與其他專案共用保留的運算單元,則不會顯示其他專案正在使用的運算單元。

BigQuery 資料集 Stored bytes 位元組 儲存在資料集的位元組數 - 針對資料集中前 100 個最大的資料表,系統會顯示每個個別資料表的儲存位元組數 (按名稱顯示)。資料集中的所有其他資料表 (除了前 100 大資料表以外) 則會以單一總和報告,且摘要中的資料表名稱為空白字串。
BigQuery 資料集 Tables 資料表 資料集內的資料表數
BigQuery 資料集 Uploaded billed bytes 每分鐘位元組數 上傳至資料集內任一資料表的計費位元組數
BigQuery 資料集 Uploaded bytes 每分鐘位元組數 上傳至資料集內任一資料表的位元組數

Uploaded billed bytes 和 Uploaded bytes billed 不同的原因如下:

  • 系統設有最低收費標準。如果掃描的資料量未達該標準,就不會收取費用。
  • 如果您的帳戶享有部分抵免額,則這些指標可能會有不同。
BigQuery 資料集 Uploaded rows 每分鐘資料列數 上傳至資料集內任一資料表的紀錄數

已知問題

  • 如果目前沒有執行任何查詢,則分配的運算單元、可用的運算單元或任何查詢相關變數就不會傳回任何資料。請縮小以查看資料。

  • 如果同時在美國與歐盟執行查詢,則分配的運算單元和可用的運算單元可能會有錯誤。

  • 系統會以特定時間範圍的平均值回報分配的運算單元 (時間範圍的長度視圖表的縮放等級而定)。因此,進行縮放可能會變更分配運算單元的值。放大檢視時間範圍 1 小時內的資料可顯示真實的分配運算單元的值。在此範圍中的任何可見時間點,avg(slots allocated) = slots allocated

  • Stackdriver 圖表中的資料僅適用於所選專案。目前不支援多專案監控功能。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁