使用 Stackdriver 監控 BigQuery

本文件說明如何使用 Stackdriver Monitoring 監控 BigQuery 資源,包括針對 BigQuery 指標建立圖表及快訊。

事前準備

檢視及建立資訊主頁、圖表及快訊

檢視 Stackdriver 資訊主頁

如何使用 Stackdriver 監控 BigQuery 專案:

  1. 在 Google Cloud Console 中,選取 [Monitoring],或是使用下列按鈕:

    前往「Monitoring」頁面

  2. 如果頁面頂端沒有顯示已選取的專案,請選取您專案的名稱。

  3. 選取 [Resources] (資源) > [BigQuery] 以檢視 BigQuery 資源。您會在這個頁面中,看到使用者可設定的資料表、事件及事件報告的清單,還有專案指標或資料集指標的圖表。

    Stackdriver BigQuery 資訊主頁。

將可用的運算單元及已分配的運算單元視覺化

如要將可用的運算單元及已分配給您專案的運算單元視覺化,請前往檢視 Stackdriver 資訊主頁小節中所述 BigQuery 適用的 Stackdriver 資訊主頁:

  1. 在 Google Cloud Console 中,選取 [Monitoring],或是使用下列按鈕:

    前往「Monitoring」頁面

  2. 選取 [Resources] (資源) > [BigQuery]

  3. 在 BigQuery 適用的 Stackdriver 資訊主頁中,向下捲動至名為「Slot Utilization」的圖表。

主要的 Stackdriver 預設資訊主頁及 BigQuery 適用的 Stackdriver 資訊主頁都會顯示「Slot Utilization」圖表。

建立資訊主頁與圖表

如何在您自己的圖表及資訊主頁中,顯示 Monitoring 收集的指標:

  1. 在 Google Cloud Console 中,選取 [Monitoring],或是使用下列按鈕:

    前往「Monitoring」頁面

  2. 選取 [Dashboards] (資訊主頁) > [Create Dashboard] (建立資訊主頁)

  3. 按一下 [Add Chart] (新增圖表)。畫面會出現「Add Chart」(新增圖表) 頁面:

    「Add Chart」(新增圖表) 頁面。

  4. 在「Find resource type and metric」(尋找資源類型和指標) 面板的欄位中:

    • 針對「Resource type」(資源類型) 下拉式清單,選取 [Global] (通用)。您可能需要展開「Resource types」(資源類型) 清單,才能看到 [Global] (通用) 選項
    • 針對「Metric」(指標) 下拉式清單,選取 [Query execution time] (查詢執行時間)。
  5. 「Aggregation」(匯總) 窗格的欄位可用來控制執行時間資料的顯示方式。您可以調整這些欄位的預設設定。

  6. 按一下 [Save] (儲存)

建立快訊

如何藉由定義條件及設定通知來建立快訊。

  1. 在 Google Cloud Console 中,選取 [Monitoring],或是使用下列按鈕:

    前往「Monitoring」頁面

  2. 選取 [Alerting] (快訊) > [Create a Policy] (建立政策)。系統隨即會開啟「Create New Alerting Policy」(建立新的快訊政策) 頁面

  3. 在「Conditions」(條件) 區段中,按一下 [Add Condition] (新增條件)。

    1. 在「Target」(目標) 窗格中,按照以下指示設定「Find resource type and metric」(尋找資源類型和指標) 的欄位:

      • 針對「Resource type」(資源類型) 下拉式清單,選取 [Global] (通用)。
      • 針對「Metric」(指標) 下拉式清單,選取 [Query execution time] (查詢執行時間)。
    2. 填寫「Aggregation」(匯總) 窗格的欄位,以取得校正週期中各時間序列值的第 50 個百分位數:

      • 在「Aligner」(校正函式) 下拉式清單中,選取 [50th percentile] (第 50 個百分位數)。
      • 在「Reducer」(縮減工具) 下拉式清單中,選取 [none] (無)。
      • 在「Alignment Period」(校正週期) 下拉式清單中,選取 [1]。
    3. 填寫「Configuration」(設定) 窗格的欄位,以便在 1 分鐘內有任何時間序列的第 50 個百分位數超過 800 毫秒時觸發快訊。

      • 在「Condition triggers if」(符合下列情況時觸發條件) 下拉式清單中,選取 [Any time series violates] (任何時間序列違反條件時)。
      • 在「Condition」(條件) 下拉式清單中,選取 [is above] (超過)。
      • 在門檻欄位中輸入 800。門檻設定取決於您的需求,之所以設定為 800,是因為此值約為平均第 50 個百分位數的兩倍。
      • 在「For」(持續時間) 下拉式清單中,選取 [1]。
    4. 按一下 [Save] (儲存)

      新增門檻條件

  4. 如要設定通知設定,請按一下 [Add Notification Channel] (新增通知管道)。您可以選擇透過電子郵件、簡訊,或數種其他的方法來接收通知。

  5. (選用) 在「Documentation」(說明文件) 區段中輸入通知訊息。

  6. 最後,為政策命名,並按一下 [Save] (儲存)

可供視覺化的指標

下列指標可供視覺化,但延遲時間可能長達數小時。

資源類型 名稱 單位 說明
BigQuery Scanned bytes 每分鐘位元組數 已掃描的位元組數
BigQuery Scanned bytes billed 每分鐘位元組數 要計費的已傳送位元組數

會造成 Scanned bytes 與 Scanned bytes billed 有所差異的原因有幾個。

  • 系統有最低計費資料量。如果您掃描的資料量低於這個門檻,系統就不會向您收取費用。
  • 如果您的帳戶擁有抵免額,這些指標就可能會有差異。
BigQuery Query time
- 5th percentile - 50th percentile - 95th percentile - 99th percentile
沒有加入快取的查詢執行時間 (秒)
BigQuery Slots allocated 運算單元 在任何時間分配給專案的運算單元數。這也可以視為該專案正在使用的運算單元數。

系統會依照帳單帳戶分配運算單元,且可讓多個專案共用相同的運算單元保留量。

BigQuery Slots allocated by job type 運算單元 在任何時間分配給專案的運算單元數,並按照工作類型來區別。這也可以視為該專案正在使用的運算單元數。目前,載入和匯出工作都是免費作業,且在公開的資源集區中執行。

系統會依照帳單帳戶分配運算單元,且可讓多個專案共用相同的運算單元保留量。

BigQuery Slots available 運算單元 專案可用的運算單元總數。

如果某個專案與其他專案共用運算單元保留量,系統就不會顯示其他專案正在使用的運算單元。

BigQuery 資料集 Stored bytes 位元組 儲存在資料集內的位元組數;系統會針對資料集內最大的前 100 個資料表,(按名稱) 顯示儲存在每個資料表中的位元組數。而針對資料集內所有其他的資料表 (不屬於最大的前 100 個),系統會顯示一個位元組數總和,而摘要中的資料表名稱會是空白字串。
BigQuery 資料集 Tables 資料表 資料集內的資料表數
BigQuery 資料集 Uploaded billed bytes 每分鐘位元組數 已上傳到資料集中任何資料表的計費位元組數
BigQuery 資料集 Uploaded bytes 每分鐘位元組數 已上傳到資料集中任何資料表的位元組數

會造成 Uploaded billed bytes 與 Uploaded bytes billed 有所差異的原因有幾個。

  • 系統有最低計費資料量。如果您掃描的資料量低於這個門檻,系統就不會向您收取費用。
  • 如果您的帳戶擁有抵免額,這些指標就可能會有差異。
BigQuery 資料集 Uploaded rows 每分鐘資料列數 已上傳到資料集中任何資料表的記錄數

已知問題

  • 如果當下沒有任何執行中的查詢,系統就不會傳回已分配運算單元數或可用運算單元數,或是任何與查詢相關變數的資料。請縮小以查看資料。

  • 如果同時在美國與歐盟執行查詢,則分配的運算單元和可用的運算單元可能會有錯誤。

  • 系統會以特定時間範圍的平均值回報分配的運算單元 (時間範圍的長度視圖表的縮放等級而定)。因此,進行縮放可能會變更分配運算單元的值。放大以檢視最多 1 小時的時間範圍內的資料,即可讓系統顯示已分配運算單元數的真實數值。採用這個時間範圍時,圖表上任何可見的時間都會是 avg(slots allocated) = slots allocated

  • Stackdriver 圖表中的資料,只會與已選取的專案有關。Stackdriver 目前並不支援多專案監控功能。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
需要協助嗎?請前往我們的支援網頁