ダッシュボード、グラフ、アラートを作成する
このドキュメントでは、Cloud Monitoring を使用して、BigQuery リソースをモニタリングするグラフとアラートを作成する方法について説明します。
始める前に
Cloud Monitoring を使用する前に、次を用意しておきます。
- Cloud 請求先アカウント。
- 課金を有効にした BigQuery プロジェクト。
Google Cloud コンソールを使用したクイックスタートを完了すると、両方がそろっていることを確認できます。
ダッシュボード、グラフ、アラートの表示と作成
Cloud Monitoring ダッシュボードを表示する
Cloud Monitoring を使用して BigQuery プロジェクトをモニタリングするには:
Google Cloud コンソールで、[Monitoring] ページに移動します。
ページ上部でまだプロジェクトの名前を選択していない場合はここで選択します。
BigQuery リソースを表示するには、[ダッシュボード] > [BigQuery] を選択します。このページには、ユーザーによる構成が可能なテーブル、イベントとインシデントのレポートの一覧と、プロジェクト指標またはデータセット指標のグラフが表示されます。
利用可能なスロットと割り当てられているスロットを可視化する
利用可能なスロットとプロジェクトに割り当てられているスロットを可視化するには、Cloud Monitoring ダッシュボードの表示の説明に沿って、BigQuery のダッシュボードに移動します。
Google Cloud コンソールで、[Monitoring] ページに移動します。
[ダッシュボード] > [BigQuery] を選択します。
BigQuery の Cloud Monitoring ダッシュボードで [Slot Utilization] という名前のグラフまでスクロールします。
[Slot Utilization] グラフは、メインの Cloud Monitoring のデフォルト ダッシュボードと、BigQuery の Cloud Monitoring ダッシュボードの両方に表示されます。
ダッシュボードとグラフを作成する
Cloud Monitoring が収集した指標を自分のグラフやダッシュボードに表示します。
Google Cloud コンソールで、[Monitoring] ページに移動します。
[ダッシュボード] > [ダッシュボードを作成] を選択します。
[グラフを追加] をクリックします。[グラフを追加] ページが表示されます。
[Find resource type and metric] パネル フィールドで、次の操作を行います。
- [Resource type] プルダウン リストで [Global] を選択します。[Global] オプションは [Resource types] のリストを開かないと表示されない場合があります。
- [指標] プルダウン リストで [Query execution time] を選択します。
[Aggregation] ペイン フィールドでは、実行時間データをどのように表示するかを指定します。この各フィールドのデフォルト設定は変更できます。
[保存] をクリックします。
割り当ての使用量と上限を表示する
Cloud Monitoring では、割り当ての使用量と上限の指標を表示できます。
Google Cloud コンソールで、[Monitoring] ページに移動します。
ナビゲーション パネルで、[
Metrics Explorer] を選択します。ツールバーで [エクスプローラ] > [構成] を選択します。
[Resource & Metric] セクションで [指標を選択] をクリックします。
[Consumer Quota] > [割り当て] > [割り当て上限] を選択し、[適用] をクリックします。
[ フィルタを追加] をクリックし、[ラベル] メニューで [limit_name] を選択します。
[値] メニューで、指標を表示する割り当てを選択します。
アラートを作成する
BigQuery クエリの実行時間の 99 パーセンタイルが、ユーザーによって定義された上限値を超過すると起動するアラート ポリシーを作成するには、次の設定を使用します。
| [New condition] フィールド |
値 |
|---|---|
| リソースと指標 | [リソース] メニューで [BigQuery プロジェクト] を選択します。 [Metric categories] メニューで [Query] を選択します。 [指標] メニューで [Query execution times] を選択します。 |
| フィルタ | |
| Across time series Time series group by |
priority |
| Across time series Time series aggregation |
99th percentile |
| ローリング ウィンドウ | 5 m |
| ローリング ウィンドウ関数 | sum |
| [Configure alert trigger] フィールド |
値 |
|---|---|
| Condition Type | Threshold |
| Alert trigger | Any time series violates |
| しきい値の位置 | Above threshold |
| しきい値 | この値を決定します。ただし、しきい値を 60 秒にすることをおすすめします。 |
| 再テスト ウィンドウ | most recent value |
表示に使用できる指標
次の指標を使用できます。最大数時間の遅延が発生します。
| リソースの種類 | 名前 | 単位 | 説明 |
|---|---|---|---|
| BigQuery | Scanned bytes |
バイト数/分 | スキャンされたバイト数。 |
| BigQuery | Scanned bytes billed |
バイト数/分 | オンデマンド分析モデル使用時の課金対象の送信バイト数。料金の端数は切り上げられるため、Scanned bytes と Scanned bytes billed はクエリあたりの処理データの最小量に応じて異なる場合があります。 |
| BigQuery | BI Engine Query Fallback Count (Preview) |
クエリ | BI Engine をレートとして使用しなかったクエリの数。[グループ条件] オプションを reason に設定すると、次のようなフォールバックの理由別にこのクエリ数を分割できます。
|
| BigQuery | Query count |
クエリ | 実行中のクエリ。 |
| BigQuery | Query execution count (Preview) |
クエリ | 実行されたクエリの数。 |
| BigQuery |
Query execution times
|
秒 | キャッシュに保存されないクエリの実行時間。 |
| BigQuery | Slots used by project |
スロット | プロジェクト内のクエリジョブに割り当てられている BigQuery スロットの数。 スロットは課金アカウントごとに割り当てられ、複数のプロジェクトで同じスロットの予約を共有できます。 |
| BigQuery | Slots used by project and job type |
スロット | 任意の時点でプロジェクトに割り当てられているスロットの数をジョブタイプごとに区切った数です。この数は、そのプロジェクトで利用されているスロットの数とみなすこともできます。読み込みジョブとエクスポート ジョブは無料のオペレーションとなっており、公開リソースプール内で実行されます。 スロットは課金アカウントごとに割り当てられ、複数のプロジェクトで同じスロットの予約を共有できます。 |
| BigQuery | Slots used by project, reservation, and job type |
スロット | プロジェクトに割り当てられている BigQuery のスロット数。スロットの割り当ては、予約とジョブタイプ別に分類できます。 |
| BigQuery | Total slots |
スロット | プロジェクトで利用可能なスロットの合計数。 プロジェクトで他のプロジェクトとスロットの予約を共有している場合、他のプロジェクトによって使用されているスロットは表示されません。 |
| BigQuery | Slots used across projects in reservations |
スロット | 予約でプロジェクト間で割り当てられている BigQuery スロットの数。指標データは、少なくとも 1 つのプロジェクトが予約に割り当てられ、スロットを消費しているときにのみ報告されます。代わりに、INFORMATION_SCHEMA の予約情報をクエリすることもできます。 |
| BigQuery | Slots used by project in reservation |
スロット | 予約でプロジェクトに割り当てられている BigQuery スロットの数。 |
| BigQuery データセット | Stored bytes |
バイト | データセットに保存されているバイト数 - データセット内で大きさが上位 100 個のテーブルについて、保存されているバイト数がテーブルごとに（名前別に）表示されます。データセット内の他のテーブル（上位 100 個に入らないテーブル）は 1 つにまとめて合計としてレポートされ、サマリーのテーブル名は空の文字列になります。 |
| BigQuery データセット | Table count |
テーブル | データセット内のテーブル数。 |
| BigQuery データセット | Uploaded bytes |
バイト数/分 | データセット内の任意のテーブルにアップロードされたバイト数。 |
| BigQuery データセット | Uploaded rows | 行数/分 | データセット depot/google3/production/config/cdd/cloud-pulse/templates/gcp/aliased_metrics_bigquery.gcl の任意のテーブルにアップロードされたレコードの数 |
利用可能なすべての Google Cloud 指標のリストについては、Google Cloud 指標をご覧ください。
既知の問題
実行中のクエリがない場合、Slots Allocated や Slots Available、またはクエリ関連の変数に関するデータは返されません。データを表示するには、ズームアウトしてください。
クエリが US と EU の両方で実行されている場合、Slots Allocated と Slots Available が正しくないことがあります。
Slots Allocated は時間枠（時間枠の幅はグラフのズームレベルによって異なります）の平均値として報告されます。ズームインとズームアウトによって、Slots Allocated の値が変化することがあります。1 時間以下の時間枠にズームインすると、Slots Allocated の実際の値が表示されます。グラフに表示されたどの時間についてもこの範囲では、
avg(slots allocated) = slots allocatedになります。Cloud Monitoring のグラフには、選択したプロジェクトに関するデータのみが表示されます。
指標は特定の時点でサンプリングされた瞬間的な値です。サンプル間隔の間のデータポイントが失われる可能性があります。たとえば、ジョブカウント指標は 1 分ごとにサンプリングされます。この値は、その時点におけるジョブの数であり、1 分間あたりのジョブの最大数ではありません。