Stackdriver を使用した BigQuery のモニタリング

このドキュメントでは、BigQuery 指標のグラフとアラートの作成など、Stackdriver Monitoring を使用して、BigQuery リソースをモニタリングする方法について説明します。

始める前に

ダッシュボード、グラフ、アラートの表示と作成

Stackdriver ダッシュボードの表示

Stackdriver を使用して BigQuery プロジェクトをモニタリングするには:

  1. Google Cloud Platform Console で [Stackdriver] > [Monitoring] を選択するか、次のボタンを使用します。

    Monitoring に移動

  2. ページ上部でまだプロジェクトの名前を選択していない場合はここで選択します。

  3. BigQuery リソースを表示するには、[Resources] > [BigQuery] を選択します。このページには、ユーザーによる構成が可能なテーブル、イベントとインシデントのレポートの一覧と、プロジェクト指標およびデータセット指標のグラフが表示されます。

    Stackdriver BigQuery ダッシュボード

利用可能なスロットと割り当てられているスロットの表示

利用可能なスロットとプロジェクトに割り当てられたスロットを表示するには:

  1. Stackdriver ダッシュボードの表示の説明に沿って、BigQuery の Stackdriver ダッシュボードに移動します。

    BigQuery の Monitoring に移動

  2. BigQuery の Stackdriver ダッシュボードで [Slot Utilization] というグラフまでスクロールします。

[Slot Utilization] グラフは、メインの Stackdriver のデフォルト ダッシュボードと、BigQuery の Stackdriver ダッシュボードの両方に表示されます。

ダッシュボードとグラフの作成

Monitoring で収集した指標を自分のグラフやダッシュボードに表示します。

  1. Monitoring Console の左側のナビゲーション パネルで、[Dashboards] > [Create Dashboard] の順に選択します。

    ダッシュボードの作成ページに移動

  2. [Add Chart] をクリックします。[Add Chart] ページが表示されます。

    グラフの追加

  3. [Find resource type and metric] パネル フィールドで、次の操作を行います。

    • [Resource type] プルダウン リストで [Global] を選択します。[Global] のオプションは [Resource types] のリストを展開しないと表示されない場合があります。
    • [Metric] プルダウン リストで [Query execution time] を選択します。
  4. [Aggregation] ペイン フィールドでは、実行時間データをどのように表示するかを指定します。この各フィールドのデフォルト設定は変更できます。

  5. [保存] をクリックします。

アラートの作成

条件を定義し、通知設定を構成して、アラートを作成します。

  1. Monitoring Console の左側のナビゲーション パネルで、[Alerting] > [Create a Policy] の順に選択します。これで [Create New Alerting Policy] ページが開きます。

    [Create new Alerting Policy] ページに移動

  2. [Conditions] セクションで [Add Condition] をクリックします。

    1. [Target] ペインで [Find resource type and metric] のフィールドを次のように設定します。

      • [Resource type] プルダウン リストで [Global] を選択します。
      • [Metric] プルダウン リストで [Query execution time] を選択します。
    2. アライメント期間の各時系列の値の 50 パーセンタイルを取り込むように [Aggregation] ペイン フィールドに指定します。

      • [Aligner] プルダウン リストで [50th percentile] を選択します。
      • [Reducer] プルダウン リストで [none] を選択します。
      • [Alignment Period] プルダウン リストで [1] を選択します。
    3. [Configuration] ペイン フィールドで、いずれかの時系列の 50 パーセンタイルが 1 分に 800 ms を超えた場合にアラートがトリガーされるように指定します。

      • [Condition triggers if] プルダウン リストで [Any time series violates] を選択します。
      • [Condition] プルダウン リストで [is above] を選択します。
      • しきい値には「800」と入力します。選択するしきい値は、各ユーザーの要件に応じて異なります。800 という値を選んだのは、この値が 50 パーセンタイルの平均値の約 2 倍だからです。
      • [For] プルダウン リストで [1] を選択します。
    4. [保存] をクリックします。

      しきい値条件の追加

  3. 通知設定を構成するには、[Add Notification Channel] をクリックします。通知の受け取り方法には、メール、SMS などの複数のオプションがあります。

  4. [Documentation] セクションに通知メッセージを入力します。

  5. 最後に、ポリシーに名前を付けて、[Save] をクリックします。

可視化に使用できる指標

次の指標を使用できます。最大数時間の遅延が発生します。

リソースの種類 名前 単位 説明
BigQuery Scanned Bytes バイト数/分 スキャンされたバイト数
BigQuery Scanned bytes billed バイト数/分 課金対象の送信バイト数

Scanned Bytes と Scanned Bytes Billed はいくつかの理由で異なることがあります。

  • 最小の課金額があります。スキャンがその金額に達しない場合は、課金されません。
  • アカウントになんらかのクレジットが関連付けられている場合、これらの指標が異なることがあります。
BigQuery Query time
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
キャッシュされないクエリの実行時間(秒)
BigQuery Slots allocated スロット数 任意の時点でプロジェクトに割り当てられたスロット数。これは、そのプロジェクトによって利用されているスロット数とみなすこともできます。

スロットは課金アカウントごとに割り当てられ、複数のプロジェクトで同じスロットの予約を共有できます。

BigQuery Slots allocated by job type スロット数 任意の時点でプロジェクトに割り当てられているスロットの数をジョブタイプごとに区切った数です。この数は、そのプロジェクトで利用されているスロットの数とみなすこともできます。現在、読み込みジョブとエクスポート ジョブは無料のオペレーションとなっていて、公開リソースプール内で実行されます。

スロットは課金アカウントごとに割り当てられ、複数のプロジェクトで同じスロットの予約を共有できます。

BigQuery Slots available スロット数 プロジェクトで利用可能なスロットの合計数。

プロジェクトで他のプロジェクトとスロットの予約を共有している場合、他のプロジェクトによって使用されているスロットは表示されません。

BigQuery データセット Stored bytes バイト数 データセットに保存されているバイト数 - データセット内で大きさが上位 100 個のテーブルについて、保存されているバイト数がテーブルごとに(名前別に)表示されます。データセット内の他のテーブル(上位 100 個に入らないテーブル)は 1 つにまとめて合計としてレポートされ、サマリーのテーブル名は空の文字列になります。
BigQuery データセット テーブル数 テーブル数 データセット内のテーブル数
BigQuery データセット Uploaded billed bytes バイト数/分 データセット内の任意のテーブルにアップロードされた課金対象のバイト数
BigQuery データセット Uploaded bytes バイト数/分 データセット内の任意のテーブルにアップロードされたバイト数

Uploaded Billed Bytes と Uploaded Bytes Billed はいくつかの理由で異なることがあります。

  • 最小の課金額があります。スキャンがその金額に達しない場合は、課金されません。
  • アカウントになんらかのクレジットが関連付けられている場合、これらの指標が異なることがあります。
BigQuery データセット Uploaded rows 行数/分 データセット内の任意のテーブルにアップロードされたレコード数

既知の問題

  • 実行中のクエリがない場合、Slots Allocated や Slots Available、またはクエリ関連の変数に関するデータは返されません。データを表示するには、ズームアウトしてください。

  • クエリが US と EU の両方で実行されている場合、Slots Allocated と Slots Available が正しくないことがあります。

  • Slots Allocated は時間枠(時間枠の幅はグラフのズームレベルによって異なります)の平均値として報告されます。ズームインとズームアウトによって、Slots Allocated の値が変化することがあります。1 時間以下の時間枠にズームインすると、Slots Allocated の実際の値が表示されます。グラフに表示されたどの時間についてもこの範囲では、avg(slots allocated) = slots allocated になります。

  • Stackdriver のグラフには、選択したプロジェクトに関するデータのみが表示されます。マルチプロジェクト モニタリングは現在利用できません。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

ご不明な点がありましたら、Google のサポートページをご覧ください。