Cloud Monitoring

Cloud Monitoring では、クラウドで実行されるアプリケーションのパフォーマンスや稼働時間、全体的な動作状況を確認できます。Google Cloud のオペレーション スイートは、Dataproc クラスタから指標、イベント、メタデータを収集し、取り込むことで、ダッシュボード、グラフ、アラートを介してクラスタごとの HDFS、YARN、ジョブ、オペレーション指標などの分析情報を提供します(Cloud Monitoring Dataproc の指標をご覧ください)。

Dataproc クラスタのパフォーマンスと動作状況をモニタリングするには、Cloud Monitoring クラスタの指標を使用します。

Cloud Monitoring クラスタの指標

Dataproc クラスタのリソース指標は Dataproc クラスタで自動的に有効になります。Monitoring を使用してこれらの指標を表示できます。

Monitoring には Google Cloud Console から、または Monitoring API を使用してアクセスできます。

Console

  1. クラスタを作成したら、Cloud Console で [Monitoring] に移動して、クラスタのモニタリング データを表示します。

    Cloud Monitoring を初めて使用する場合は、Google Cloud Console の Monitoring への最初のアクセス時に、ワークスペースが自動的に作成され、プロジェクトがそのワークスペースに関連付けられます。それ以外の場合に、プロジェクトがワークスペースに関連付けられていないときは、ダイアログが表示され、新しいワークスペースを作成するか、このプロジェクトを既存のワークスペースに追加できるようになります。ワークスペースを作成することをおすすめします。選択したら、[追加] をクリックします。

    Monitoring コンソールが表示されたら、追加の設定手順として、プロジェクト内の VM に Monitoring エージェントをインストールできます。この手順は Dataproc クラスタを作成するときに自動的に実行されるため、Dataproc クラスタの VM にエージェントをインストールする必要はありません。

  2. [Metrics Explorer] を選択し、[Find resource type and metric] プルダウン リストから [Cloud Dataproc Cluster] リソースを選択します(または、ボックスに「cloud_dataproc_cluster」と入力します)。
  3. 入力ボックスをもう一度クリックし、プルダウン リストから指標を選択します。 次のスクリーンショットでは、「YARN memory size」が選択されています。指標名にカーソルを合わせると、指標に関する情報が表示されます。

    フィルタの選択、指標ラベルによるグループ化、集計、グラフ表示オプションの選択を行えます(Monitoring ドキュメントを参照)。

API

Monitoring の timeSeries.list API を使用して、filter 式で定義された指標を取得し、一覧表示できます。API ページの [この API を試す] テンプレートを使用して、API リクエストを送信し、レスポンスを表示します。

: これは、次の Monitoring timeSeries.list パラメータに対して返された JSON レスポンスと、テンプレート リクエストのスナップショットです。

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

カスタム Monitoring ダッシュボードの構築

選択した Cloud Dataproc クラスタ指標のグラフを表示するカスタム Monitoring ダッシュボードを構築できます。

  1. Monitoring の [ダッシュボードの概要] ページから [+ Create Dashboard] を選択します。ダッシュボードの名前を入力し、右上にあるメニューで [Add Chart] をクリックして、[Add Chart] ウィンドウを開きます。リソースタイプとして [Cloud Dataproc Cluster] を選択します。 1 つ以上の指標と、指標およびチャートのプロパティを選択します。グラフを保存します。

  2. ダッシュボードにグラフを追加できます。ダッシュボードを保存すると、そのタイトルが Monitoring の [ダッシュボードの概要] ページに表示されます。ダッシュボードのグラフは、ダッシュボード表示ページから表示、更新、削除ができます。

Monitoring アラートの使用

Dataproc クラスタまたはジョブ指標が、指定したしきい値を超えた場合に通知される Monitoring アラートを作成できます(HDFS の空き容量が少なくなった場合など)。

アラートの作成

  1. Cloud Console で Monitoring のアラートを開きます。[+ CREATE POLICY] をクリックして、[新しいアラート ポリシーの作成] フォームを開きます。アラートの条件、ポリシーのトリガー、通知チャンネル、ドキュメントを追加してアラートを定義します。

  2. [ADD CONDITION] を選択して、選択されている [Metric] タブでアラート条件フォームを開きます。フィールドに入力してアラート条件を定義し、[ADD] をクリックします。Dataproc クラスタの HDFS の容量が、指定されている 930 GiB(バイナリ GB)のしきい値(998,579,896,320 バイト)を 1 分間下回ると、下に示すアラート条件の例がトリガーされます。

  3. アラート条件を追加したら、通知チャネル、ポリシーのトリガー、ドキュメント、アラート ポリシー名を設定してアラート ポリシーを完成させます。

アラートの表示

指標しきい値条件によってアラートがトリガーされると、Monitoring によってインシデントと対応するイベントが作成されます。インシデントは、Cloud Console の Monitoring のアラートページから表示できます。アラート ポリシーに通知メカニズム(メールや SMS 通知など)を定義した場合も、Monitoring によってインシデントの通知が送信されます。

次のステップ