Apache Hadoop

Apache Hadoop の統合により、ストレージに関連する name-node 指標（容量の使用率、ファイルアクセス、ブロックなど）が収集されます。この統合では、Hadoop ログも収集され、JSON ペイロードが生成されます。結果には、source、level、message のフィールドが含まれます。

Hadoop の詳細については、Apache Hadoop のドキュメントをご覧ください。

前提条件

Hadoop テレメトリーを収集するには、Ops エージェントをインストールする必要があります。

指標の場合は、バージョン 2.11.0 以降をインストールします。
ログの場合は、バージョン 2.11.0 以降をインストールします。

今回の統合では、Hadoop バージョン 2.10.x、3.2.x、3.3.x がサポートされます。

Hadoop インスタンスを構成する

JMX エンドポイントを公開するには、JVM の起動時に com.sun.management.jmxremote.port システムプロパティを設定する必要があります。また、com.sun.management.jmxremote.rmi.port システムプロパティも同じポートに設定することをおすすめします。JMX エンドポイントをリモートで公開するには、java.rmi.server.hostname システムプロパティも設定する必要があります。

デフォルトでは、これらのプロパティは Hadoop デプロイの hadoop-env.sh ファイルで設定されています。

コマンドライン引数を使用してシステムプロパティを設定するには、JVM の起動時にプロパティ名の前に -D を付けます。たとえば、com.sun.management.jmxremote.port をポート 8004 に設定するには、JVM の起動時に次のように指定します。

-Dcom.sun.management.jmxremote.port=8004

Hadoop 用に Ops エージェントを構成する

Ops エージェントを構成するのガイドに従って、Hadoop インスタンスからテレメトリーを収集するために必要な要素を追加し、エージェントを再起動します。

構成の例

次のコマンドは、Hadoop のテレメトリーを収集して取り込み、Ops エージェントを再起動するための構成を作成します。

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    hadoop:
      type: hadoop
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:8004/jmxrmi
  service:
    pipelines:
      hadoop:
        receivers:
          - hadoop
logging:
  receivers:
    hadoop:
      type: hadoop
  service:
    pipelines:
      hadoop:
        receivers:
          - hadoop
EOF

sudo service google-cloud-ops-agent restart

ログの収集を構成する

Hadoop からログを取り込むには、Hadoop が生成するログのレシーバーを作成してから、新しいレシーバー用のパイプラインを作成する必要があります。

hadoop ログのレシーバを構成するには、次のフィールドを指定します。

フィールド	デフォルト	説明
`exclude_paths`		`include_paths` の照合で除外するファイルシステムパスのパターンのリスト。
`include_paths`	`[/opt/hadoop/logs/hadoop-.log, /opt/hadoop/logs/yarn-.log]`	各ファイルのテーリングで読み込むファイルシステムのパスのリスト。パスにはワイルドカード（`*`）を使用できます。
`record_log_file_path`	`false`	`true` に設定すると、ログレコードの取得先のファイルのパスが `agent.googleapis.com/log_file_path` ラベルの値として出力ログエントリに表示されます。ワイルドカードを使用する場合、レコードを取得したファイルのパスのみが記録されます。
`type`		値は `hadoop` にする必要があります。
`wildcard_refresh_interval`	`60s`	`include_paths` のワイルドカードファイルのパスの更新間隔。期間を指定します（例: `30s`、`2m`）。このプロパティは、ログファイルのローテーションがデフォルトの間隔よりも速く、ロギングのスループットが高い場合に有用です。

ログの内容

logName は、構成で指定されたレシーバ ID から取得されます。LogEntry 内の詳細なフィールドは、次のとおりです。

hadoop ログの LogEntry には次のフィールドが含まれます。

フィールド	タイプ	説明
`jsonPayload.message`	文字列	ログメッセージ
`jsonPayload.severity`	文字列	ログエントリレベル
`jsonPayload.source`	文字列	ログエントリのソース Java クラス
`severity`	文字列（`LogSeverity`）	ログエントリレベル（変換済み）。

指標の収集を構成する

Hadoop から指標を取り込むには、Hadoop が生成する指標のレシーバを作成してから、新しいレシーバ用のパイプラインを作成する必要があります。

このレシーバでは、複数のエンドポイントのモニタリングなど、構成で複数のインスタンスを使用することはできません。このようなインスタンスはすべて同じ時系列に書き込まれるため、Cloud Monitoring ではインスタンスを区別できません。

hadoop 指標のレシーバーを構成するには、次のフィールドを指定します。

フィールド	デフォルト	説明
`collect_jvm_metrics`	`true`	サポートされている JVM 指標も収集するようにレシーバを構成します。
`collection_interval`	`60s`	time duration 値（例: `30s`、`5m`）。
`endpoint`	`localhost:8004`	JMX サービス URL、またはサービス URL の作成に使用されるホストとポート。この値は、`service:jmx:<protocol>:<sap>` または `host:port` の形式にする必要があります。`host:port` フォームの値は、`service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi` というサービス URL を作成するために使用されます。
`password`		JMX が認証を要求するように構成されている場合、構成されたパスワード。
`type`		値は、`hadoop` にする必要があります。
`username`		JMX が認証を要求するように構成されている場合、構成されたユーザー名。

モニタリング対象

次の表に、Ops エージェントが Hadoop インスタンスから収集する指標の一覧を示します。

指標タイプ
種類、タイプモニタリング対象リソース	ラベル
`workload.googleapis.com/hadoop.name_node.block.corrupt`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.block.count`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.block.missing`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.capacity.limit`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.capacity.usage`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.data_node.count`
`GAUGE`、`INT64` gce_instance	`node_name` `state`
`workload.googleapis.com/hadoop.name_node.file.load`
`GAUGE`、`INT64` gce_instance	`node_name`
`workload.googleapis.com/hadoop.name_node.volume.failed`
`GAUGE`、`INT64` gce_instance	`node_name`

構成を確認する

このセクションでは、Hadoop レシーバが正しく構成されていることを確認する方法について説明します。Ops エージェントがテレメトリーの収集を開始するまでに 1～2 分かかる場合があります。

Hadoop ログが Cloud Logging に送信されていることを確認するには、次のようにします。

Google Cloud コンソールで、[ログエクスプローラ] ページに移動します。
[ログエクスプローラ] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Logging] である結果を選択します。
エディタに次のクエリを入力し、[クエリを実行] をクリックします。
```
resource.type="gce_instance"
log_id("hadoop")
```

Hadoop 指標が Cloud Monitoring に送信されていることを確認するには、次のようにします。

Google Cloud コンソールで、[Metrics Explorer] ページに移動します。
Metrics Explorer に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
クエリビルダーペインのツールバーで、[MQL] または [PromQL] という名前のボタンを選択します。
[MQL] 切り替えで [MQL] が選択されていることを確認します。言語切り替えボタンは、クエリの書式設定を行うのと同じツールバーにあります。

エディタに次のクエリを入力し、[クエリを実行] をクリックします。

fetch gce_instance
| metric 'workload.googleapis.com/hadoop.name_node.capacity.usage'
| every 1m

ダッシュボードを表示

Hadoop 指標を表示するには、グラフまたはダッシュボードが構成されている必要があります。 Hadoop インテグレーションには、1 つ以上のダッシュボードが含まれています。インテグレーションを構成して Ops エージェントが指標データの収集を開始すると、ダッシュボードは自動的にインストールされます。

インテグレーションをインストールすることなく、ダッシュボードの静的プレビューを表示することもできます。

インストールされているダッシュボードを表示する手順は次のとおりです。

Google Cloud コンソールで [ダッシュボード] ページに移動します。
[ダッシュボード] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
[ダッシュボードリスト] タブを選択し、[統合] カテゴリを選択します。
表示するダッシュボードの名前をクリックします。

インテグレーションを構成してもダッシュボードがインストールされていない場合は、Ops エージェントが実行されていることを確認します。ダッシュボードにグラフの指標データがない場合、ダッシュボードのインストールは失敗します。Ops エージェントが指標の収集を開始した後に、ダッシュボードがインストールされます。

ダッシュボードの静的プレビューを表示する手順は次のとおりです。

Google Cloud コンソールで [統合] ページに移動します。
[インテグレーション] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
[デプロイメントプラットフォーム] フィルタの [Compute Engine] をクリックします。
Hadoop のエントリを見つけて、[詳細を表示] をクリックします。
[ダッシュボード] タブを選択すると、静的プレビューが表示されます。ダッシュボードがインストールされている場合は、[ダッシュボードを表示] をクリックして移動できます。

Cloud Monitoring のダッシュボードについて詳しくは、ダッシュボードとグラフをご覧ください。

[インテグレーション] ページの使用方法については、インテグレーションを管理するをご覧ください。

アラートポリシーをインストールする

アラートポリシーは、指定した条件が成立した際に通知するように Cloud Monitoring に指示します。 Hadoop インテグレーションには、使用する 1 つ以上のアラートポリシーが含まれています。これらのアラートポリシーは、Monitoring の [インテグレーション] ページで表示してインストールできます。

使用可能なアラートポリシーの説明を表示してインストールする手順は次のとおりです。

Google Cloud コンソールで [統合] ページに移動します。
[インテグレーション] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] の結果を選択します。
Hadoop のエントリを見つけて、[詳細を表示] をクリックします。
[アラート] タブを選択します。このタブには、利用可能なアラートポリシーの説明と、それらをインストールするためのインターフェースが表示されます。
アラートポリシーをインストールします。アラートポリシーでは、アラートがトリガーされた通知の送信先を特定する必要があるため、インストール環境の情報が必要になります。アラートポリシーをインストールする手順は次のとおりです。
1. 利用可能なアラートポリシーのリストから、インストールするアラートポリシーを選択します。
2. [通知の構成] セクションで、1 つ以上の通知チャンネルを選択します。通知チャンネルの使用を無効にすることもできますが、無効にすると、アラートポリシーは通知なく起動します。Monitoring でステータスを確認できますが、通知は受信しません。
  
  通知チャンネルの詳細については、通知チャンネルを管理するをご覧ください。
3. [ポリシーの作成] をクリックします。

Cloud Monitoring のアラートポリシーの詳細については、アラートの概要をご覧ください。