Elasticsearch

Elasticsearch は、Lucene 検索ライブラリに基づいた、オープンソースの検索サーバーです。さまざまなオペレーティングシステムの Java 仮想マシンで実行されます。elasticsearch レシーバは、Elasticsearch インスタンスからノードレベルとクラスタレベルのテレメトリーを収集します。

Elasticsearch の詳細については、Elasticsearch のドキュメントをご覧ください。

前提条件

Elasticsearch テレメトリーを収集するには、Ops エージェントをインストールする必要があります。

指標の場合は、バージョン 2.10.0 以降をインストールします。バージョン 2.21.0 で指標が追加されました。
ログの場合は、バージョン 2.9.0 以降をインストールします。

この統合は、Elasticsearch バージョン 7.9 以降をサポートしています。

Elasticsearch インスタンスを構成する

Elasticsearch セキュリティ機能を有効にする場合は、monitor または manage のクラスタ権限を持つユーザーを構成する必要があります。

Elasticsearch 用に Ops エージェントを構成する

Ops エージェントの構成のガイドに従って、Elasticsearch インスタンスからテレメトリーを収集するために必要な要素を追加し、エージェントを再起動します。

構成の例

次のコマンドは、Elasticsearch のテレメトリーを収集して取り込み、Ops エージェントを再起動するための構成を作成します。

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_json:
      type: elasticsearch_json
    elasticsearch_gc:
      type: elasticsearch_gc
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_json
          - elasticsearch_gc
EOF

sudo service google-cloud-ops-agent restart
sleep 60

ログの収集を構成する

Elasticsearch からログを取り込むには、Elasticsearch が生成するログのレシーバを作成してから、新しいレシーバ用のパイプラインを作成する必要があります。

elasticsearch_json ログのレシーバを構成するには、次のフィールドを指定します。

フィールド	デフォルト	説明
`exclude_paths`		`include_paths` の照合で除外するファイルシステムパスのパターンのリスト。
`include_paths`	`[/var/log/elasticsearch/_server.json, /var/log/elasticsearch/_deprecation.json, /var/log/elasticsearch/_index_search_slowlog.json, /var/log/elasticsearch/_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json]`	各ファイルのテーリングで読み込むファイルシステムのパスのリスト。パスにはワイルドカード（`*`）を使用できます。
`record_log_file_path`	`false`	`true` に設定すると、ログレコードの取得元のファイルのパスが `agent.googleapis.com/log_file_path` ラベルの値として出力ログエントリに表示されます。ワイルドカードを使用する場合、レコードを取得したファイルのパスのみが記録されます。
`type`		値には `elasticsearch_json` を指定してください。
`wildcard_refresh_interval`	`60s`	include_paths のワイルドカードファイルパスの更新間隔。`time.ParseDuration` によって解析可能な時間として指定します（例: `30s`、`2m`）。このプロパティは、ログファイルのローテーションがデフォルトよりも短い間隔で実施され、ロギングのスループットが高い場合に有用な可能性があります。

elasticsearch_gc ログのレシーバを構成するには、次の項目を指定します。

フィールド	デフォルト	説明
`exclude_paths`		`include_paths` の照合で除外するファイルシステムパスのパターンのリスト。
`include_paths`	`[/var/log/elasticsearch/gc.log]`	各ファイルのテーリングで読み込むファイルシステムのパスのリスト。パスにはワイルドカード（`*`）を使用できます。
`record_log_file_path`	`false`	`true` に設定すると、ログレコードの取得元のファイルのパスが `agent.googleapis.com/log_file_path` ラベルの値として出力ログエントリに表示されます。ワイルドカードを使用する場合、レコードを取得したファイルのパスのみが記録されます。
`type`		値には `elasticsearch_gc` を指定してください。
`wildcard_refresh_interval`	`60s`	include_paths のワイルドカードファイルパスの更新間隔。`time.ParseDuration` によって解析可能な時間として指定します（例: `30s`、`2m`）。このプロパティは、ログファイルのローテーションがデフォルトよりも短い間隔で実施され、ロギングのスループットが高い場合に有用な可能性があります。

ログの内容

logName は、構成で指定されたレシーバ ID から取得されます。LogEntry 内の詳細なフィールドは、次のとおりです。ログエントリに空白や欠落しているフィールドは含まれません。

elasticsearch_json ログの LogEntry には次のフィールドが含まれます。

フィールド	タイプ	説明
`jsonPayload.cluster`	文字列	ログレコードを出力するクラスタ
`jsonPayload.cluster.name`	文字列	ログレコードを出力するクラスタの名前
`jsonPayload.cluster.uuid`	文字列	ログレコードを出力するクラスタの UUID
`jsonPayload.component`	文字列	ログを出力した Elasticsearch のコンポーネント
`jsonPayload.level`	文字列	ログエントリレベル
`jsonPayload.message`	文字列	ログメッセージ
`jsonPayload.node`	文字列	ログレコードを出力するノード
`jsonPayload.node.name`	文字列	ログレコードを出力するノードの名前
`jsonPayload.node.uuid`	文字列	ログレコードを出力するノードの UUID
`jsonPayload.type`	文字列	ログの種類。レコードの取得元となったログを示します（サーバーは、この LogEntry がサーバーログから取得されたことを示します）。
`severity`	文字列（`LogSeverity`）	ログエントリレベル（翻訳済み）

elasticsearch_gc ログの LogEntry には次のフィールドが含まれます。

フィールド	タイプ	説明
`jsonPayload.gc_run`	数値	ガベージコレクタの実行
`jsonPayload.message`	文字列	ログメッセージ
`jsonPayload.type`	文字列	ログレコードのタイプ
`severity`	文字列（`LogSeverity`）	ログエントリレベル（翻訳済み）

指標の収集を構成する

Elasticsearch から指標を取り込むには、Elasticsearch が生成する指標のレシーバを作成してから、新しいレシーバ用のパイプラインを作成する必要があります。

このレシーバでは、複数のエンドポイントのモニタリングなど、構成で複数のインスタンスを使用することはできません。このようなインスタンスはすべて同じ時系列に書き込まれるため、Cloud Monitoring ではインスタンスを区別できません。

elasticsearch 指標のレシーバーを構成するには、次のフィールドを指定します。

フィールド	デフォルト	説明
`ca_file`		CA 証明書のパス。クライアントとして、これによりサーバー証明書が検証されます。空の場合、レシーバはシステムルート CA を使用します。
`cert_file`		mTLS で必要な接続に使用する TLS 証明書のパス。
`collection_interval`	`60s`	time duration 値（例: `30s`、`5m`）。
`endpoint`	`http://localhost:92002`	Elasticsearch REST API のベース URL。
`insecure`	`true`	セキュア TLS 接続を使用するかどうかを設定します。`false` に設定すると、TLS が有効になります。
`insecure_skip_verify`	`false`	証明書の検証をスキップするかどうかを指定します。`insecure` が `true` に設定されている場合、`insecure_skip_verify` 値は使用されません。
`key_file`		mTLS で必要な接続に使用する TLS キーのパス。
`password`		Elasticsearch での認証に使用するパスワード。ユーザー名が設定されている場合は必須です。
`type`		この値は elasticsearch である必要があります。
`username`		Elasticsearch での認証に使用するユーザー名。パスワードが設定されている場合は必須です。

モニタリング対象

次の表に、Ops エージェントが Elasticsearch インスタンスから収集する指標の一覧を示します。

指標タイプ
種類、タイプモニタリング対象リソース	ラベル
`workload.googleapis.com/elasticsearch.breaker.memory.estimated`
`GAUGE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.breaker.memory.limit`
`GAUGE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.breaker.tripped`
`CUMULATIVE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.cluster.data_nodes`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.cluster.health`
`GAUGE`、`INT64` gce_instance	`status`
`workload.googleapis.com/elasticsearch.cluster.in_flight_fetch`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.cluster.nodes`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.cluster.pending_tasks`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.cluster.published_states.differences`
`GAUGE`、`INT64` gce_instance	`state`
`workload.googleapis.com/elasticsearch.cluster.published_states.full`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.cluster.shards`
`GAUGE`、`INT64` gce_instance	`state`
`workload.googleapis.com/elasticsearch.cluster.state_queue`
`GAUGE`、`INT64` gce_instance	`state`
`workload.googleapis.com/elasticsearch.cluster.state_update.count`
`CUMULATIVE`、`INT64` gce_instance	`state`
`workload.googleapis.com/elasticsearch.cluster.state_update.time`
`CUMULATIVE`、`INT64` gce_instance	`state` `type`
`workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.memory.indexing_pressure`
`GAUGE`、`INT64` gce_instance	`stage`
`workload.googleapis.com/elasticsearch.node.cache.count`
`GAUGE`、`INT64` gce_instance	`type`
`workload.googleapis.com/elasticsearch.node.cache.evictions`
`CUMULATIVE`、`INT64` gce_instance	`cache_name`
`workload.googleapis.com/elasticsearch.node.cache.memory.usage`
`GAUGE`、`INT64` gce_instance	`cache_name`
`workload.googleapis.com/elasticsearch.node.cluster.connections`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.cluster.io`
`CUMULATIVE`、`INT64` gce_instance	`direction`
`workload.googleapis.com/elasticsearch.node.disk.io.read`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.disk.io.write`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.documents`
`GAUGE`、`INT64` gce_instance	`state`
`workload.googleapis.com/elasticsearch.node.fs.disk.available`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.fs.disk.free`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.fs.disk.total`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.http.connections`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.ingest.documents`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.ingest.documents.current`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.ingest.operations.failed`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.open_files`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.operations.completed`
`CUMULATIVE`、`INT64` gce_instance	`operation`
`workload.googleapis.com/elasticsearch.node.operations.time`
`CUMULATIVE`、`INT64` gce_instance	`operation`
`workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current`
`GAUGE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed`
`GAUGE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed`
`CUMULATIVE`、`INT64` gce_instance	`name`
`workload.googleapis.com/elasticsearch.node.script.cache_evictions`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.script.compilations`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.shards.data_set.size`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.shards.reserved.size`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.shards.size`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished`
`CUMULATIVE`、`INT64` gce_instance	`state` `thread_pool_name`
`workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued`
`GAUGE`、`INT64` gce_instance	`thread_pool_name`
`workload.googleapis.com/elasticsearch.node.thread_pool.threads`
`GAUGE`、`INT64` gce_instance	`state` `thread_pool_name`
`workload.googleapis.com/elasticsearch.node.translog.operations`
`CUMULATIVE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.translog.size`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.node.translog.uncommitted.size`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m`
`GAUGE`、`DOUBLE` gce_instance
`workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m`
`GAUGE`、`DOUBLE` gce_instance
`workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m`
`GAUGE`、`DOUBLE` gce_instance
`workload.googleapis.com/elasticsearch.os.cpu.usage`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/elasticsearch.os.memory`
`GAUGE`、`INT64` gce_instance	`state`

構成を確認する

このセクションでは、Elasticsearch レシーバが正しく構成されていることを確認する方法について説明します。Ops エージェントがテレメトリーの収集を開始するまでに 1～2 分かかる場合があります。

Elasticsearch ログが Cloud Logging に送信されていることを確認するには、次のようにします。

Google Cloud コンソールで、[ログエクスプローラ] ページに移動します。
[ログエクスプローラ] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Logging] の結果を選択します。
エディタに次のクエリを入力し、[クエリを実行] をクリックします。
```
resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))
```

Elasticsearch 指標が Cloud Monitoring に送信されていることを確認するには、次のようにします。

Google Cloud コンソールで、[Metrics Explorer] ページに移動します。
Metrics Explorer に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
クエリビルダーペインのツールバーで、[MQL] または [MQL] という名前のボタンを選択します。
[MQL] 切り替えで [MQL] が選択されていることを確認します。言語切り替えボタンは、クエリの書式設定と同じツールバーにあります。

エディタに次のクエリを入力し、[クエリを実行] をクリックします。

fetch gce_instance
| metric 'workload.googleapis.com/elasticsearch.node.open_files'
| every 1m

ダッシュボードを表示

Elasticsearch 指標を表示するには、グラフまたはダッシュボードが構成されている必要があります。 Elasticsearch インテグレーションには、1 つ以上のダッシュボードが含まれています。インテグレーションを構成して Ops エージェントが指標データの収集を開始すると、ダッシュボードは自動的にインストールされます。

インテグレーションをインストールすることなく、ダッシュボードの静的プレビューを表示することもできます。

インストールされているダッシュボードを表示する手順は次のとおりです。

Google Cloud コンソールで [ダッシュボード] ページに移動します。
[ダッシュボード] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
[ダッシュボードリスト] タブを選択し、[統合] カテゴリを選択します。
表示するダッシュボードの名前をクリックします。

インテグレーションを構成してもダッシュボードがインストールされていない場合は、Ops エージェントが実行されていることを確認します。ダッシュボードにグラフの指標データがない場合、ダッシュボードのインストールは失敗します。Ops エージェントが指標の収集を開始した後に、ダッシュボードがインストールされます。

ダッシュボードの静的プレビューを表示する手順は次のとおりです。

Google Cloud コンソールで [統合] ページに移動します。
[インテグレーション] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
[デプロイメントプラットフォーム] フィルタの [Compute Engine] をクリックします。
Elasticsearch のエントリを見つけて、[詳細を表示] をクリックします。
[ダッシュボード] タブを選択すると、静的プレビューが表示されます。ダッシュボードがインストールされている場合は、[ダッシュボードを表示] をクリックして移動できます。

Cloud Monitoring のダッシュボードについて詳しくは、ダッシュボードとグラフをご覧ください。

[インテグレーション] ページの使用方法については、インテグレーションを管理するをご覧ください。

アラートポリシーをインストールする

アラートポリシーは、指定した条件が成立した際に通知するように Cloud Monitoring に指示します。 Elasticsearch インテグレーションには、使用する 1 つ以上のアラートポリシーが含まれています。これらのアラートポリシーは、Monitoring の [インテグレーション] ページで表示してインストールできます。

使用可能なアラートポリシーの説明を表示してインストールする手順は次のとおりです。

Google Cloud コンソールで [統合] ページに移動します。
[インテグレーション] に移動

検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。
Elasticsearch のエントリを見つけて、[詳細を表示] をクリックします。
[アラート] タブを選択します。このタブには、利用可能なアラートポリシーの説明と、それらをインストールするためのインターフェースが表示されます。
アラートポリシーをインストールします。アラートポリシーでは、アラートがトリガーされた通知の送信先を特定する必要があるため、インストール環境の情報が必要になります。アラートポリシーをインストールする手順は次のとおりです。
1. 利用可能なアラートポリシーのリストから、インストールするアラートポリシーを選択します。
2. [通知の構成] セクションで、1 つ以上の通知チャンネルを選択します。通知チャンネルの使用を無効にすることもできますが、無効にすると、アラートポリシーは通知なく起動します。Monitoring でステータスを確認できますが、通知は受信しません。
  
  通知チャンネルの詳細については、通知チャンネルを管理するをご覧ください。
3. [ポリシーの作成] をクリックします。

Cloud Monitoring のアラートポリシーの詳細については、アラートの概要をご覧ください。