Elasticsearch 8.0 以降と 9.0 以降

Elasticsearch は、Lucene 検索ライブラリに基づいた、オープンソースの検索サーバーです。さまざまなオペレーティング システムの Java 仮想マシンで実行されます。elasticsearch レシーバーは、Elasticsearch インスタンスからノードレベルとクラスタレベルのテレメトリーを収集します。

Elasticsearch の詳細については、Elasticsearch 8.0 以降と 9.0 以降のドキュメントをご覧ください。

前提条件

Elasticsearch テレメトリーを収集するには、Ops エージェントをインストールする必要があります。

  • 指標の場合は、バージョン 2.60.0 以降をインストールします。
  • ログの場合は、バージョン 2.60.0 以降をインストールします。

この統合は、Elasticsearch バージョン 8.0 以降と 9.0 以降をサポートしています。

Elasticsearch インスタンスを構成する

Elasticsearch セキュリティ機能を有効にする場合は、monitor または manage のクラスタ権限を持つユーザーを構成する必要があります。

Elasticsearch 用に Ops エージェントを構成する

Ops エージェントを構成するのガイドに沿って、Elasticsearch インスタンスからテレメトリーを収集するために必要な要素を追加し、エージェントを再起動します。

構成の例

次のコマンドは、Elasticsearch のテレメトリーを収集して取り込む構成を作成します。

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
      endpoint: https://localhost:9200
      username: elastic
      password: elastic_test_password_123
      insecure_skip_verify: true
      insecure: false
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_gc:
      type: elasticsearch_gc
    elasticsearch_json:
      type: elasticsearch_json
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_gc
          - elasticsearch_json
EOF

これらの変更を有効にするには、Ops エージェントを再起動する必要があります。

Linux

  1. エージェントを再起動するには、インスタンスで次のコマンドを実行します。
    sudo systemctl restart google-cloud-ops-agent
  2. エージェントが再起動したことを確認するには、次のコマンドを実行して「Metrics Agent」と「Logging エージェント」のコンポーネントが起動したことを確認します。
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. RDP または同様のツールを使用してインスタンスに接続し、Windows にログインします。
  2. PowerShell アイコンを右クリックし、[管理者として実行] を選択して、管理者権限で PowerShell ターミナルを開きます。
  3. エージェントを再起動するには、次の PowerShell コマンドを実行します。
    Restart-Service google-cloud-ops-agent -Force
  4. エージェントが再起動したことを確認するには、次のコマンドを実行して「Metrics Agent」と「Logging エージェント」のコンポーネントが起動したことを確認します。
    Get-Service google-cloud-ops-agent*

ログの収集を構成する

Elasticsearch からログを取り込むには、Elasticsearch が生成するログのレシーバーを作成してから、新しいレシーバー用のパイプラインを作成する必要があります。

elasticsearch_json ログのレシーバーを構成するには、次のフィールドを指定します。

フィールド デフォルト 説明
exclude_paths include_paths の照合で除外するファイルシステム パスのパターンのリスト。
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] 各ファイルのテーリングで読み込むファイルシステムのパスのリスト。パスにはワイルドカード（*）を使用できます。
record_log_file_path false true に設定すると、ログレコードの取得先のファイルのパスが agent.googleapis.com/log_file_path ラベルの値として出力ログエントリに表示されます。ワイルドカードを使用する場合、レコードを取得したファイルのパスのみが記録されます。
type この値は、elasticsearch_json にする必要があります。
wildcard_refresh_interval 60s include_paths のワイルドカード ファイルのパスの更新間隔。期間を指定します（例: 30s、2m）。このプロパティは、ログファイルのローテーションがデフォルトの間隔よりも速く、ロギングのスループットが高い場合に有用です。

elasticsearch_gc ログのレシーバーを構成するには、次のフィールドを指定します。

フィールド デフォルト 説明
exclude_paths include_paths の照合で除外するファイルシステム パスのパターンのリスト。
include_paths [/var/log/elasticsearch/gc.log] 各ファイルのテーリングで読み込むファイルシステムのパスのリスト。パスにはワイルドカード（*）を使用できます。
record_log_file_path false true に設定すると、ログレコードの取得先のファイルのパスが agent.googleapis.com/log_file_path ラベルの値として出力ログエントリに表示されます。ワイルドカードを使用する場合、レコードを取得したファイルのパスのみが記録されます。
type この値は、elasticsearch_gc にする必要があります。
wildcard_refresh_interval 60s include_paths のワイルドカード ファイルのパスの更新間隔。期間を指定します（例: 30s、2m）。このプロパティは、ログファイルのローテーションがデフォルトの間隔よりも速く、ロギングのスループットが高い場合に有用です。

ログの内容

logName は、構成で指定されたレシーバ ID から取得されます。LogEntry 内の詳細なフィールドは、次のとおりです。

elasticsearch_json ログの LogEntry には次のフィールドが含まれます。

フィールド タイプ 説明
jsonPayload.ecs.version 文字列 ECS バージョン
jsonPayload.elasticsearch.cluster.name 文字列 ECS 形式のログレコードを出力するクラスタの名前
jsonPayload.elasticsearch.cluster.uuid 文字列 ECS 形式でログレコードを出力するクラスタの UUID
jsonPayload.elasticsearch.node.name 文字列 ログレコードを出力するノードの名前（ECS 形式）
jsonPayload.event 文字列 ECS 形式のイベント情報
jsonPayload.log 文字列 ECS 形式のログの詳細
jsonPayload.log.level 文字列 ECS 形式のログエントリ レベル
jsonPayload.log.logger 文字列 ECS 形式でログを出力したロガー コンポーネント
jsonPayload.message 文字列 ログメッセージ
jsonPayload.process.thread.name 文字列 ECS 形式でログを出力したスレッドの名前
jsonPayload.service.name 文字列 ECS 形式でログを出力するサービスの名前
severity 文字列（LogSeverity） ログエントリの重大度レベル

elasticsearch_gc ログの LogEntry には次のフィールドが含まれます。

フィールド タイプ 説明
jsonPayload.gc_run 数値 ガベージ コレクタの実行
jsonPayload.message 文字列 ログメッセージ
jsonPayload.type 文字列 ログレコードのタイプ
severity 文字列（LogSeverity） ログエントリ レベル（変換済み）。

指標の収集を構成する

Elasticsearch から指標を取り込むには、Elasticsearch が生成する指標のレシーバーを作成してから、新しいレシーバー用のパイプラインを作成する必要があります。

このレシーバーでは、複数のエンドポイントのモニタリングなど、構成で複数のインスタンスを使用することはできません。このようなインスタンスはすべて同じ時系列に書き込まれるため、Cloud Monitoring ではインスタンスを区別できません。

elasticsearch 指標のレシーバーを構成するには、次のフィールドを指定します。

フィールド デフォルト 説明
ca_file CA 証明書のパス。クライアントとして、これによりサーバー証明書が検証されます。空の場合、レシーバーはシステムルート CA を使用します。
cert_file mTLS で必要な接続に使用する TLS 証明書のパス。
collection_interval 60s 期間の値（例: 30s、5m）。
endpoint https://localhost:9200 Elasticsearch REST API のベース URL。Elasticsearch 9.0 以降では、デフォルトで HTTPS が使用されます。
insecure false セキュア TLS 接続を使用するかどうかを設定します。Elasticsearch 9.0 以降では、デフォルトで HTTPS が使用されます。
insecure_skip_verify true 証明書の検証をスキップするかどうかを指定します。自己署名証明書（テスト環境で一般的）の場合は true に設定します。
key_file mTLS で必要な接続に使用する TLS キーのパス。
password Elasticsearch での認証に使用するパスワード。Elasticsearch 9.0 以降で必要です。
type 値は、elasticsearch にする必要があります。
username elastic Elasticsearch での認証に使用するユーザー名。Elasticsearch 9.0 以降で必要です。

モニタリング対象

次の表に、Ops エージェントが Elasticsearch インスタンスから収集する指標の一覧を示します。

指標タイプ
種類、タイプ
モニタリング対象リソース		 ラベル
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.health
GAUGE、INT64
gce_instance 		instrumentation_source
status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE、INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE、INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE、INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE、INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE、INT64
gce_instance 		instrumentation_source
state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE、INT64
gce_instance 		instrumentation_source
stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE、INT64
gce_instance 		instrumentation_source
type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE、INT64
gce_instance 		cache_name
instrumentation_source
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE、INT64
gce_instance 		cache_name
instrumentation_source
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE、INT64
gce_instance 		direction
instrumentation_source
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.documents
GAUGE、INT64
gce_instance 		instrumentation_source
state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.open_files
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE、INT64
gce_instance 		instrumentation_source
operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE、INT64
gce_instance 		instrumentation_source
operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE、INT64
gce_instance 		instrumentation_source
name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE、INT64
gce_instance 		instrumentation_source
state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE、INT64
gce_instance 		instrumentation_source
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE、INT64
gce_instance 		instrumentation_source
state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE、DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE、DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE、DOUBLE
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE、INT64
gce_instance 		instrumentation_source
workload.googleapis.com/elasticsearch.os.memory
GAUGE、INT64
gce_instance 		instrumentation_source
state

構成を確認する

このセクションでは、Elasticsearch レシーバーが正しく構成されていることを確認する方法について説明します。Ops エージェントがテレメトリーの収集を開始するまでに 1～2 分かかる場合があります。

Elasticsearch ログが Cloud Logging に送信されていることを確認するには、次のようにします。

  1. Google Cloud コンソールで、[ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが「Logging」の結果を選択します。

  2. エディタに次のクエリを入力し、[クエリを実行] をクリックします。
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

Elasticsearch 指標が Cloud Monitoring に送信されていることを確認するには、次のようにします。

  1. Google Cloud コンソールで Metrics explorer のページに移動します。

    [Metrics Explorer] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

  2. クエリビルダー ペインのツールバーで、[MQL] または [PROMQL] という名前のボタンを選択します。
  3. [言語] で [PromQL] が選択されていることを確認します。言語切り替えボタンは、クエリの書式設定と同じツールバーにあります。
  4. エディタに次のクエリを入力し、[クエリを実行] をクリックします。
    {"workload.googleapis.com/elasticsearch.node.open_files", monitored_resource="gce_instance"}

ダッシュボードを表示

Elasticsearch 指標を表示するには、グラフまたはダッシュボードが構成されている必要があります。Elasticsearch インテグレーションには、1 つ以上のダッシュボードが含まれています。インテグレーションを構成して Ops エージェントが指標データの収集を開始すると、ダッシュボードは自動的にインストールされます。

インテグレーションをインストールすることなく、ダッシュボードの静的プレビューを表示することもできます。

インストールされているダッシュボードを表示する手順は次のとおりです。

  1. Google Cloud コンソールで [ダッシュボード] ページに移動します。

    [ダッシュボード] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

  2. [ダッシュボード リスト] タブを選択し、[統合] カテゴリを選択します。
  3. 表示するダッシュボードの名前をクリックします。

インテグレーションを構成してもダッシュボードがインストールされていない場合は、Ops エージェントが実行されていることを確認します。ダッシュボードにグラフの指標データがない場合、ダッシュボードのインストールは失敗します。Ops エージェントが指標の収集を開始した後に、ダッシュボードがインストールされます。

ダッシュボードの静的プレビューを表示する手順は次のとおりです。

  1. Google Cloud コンソールで [インテグレーション] ページに移動します。

    [インテグレーション] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

  2. [デプロイメント プラットフォーム] フィルタの [Compute Engine] をクリックします。
  3. Elasticsearch のエントリを見つけて、[詳細を表示] をクリックします。
  4. [ダッシュボード] タブを選択すると、静的プレビューが表示されます。ダッシュボードがインストールされている場合は、[ダッシュボードを表示] をクリックして移動できます。

Cloud Monitoring のダッシュボードについて詳しくは、ダッシュボードとグラフをご覧ください。

[インテグレーション] ページの使用方法については、インテグレーションを管理するをご覧ください。

アラート ポリシーをインストールする

アラート ポリシーは、指定した条件が成立した際に通知するように Cloud Monitoring に指示します。Elasticsearch インテグレーションには、使用する 1 つ以上のアラート ポリシーが含まれています。これらのアラート ポリシーは、Monitoring の [インテグレーション] ページで表示してインストールできます。

使用可能なアラート ポリシーの説明を表示してインストールする手順は次のとおりです。

  1. Google Cloud コンソールで [インテグレーション] ページに移動します。

    [インテグレーション] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

  2. Elasticsearch のエントリを見つけて、[詳細を表示] をクリックします。
  3. [アラート] タブを選択します。このタブには、利用可能なアラート ポリシーの説明と、それらをインストールするためのインターフェースが表示されます。
  4. アラート ポリシーをインストールします。アラート ポリシーでは、アラートがトリガーされた通知の送信先を特定する必要があるため、インストール環境の情報が必要になります。アラート ポリシーをインストールする手順は次のとおりです。
    1. 利用可能なアラート ポリシーのリストから、インストールするアラート ポリシーを選択します。

    2. [通知の構成] セクションで、1 つ以上の通知チャンネルを選択します。通知チャンネルの使用を無効にすることもできますが、無効にすると、アラート ポリシーは通知なく起動します。Monitoring でステータスを確認できますが、通知は受信しません。

      通知チャンネルの詳細については、通知チャンネルを管理するをご覧ください。

    3. [ポリシーの作成] をクリックします。

Cloud Monitoring のアラート ポリシーの詳細については、アラートの概要をご覧ください。

[インテグレーション] ページの使用方法については、インテグレーションを管理するをご覧ください。

次のステップ

Ansible を使用して Ops エージェントをインストールし、サードパーティ アプリケーションを構成してサンプル ダッシュボードをインストールする方法についてのチュートリアルは、Ops エージェントをインストールして、サードパーティ アプリケーションのトラブルシューティングを行うの動画をご覧ください。