Elasticsearch

Elasticsearch ist ein Open Source-Suchserver, der auf der Lucene-Suchbibliothek beruht. Er wird in einer Java-VM unter verschiedenen Betriebssystemen ausgeführt. Der Empfänger elasticsearch erfasst Telemetriedaten auf Knoten- und Clusterebene aus Ihren Elasticsearch-Instanzen.

Weitere Informationen zu Elasticsearch finden Sie in der Elasticsearch-Dokumentation.

Vorbereitung

Zum Erfassen von Elasticsearch-Telemetriedaten müssen Sie den Ops-Agent installieren:

  • Installieren Sie für Messwerte die Version 2.21.0 oder höher.
  • Installieren Sie für Logs die Version 2.9.0 oder höher.

Diese Integration unterstützt Elasticsearch ab Version 7.9.

Elasticsearch-Instanz konfigurieren

Wenn Sie Elasticsearch-Sicherheitsfeatures aktivieren, müssen Sie einen Nutzer mit der Clusterberechtigung monitor oder manage konfigurieren.

Ops-Agent für Elasticsearch konfigurieren

Fügen Sie die erforderlichen Elemente zum Erfassen von Telemetriedaten von den Elasticsearch-Instanzen gemäß der Anleitung unter Ops-Agent konfigurieren hinzu und starten Sie den Agent neu.

Konfigurationsbeispiel

Mit den folgenden Befehlen wird die Konfiguration zum Erfassen und Aufnehmen von Telemetriedaten für Elasticsearch erstellt und der Ops-Agent neu gestartet.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_json:
      type: elasticsearch_json
    elasticsearch_gc:
      type: elasticsearch_gc
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_json
          - elasticsearch_gc
EOF

sudo service google-cloud-ops-agent restart
sleep 60

Logerfassung konfigurieren

Um Logs von Elasticsearch aufzunehmen, müssen Sie einen Empfänger für die von Elasticsearch erzeugten Logs erstellen und dann eine Pipeline für den neuen Empfänger erstellen.

Geben Sie die folgenden Felder an, um einen Empfänger für Ihre elasticsearch_json-Logs zu konfigurieren:

Feld Standard Beschreibung
exclude_paths Eine Liste von Dateisystempfadmustern, die aus dem mit include_paths übereinstimmenden Satz ausgeschlossen werden sollen.
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] Eine Liste mit Dateisystempfaden, die durch Tailing jeder Datei gelesen werden sollen. In den Pfaden kann ein Platzhalter (*) verwendet werden.
record_log_file_path false Wenn true festgelegt ist, wird der Pfad zu der spezifischen Datei, aus der der Logdatensatz abgerufen wurde, im Ausgabelogeintrag als Wert des Labels agent.googleapis.com/log_file_path angezeigt. Bei Verwendung eines Platzhalters wird nur der Pfad der Datei aufgezeichnet, aus der der Eintrag abgerufen wurde.
type Dieser Wert muss elasticsearch_json sein.
wildcard_refresh_interval 60s Das Intervall, in dem Platzhalterdateipfade in include_paths aktualisiert werden. Wird als Zeitdauer angegeben, z. B. 30s oder 2m. Dieses Attribut kann bei hohen Logging-Durchsätzen nützlich sein, wenn Logdateien schneller als das Standardintervall rotiert werden.

Geben Sie die folgenden Felder an, um einen Empfänger für Ihre elasticsearch_gc-Logs zu konfigurieren:

Feld Standard Beschreibung
exclude_paths Eine Liste von Dateisystempfadmustern, die aus dem mit include_paths übereinstimmenden Satz ausgeschlossen werden sollen.
include_paths [/var/log/elasticsearch/gc.log] Eine Liste mit Dateisystempfaden, die durch Tailing jeder Datei gelesen werden sollen. In den Pfaden kann ein Platzhalter (*) verwendet werden.
record_log_file_path false Wenn true festgelegt ist, wird der Pfad zu der spezifischen Datei, aus der der Logdatensatz abgerufen wurde, im Ausgabelogeintrag als Wert des Labels agent.googleapis.com/log_file_path angezeigt. Bei Verwendung eines Platzhalters wird nur der Pfad der Datei aufgezeichnet, aus der der Eintrag abgerufen wurde.
type Dieser Wert muss elasticsearch_gc sein.
wildcard_refresh_interval 60s Das Intervall, in dem Platzhalterdateipfade in include_paths aktualisiert werden. Wird als Zeitdauer angegeben, z. B. 30s oder 2m. Dieses Attribut kann bei hohen Logging-Durchsätzen nützlich sein, wenn Logdateien schneller als das Standardintervall rotiert werden.

Was wird protokolliert?

Der logName wird von den Empfänger-IDs abgeleitet, die in der Konfiguration angegeben sind. Detaillierte Felder in LogEntry sind:

elasticsearch_json-Logs enthalten die folgenden Felder in LogEntry:

Feld Typ Beschreibung
jsonPayload.cluster String Der Cluster, der den Logdatensatz ausgibt
jsonPayload.cluster.name String Der Name des Clusters, der den Logdatensatz ausgibt
jsonPayload.cluster.uuid String Die UUID des Clusters, der den Logdatensatz ausgibt
jsonPayload.component String Die Komponente von Elasticsearch, die das Log ausgegeben hat
jsonPayload.level String Logeintragsebene
jsonPayload.message String Log-Nachricht
jsonPayload.node String Der Knoten, der den Logdatensatz ausgibt
jsonPayload.node.name String Der Name des Knotens, der den Logdatensatz ausgibt
jsonPayload.node.uuid String Die UUID des Knotens, der den Logdatensatz ausgibt
jsonPayload.type String Der Logtyp, der angibt, aus welchem Log der Datensatz stammt (z. B. gibt Server an, dass dieser LogEntry aus dem Serverlog stammt)
severity String (LogSeverity) Ebene des Logeintrags (übersetzt).

elasticsearch_gc-Logs enthalten die folgenden Felder in LogEntry:

Feld Typ Beschreibung
jsonPayload.gc_run Zahl Ausführung der Speicherbereinigung
jsonPayload.message String Log-Nachricht
jsonPayload.type String Der Typ des Logdatensatzes
severity String (LogSeverity) Ebene des Logeintrags (übersetzt).

Messwerterfassung konfigurieren

Um Messwerte von Elasticsearch aufzunehmen, müssen Sie einen Empfänger für die von Elasticsearch erzeugten Messwerte erstellen und dann eine Pipeline für den neuen Empfänger erstellen.

Dieser Empfänger unterstützt die Verwendung mehrerer Instanzen in der Konfiguration, z. B. zum Überwachen mehrerer Endpunkte, nicht. Alle diese Instanzen schreiben in dieselbe Zeitachse und Cloud Monitoring kann sie nicht unterscheiden.

Um einen Empfänger für Ihre elasticsearch-Messwerte zu konfigurieren, geben Sie die folgenden Felder an:

Feld Standard Beschreibung
ca_file Pfad zum CA-Zertifikat. Als Client wird dadurch das Serverzertifikat verifiziert. Wenn leer, verwendet der Empfänger die System-Stammzertifizierungsstelle.
cert_file Pfad zum TLS-Zertifikat, das für TLS-fähige Verbindungen verwendet werden soll.
collection_interval 60s Ein Wert für die Zeitdauer, z. B. 30s oder 5m.
endpoint http://localhost:92002 Die Basis-URL für die Elasticsearch REST API.
insecure true Legt fest, ob eine sichere TLS-Verbindung verwendet werden soll. Wenn false festgelegt ist, ist TLS aktiviert.
insecure_skip_verify false Legt fest, ob die Bestätigung des Zertifikats übersprungen werden soll. Wenn insecure auf true gesetzt ist, wird der Wert insecure_skip_verify nicht verwendet.
key_file Pfad zum TLS-Schlüssel, der für TLS-erforderliche Verbindungen verwendet werden soll.
password Passwort für die Authentifizierung mit Elasticsearch. Erforderlich, wenn username festgelegt ist.
type Dieser Wert muss elasticsearch sein.
username Nutzername für die Authentifizierung mit Elasticsearch. Erforderlich, wenn password festgelegt ist.

Was wird überwacht?

Die folgende Tabelle enthält die Liste der Messwerte, die der Ops-Agent aus der Elasticsearch-Instanz erfasst.

Messwerttyp
Art, Typ
Überwachte Ressourcen		 Labels
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.health
GAUGE, INT64
gce_instance 		status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE, INT64
gce_instance 		state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE, INT64
gce_instance 		stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE, INT64
gce_instance 		type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE, INT64
gce_instance 		direction
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.documents
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.open_files
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE, INT64
gce_instance 		thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.memory
GAUGE, INT64
gce_instance 		state

Konfiguration prüfen

In diesem Abschnitt wird beschrieben, wie Sie prüfen können, ob Sie den Elasticsearch-Empfänger richtig konfiguriert haben. Es kann ein oder zwei Minuten dauern, bis der Ops-Agent Telemetriedaten erfasst.

So prüfen Sie, ob Elasticsearch-Logs an Cloud Logging gesendet werden:

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

    Zum Log-Explorer

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Logging ist.

  2. Geben Sie im Editor die folgende Abfrage ein und klicken Sie dann auf Abfrage ausführen: 
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

So prüfen Sie, ob Elasticsearch-Messwerte an Cloud Monitoring gesendet werden:

  1. Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf.

    Zum Metrics Explorer

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie in der Symbolleiste des Bereichs "Query Builder" auf die Schaltfläche  MQL oder  PromQL.
  3. Prüfen Sie, ob MQL im Schalter Sprache ausgewählt ist. Die Sprachschaltfläche befindet sich in derselben Symbolleiste, mit der Sie Ihre Abfrage formatieren können.
  4. Geben Sie im Editor die folgende Abfrage ein und klicken Sie dann auf Abfrage ausführen: 
    fetch gce_instance
| metric 'workload.googleapis.com/elasticsearch.node.open_files'
| every 1m

Dashboard aufrufen

Damit Sie Ihre Elasticsearch-Messwerte aufrufen können, müssen Sie ein Diagramm oder ein Dashboard konfiguriert haben. Die Elasticsearch-Integration enthält ein oder mehrere Dashboards für Sie. Alle Dashboards werden automatisch installiert, nachdem Sie die Integration konfiguriert haben und der Ops-Agent mit dem Erfassen von Messwertdaten begonnen hat.

Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dashboards auf.

    Dashboards aufrufen

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Wählen Sie den Tab Dashboard-Liste und dann die Kategorie Integrationen aus.
  3. Wählen Sie den Namen des Dashboards aus, das Sie aufrufen möchten.

Wenn Sie eine Integration konfiguriert haben, das Dashboard jedoch nicht installiert ist, prüfen Sie, ob der Ops-Agent ausgeführt wird. Wenn im Dashboard keine Messwertdaten für ein Diagramm vorhanden sind, schlägt die Installation des Dashboards fehl. Nachdem der Ops-Agent mit dem Erfassen von Messwerten begonnen hat, wird das Dashboard für Sie installiert.

So rufen Sie eine statische Vorschau des Dashboards auf:

  1. Öffnen Sie in der Google Cloud Console die Seite Einbindungen:

    Zu „Integrationen“

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Klicken Sie auf den Filter für die Deployment-Plattform Compute Engine.
  3. Suchen Sie den Eintrag für Elasticsearch und klicken Sie auf Details ansehen.
  4. Wählen Sie den Tab Dashboards aus, um eine statische Vorschau aufzurufen. Wenn das Dashboard installiert ist, können Sie es aufrufen. Klicken Sie dazu auf Dashboard aufrufen.

Weitere Informationen zu Dashboards in Cloud Monitoring finden Sie unter Dashboards und Diagramme.

Weitere Informationen zur Verwendung der Seite Integrationen finden Sie unter Integrationen verwalten.

Benachrichtigungsrichtlinien installieren

Durch Benachrichtigungsrichtlinien wird Cloud Monitoring angewiesen, Sie zu benachrichtigen, wenn bestimmte Bedingungen auftreten. Die Elasticsearch-Integration enthält eine oder mehrere Benachrichtigungsrichtlinien, die Sie verwenden können. Sie können diese Benachrichtigungsrichtlinien auf der Seite Integrationen in Monitoring aufrufen und installieren.

So zeigen Sie die Beschreibungen der verfügbaren Benachrichtigungsrichtlinien an und installieren sie:

  1. Öffnen Sie in der Google Cloud Console die Seite Einbindungen:

    Zu „Integrationen“

    Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.

  2. Suchen Sie den Eintrag für Elasticsearch und klicken Sie auf Details ansehen.
  3. Wählen Sie den Tab Benachrichtigungen aus. Dieser Tab enthält Beschreibungen der verfügbaren Benachrichtigungsrichtlinien und eine Oberfläche für deren Installation.
  4. Installieren Sie Benachrichtigungsrichtlinien. Benachrichtigungsrichtlinien müssen wissen, wohin Benachrichtigungen gesendet werden sollen, dass die Benachrichtigung ausgelöst wurde. Daher benötigen sie Informationen von Ihnen für die Installation. So installieren Sie Benachrichtigungsrichtlinien:
    1. Wählen Sie aus der Liste der verfügbaren Benachrichtigungsrichtlinien die Richtlinien aus, die Sie installieren möchten.

    2. Wählen Sie im Abschnitt Benachrichtigungen konfigurieren einen oder mehrere Benachrichtigungskanäle aus. Sie haben die Möglichkeit, die Verwendung von Benachrichtigungskanälen zu deaktivieren. In diesem Fall werden Ihre Benachrichtigungsrichtlinien jedoch automatisch ausgelöst. Sie können ihren Status in Monitoring prüfen, aber Sie erhalten keine Benachrichtigungen.

      Weitere Informationen zu Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.

    3. Klicken Sie auf Richtlinien erstellen.

Weitere Informationen zu Benachrichtigungsrichtlinien in Cloud Monitoring finden Sie unter Einführung in Benachrichtigungen.

Weitere Informationen zur Verwendung der Seite Integrationen finden Sie unter Integrationen verwalten.

Nächste Schritte

Eine Anleitung zur Installation von Ops-Agent mit Ansible zum Konfigurieren einer Drittanbieteranwendung und zum Installieren eines Beispieldashboards finden Sie im Video Ops-Agent installieren, um Fehler in Drittanbieteranwendungen zu beheben.