Apache Hadoop

In diesem Dokument wird gezeigt, wie Sie Ihr Google Kubernetes Engine-Deployment so konfigurieren, dass Sie mit Google Cloud Managed Service for Prometheus Messwerte von Apache Hadoop erfassen können. Dieses Dokument enthält Anleitungen für folgende Aufgaben:

• Exporter für Hadoop einrichten, um Messwerte zu erfassen.
• Eine PodMonitoring-Ressource für Managed Service for Prometheus konfigurieren, um die exportierten Messwerte zu erfassen.
• Auf ein Dashboard in Cloud Monitoring zugreifen, um die Messwerte zu prüfen.
• Benachrichtigungsregeln konfigurieren, um die Messwerte zu beobachten.

Diese Anleitung gilt nur, wenn Sie die verwaltete Sammlung mit Managed Service for Prometheus verwenden. Wenn Sie eine selbst bereitgestellte Sammlung verwenden, finden Sie im Quell-Repository Installationsinformationen für den JMX-Exporter.

Diese Anleitung dient als Beispiel und sollte in den meisten Kubernetes-Umgebungen funktionieren. Wenn Sie aufgrund von restriktiven Sicherheits- oder Organisationsrichtlinien Probleme beim Installieren einer Anwendung oder eines Exporters haben, empfehlen wir Ihnen, die Open Source-Dokumentation für Support zu nutzen.

Informationen zu Hadoop finden Sie unter Apache Hadoop.

Vorbereitung

Zum Erfassen von Messwerten aus Hadoop mithilfe von Managed Service for Prometheus und einer verwalteten Erfassung muss Ihr Deployment die folgenden Anforderungen erfüllen:

• Ihr Cluster muss Google Kubernetes Engine Version 1.21.4-gke.300 oder höher ausführen.
• Sie müssen Managed Service for Prometheus mit aktivierter verwalteter Sammlung ausführen. Weitere Informationen finden Sie unter Erste Schritte mit verwalteter Sammlung.

• Um die in Cloud Monitoring verfügbaren Dashboards für die Hadoop-Integration zu nutzen, müssen Sie jmx-exporter Version 0.17.0 oder höher verwenden.

  Weitere Informationen zu verfügbaren Dashboards finden Sie unter Dashboards ansehen.

Achten Sie darauf, dass die Werte der Felder port und matchLabels mit den Hadoop-Pods übereinstimmen, die Sie beobachten möchten. NameNodes und DataNodes müssen so konfiguriert sein, dass sie Remote-JMX-Verbindungen akzeptieren. Diese Konfiguration kann durch Festlegen der Umgebungsvariablen NAMENODE_HDFS_OPTS und DATANODE_HDFS_OPTS erfolgen, wie im Unix Shell-Leitfaden von Hadoop beschrieben.

Hadoop-Exporter installieren

Wir empfehlen, den Hadoop-Exporter jmx-exporter als Sidecar für die Hadoop-Arbeitslast zu installieren. Informationen zur Verwendung von Sidecars finden Sie unter Erweiterte Anwendung in Kubernetes mit Pods mit mehreren Containern.

Ändern Sie Ihre Hadoop-Konfiguration wie im folgenden Beispiel gezeigt, um jmx-exporter als Sidecar in Hadoop zu installieren:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

+ apiVersion: v1
+ kind: ConfigMap
+ metadata:
+   name: hadoop-exporter
+ data:
+   config.yaml: |
+     hostPort: localhost:1026
+     lowercaseOutputName: true
+     lowercaseOutputLabelNames: true
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: hadoop-hdfs
spec:
  serviceName: hadoop-hdfs
  selector:
    matchLabels:
+     app.kubernetes.io/name: hadoop
  template:
    metadata:
      labels:
+       app.kubernetes.io/name: hadoop
    spec:
      containers:
      - name: hadoop-hdfs
        image: "farberg/apache-hadoop:3.3.2"
+       env:
+         - name: HDFS_NAMENODE_OPTS
+           value: "-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=1026"
        command:
        - "/bin/bash"
        - "/tmp/hadoop-config/bootstrap.sh"
        - "-d"
+       ports:
+       - containerPort: 1026
+         name: jmx
+     - name: exporter
+       image: bitnami/jmx-exporter:0.17.0
+       command:
+         - java
+         - -jar
+         - jmx_prometheus_httpserver.jar
+       args:
+         - "9900"
+         - config.yaml
+       ports:
+       - containerPort: 9900
+         name: prometheus
+       volumeMounts:
+       - mountPath: /opt/bitnami/jmx-exporter/config.yaml
+         subPath: config.yaml
+         name: hadoop-exporter
+     volumes:
+     - name: hadoop-exporter
+       configMap:
+         name: hadoop-exporter
+         items:
+         - key: config.yaml
+           path: config.yaml

Sie müssen Ihrer Konfiguration alle Zeilen hinzufügen, denen das Symbol + vorangestellt ist.

Diese Anleitung basiert auf Änderungen an einem Helm-Diagramm. Die Vorlagen können heruntergeladen und geändert werden. Im vorherigen Beispiel wird davon ausgegangen, dass sich alles in einer einzelnen YAML-Datei befindet.

Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Sie können Ihre Konfigurationen auch mit Terraform verwalten.

PodMonitoring-Ressource definieren

Für die Zielerkennung benötigt der Managed Service for Prometheus-Operator eine PodMonitoring-Ressource, die dem Hadoop-Exporter im selben Namespace entspricht.

Sie können die folgende PodMonitoring-Konfiguration verwenden:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: hadoop
  labels:
    app.kubernetes.io/name: hadoop
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: hadoop

Achten Sie darauf, dass die Labelselektoren und der Port mit den Selektoren und dem Port übereinstimmen, die unter Hadoop-Exporter installieren verwendet werden.

Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Sie können Ihre Konfigurationen auch mit Terraform verwalten.

Regeln und Benachrichtigungen definieren

Sie können die folgende Rules-Konfiguration verwenden, um Benachrichtigungen für Hadoop-Messwerte zu definieren:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: hadoop-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: hadoop-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: hadoop
    interval: 30s
    rules:
    - alert: HadoopDown
      annotations:
        description: |-
          Hadoop instance is down
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Hadoop down (instance {{ $labels.instance }})
      expr: hadoop_namenode_numdeaddatanodes > 0
      for: 5m
      labels:
        severity: critical
    - alert: HadoopLowAvailableCapacity
      annotations:
        description: |-
          Hadoop low available capacity
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Hadoop low available capacity (instance {{ $labels.instance }})
      expr: (hadoop_namenode_capacityused/hadoop_namenode_capacitytotal) > 0.8
      for: 5m
      labels:
        severity: critical
    - alert: HadoopVolumeFailure
      annotations:
        description: |-
          Hadoop volume failure
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Hadoop volume failure (instance {{ $labels.instance }})
      expr: hadoop_namenode_volumefailurestotal > 0
      for: 5m
      labels:
        severity: critical

Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Sie können Ihre Konfigurationen auch mit Terraform verwalten.

Weitere Informationen zum Anwenden von Regeln auf Ihren Cluster finden Sie unter Verwaltete Regelauswertung und Benachrichtigungen.

Sie können die Schwellenwerte für Benachrichtigungen an Ihre Anwendung anpassen.

Konfiguration prüfen

Mit dem Metrics Explorer können Sie prüfen, ob der Hadoop-Exporter richtig konfiguriert ist. Es kann ein oder zwei Minuten dauern, bis Cloud Monitoring Ihre Messwerte aufgenommen hat.

So prüfen Sie, ob die Messwerte aufgenommen wurden:

1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Metrics Explorer aus:

   Zum Metrics Explorer

2. Klicken Sie in der Symbolleiste des Bereichs "Query Builder" auf die Schaltfläche  MQL oder  PromQL.
3. Prüfen Sie, ob PromQL in der Ein-/Aus-Schaltfläche Sprache ausgewählt ist. Die Sprachschaltfläche befindet sich in derselben Symbolleiste, mit der Sie Ihre Abfrage formatieren können.
4. Geben Sie die folgende Abfrage ein und führen Sie sie aus:
   

   up{job="hadoop", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Dashboards ansehen

Die Cloud Monitoring-Integration beinhaltet das Dashboard Hadoop Prometheus – Übersicht. Dashboards werden automatisch mitkonfiguriert, wenn Sie die Integration konfigurieren. Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.

So rufen Sie ein installiertes Dashboard auf:

1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Dashboards aus:

   Dashboards aufrufen

2. Wählen Sie den Tab Dashboard-Liste aus.
3. Wählen Sie die Kategorie Integrationen aus.
4. Klicken Sie auf den Namen des Dashboards, z. B. Hadoop Prometheus – Übersicht.

So rufen Sie eine statische Vorschau des Dashboards auf:

1. Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend  Integrationen aus:

   Zu „Integrationen“

2. Klicken Sie auf den Filter für die Deployment-Plattform Kubernetes Engine.
3. Suchen Sie die Apache Hadoop-Integration und klicken Sie auf Details ansehen.
4. Wählen Sie den Tab Dashboards aus.

Fehlerbehebung

Informationen zur Fehlerbehebung bei Problemen mit der Messwertaufnahme finden Sie unter Probleme mit der Erfassung über Exporter unter Fehlerbehebung bei Problemen mit der Aufnahme.