In diesem Dokument wird beschrieben, wie Sie Ihr Google Kubernetes Engine-Deployment so konfigurieren, dass Sie Google Cloud Managed Service for Prometheus verwenden können, um Messwerte aus StatsD zu erfassen. Dieses Dokument enthält Anleitungen für folgende Aufgaben:
- StatsD einrichten, um Messwerte zu erfassen.
- Eine PodMonitoring-Ressource für Managed Service for Prometheus konfigurieren, um die exportierten Messwerte zu erfassen.
- Auf ein Dashboard in Cloud Monitoring zugreifen, um die Messwerte zu prüfen.
- Benachrichtigungsregeln konfigurieren, um die Messwerte zu beobachten.
Diese Anleitung gilt nur, wenn Sie die verwaltete Sammlung mit Managed Service for Prometheus verwenden. Wenn Sie eine selbst bereitgestellte Sammlung verwenden, finden Sie Informationen zur Installation in der Airflow-Dokumentation.
Diese Anleitung dient als Beispiel und sollte in den meisten Kubernetes-Umgebungen funktionieren. Wenn Sie aufgrund von restriktiven Sicherheits- oder Organisationsrichtlinien Probleme beim Installieren einer Anwendung oder eines Exporters haben, empfehlen wir Ihnen, die Open Source-Dokumentation für Support zu nutzen.
Informationen zu Airflow finden Sie unter Airflow.
Vorbereitung
Zum Erfassen von Messwerten aus StatsD mithilfe von Managed Service for Prometheus und einer verwalteten Erfassung muss das Deployment die folgenden Anforderungen erfüllen:
- Ihr Cluster muss Google Kubernetes Engine Version 1.21.4-gke.300 oder höher ausführen.
- Sie müssen Managed Service for Prometheus mit aktivierter verwalteter Sammlung ausführen. Weitere Informationen finden Sie unter Erste Schritte mit verwalteter Sammlung.
So prüfen Sie, ob StatsD Messwerte an den erwarteten Endpunkten ausgibt:
- Richten Sie mit dem folgenden Befehl die Portweiterleitung ein:
kubectl -n NAMESPACE_NAME port-forward deploy/AIRFLOW_RELEASE_NAME-statsd 9102
- Greifen Sie über den Browser oder das Dienstprogramm
curl
in einer anderen Terminalsitzung auf den Endpunktlocalhost:9102/metrics
zu.
PodMonitoring-Ressource definieren
Für die Zielerkennung benötigt der Managed Service for Prometheus-Operator eine PodMonitoring-Ressource, die dem Airflow-Exporter im selben Namespace entspricht.
Sie können die folgende PodMonitoring-Konfiguration verwenden:
Achten Sie darauf, dass die Werte der Felderport
und matchLabels
mit den StatsD-Pods übereinstimmen, die Sie beobachten möchten.
Die hier angezeigten Labels und Werte werden standardmäßig festgelegt, wenn Airflow mit Helm bereitgestellt wird.
Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden:
kubectl apply -n NAMESPACE_NAME -f FILE_NAME
Sie können Ihre Konfigurationen auch mit Terraform verwalten.
Regeln und Benachrichtigungen definieren
Sie können die folgende Rules
-Konfiguration verwenden, um Benachrichtigungen für Airflow-Messwerte zu definieren:
Führen Sie den folgenden Befehl aus, um Konfigurationsänderungen aus einer lokalen Datei anzuwenden:
kubectl apply -n NAMESPACE_NAME -f FILE_NAME
Sie können Ihre Konfigurationen auch mit Terraform verwalten.
Weitere Informationen zum Anwenden von Regeln auf Ihren Cluster finden Sie unter Verwaltete Regelauswertung und Benachrichtigungen.
Sie können die Schwellenwerte für Benachrichtigungen an Ihre Anwendung anpassen.Konfiguration prüfen
Mit dem Metrics Explorer können Sie prüfen, ob der Airflow-Exporter richtig konfiguriert ist. Es kann ein oder zwei Minuten dauern, bis Cloud Monitoring Ihre Messwerte aufgenommen hat.
So prüfen Sie, ob die Messwerte aufgenommen wurden:
-
Rufen Sie in der Google Cloud Console die Seite leaderboard Metrics Explorer auf.
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Klicken Sie in der Symbolleiste des Bereichs "Query Builder" auf die Schaltfläche code MQL oder code PromQL.
- Prüfen Sie, ob PromQL in der Ein-/Aus-Schaltfläche PromQL ausgewählt ist. Die Sprachschaltfläche befindet sich in derselben Symbolleiste, mit der Sie Ihre Abfrage formatieren können.
- Geben Sie die folgende Abfrage ein und führen Sie sie aus:
up{job="airflow", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}
Dashboards ansehen
Die Cloud Monitoring-Integration beinhaltet das Dashboard Airflow Prometheus – Übersicht. Dashboards werden automatisch mitkonfiguriert, wenn Sie die Integration konfigurieren. Sie können auch eine statische Vorschau von Dashboards aufrufen, ohne die Integration zu installieren.
So rufen Sie ein installiertes Dashboard auf:
-
Rufen Sie in der Google Cloud Console die Seite Dashboards auf.
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Wählen Sie den Tab Dashboard-Liste aus.
- Wählen Sie die Kategorie Integrationen aus.
- Klicken Sie auf den Namen des Dashboards, z. B. Airflow Prometheus – Übersicht.
So rufen Sie eine statische Vorschau des Dashboards auf:
-
Öffnen Sie in der Google Cloud Console die Seite Einbindungen:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Klicken Sie auf den Filter für die Deployment-Plattform Kubernetes Engine.
- Suchen Sie die Apache Airflow-Integration und klicken Sie auf Details ansehen.
- Wählen Sie den Tab Dashboards aus.
Fehlerbehebung
Informationen zur Fehlerbehebung bei Problemen mit der Messwertaufnahme finden Sie unter Probleme mit der Erfassung über Exporter unter Fehlerbehebung bei Problemen mit der Aufnahme.