Zustand und Leistung einer Umgebung anhand wichtiger Messwerte überwachen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Hinweis: Diese Seite wurde noch nicht für Cloud Composer 3 überarbeitet und enthält Inhalte für Cloud Composer 2.

Auf dieser Seite wird beschrieben, wie Sie den allgemeinen Zustand und die Leistung der Cloud Composer-Umgebung anhand wichtiger Messwerte im Monitoring-Dashboard überwachen.

Einführung

In diesem Tutorial liegt der Schwerpunkt auf den wichtigsten Cloud Composer-Monitoring-Messwerten, die einen guten Überblick über den Zustand und die Leistung auf Umgebungsebene bieten.

Cloud Composer bietet mehrere Messwerte, die den Gesamtstatus der Umgebung beschreiben. Die Monitoring-Richtlinien in dieser Anleitung basieren auf den Messwerten, die im Monitoring-Dashboard Ihrer Cloud Composer-Umgebung angezeigt werden.

In dieser Anleitung erfahren Sie mehr über die wichtigsten Messwerte, die als Hauptindikatoren für Probleme mit der Leistung und dem Zustand Ihrer Umgebung dienen. Außerdem erhalten Sie Richtlinien für die Interpretation der einzelnen Messwerte in Korrekturmaßnahmen, um den Zustand der Umgebung zu erhalten. Außerdem richten Sie Benachrichtigungsregeln für jeden Messwert ein, führen den Beispiel-DAG aus und verwenden diese Messwerte und Benachrichtigungen, um die Leistung Ihrer Umgebung zu optimieren.

Lernziele

Ziel:

• Hier erfahren Sie mehr über die wichtigsten Leistungs- und Zustandsmesswerte, die im Monitoring-Dashboard verfügbar sind.
• Informationen zu den Benchmarks für die einzelnen Messwerte
• Hier erfahren Sie, wie Sie die Messwerte in Korrekturmaßnahmen umsetzen.
• Erstellen Sie Benachrichtigungen für jeden der wichtigsten Messwerte.
• Beispiel-DAG ausführen
• Benachrichtigungen und Monitoring-Diagramme in Korrekturmaßnahmen umsetzen
• Optimieren Sie Ihre Umgebung und bewerten Sie die Leistung.

Kosten

In dieser Anleitung werden die folgenden kostenpflichtigen Komponenten von Google Cloudverwendet:

• Cloud Composer (siehe zusätzliche Kosten)
• Cloud Monitoring

Nach Abschluss dieser Anleitung können Sie weitere Kosten durch Löschen von erstellten Ressourcen vermeiden. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

In diesem Abschnitt werden die Schritte beschrieben, die Sie ausführen müssen, bevor Sie mit der Anleitung beginnen.

Projekt erstellen und konfigurieren

Für diese Anleitung benötigen Sie ein Google Cloud Projekt. Konfigurieren Sie das Projekt so:

1. Wählen Sie in der Google Cloud Console ein Projekt aus oder erstellen Sie ein Projekt.

   Zur Projektauswahl

2. Die Abrechnung für Ihr Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist

3. Der Google Cloud Nutzer Ihres Projekts muss die folgenden Rollen haben, um die erforderlichen Ressourcen zu erstellen:

   • Administrator für Umgebung und Storage-Objekte (roles/composer.environmentAndStorageObjectAdmin)
   • Compute-Administrator (roles/compute.admin)
   • Monitoring-Bearbeiter (roles/monitoring.editor)

Die APIs für Ihr Projekt aktivieren

Enable the Cloud Composer API.

Enable the API

Cloud Composer-Umgebung erstellen

Erstellen Sie eine Cloud Composer 2-Umgebung.

Im Rahmen dieses Verfahrens weisen Sie dem Konto des Composer-Dienst-Agents die Rolle Dienst-Agent-Erweiterung für die Cloud Composer v2 API (roles/composer.ServiceAgentV2Ext) zu. Cloud Composer verwendet dieses Konto, um Vorgänge in Ihrem Google Cloud Projekt auszuführen.

Wichtige Messwerte für den Zustand und die Leistung auf Umgebungsebene

In diesem Tutorial liegt der Schwerpunkt auf den wichtigsten Messwerten, die Ihnen einen guten Überblick über den allgemeinen Zustand und die Leistung Ihrer Umgebung geben können.

Das Monitoring-Dashboard in der Google Cloud Console enthält eine Vielzahl von Messwerten und Diagrammen, mit denen sich Trends in Ihrer Umgebung beobachten und Probleme mit Airflow-Komponenten und Cloud Composer-Ressourcen erkennen lassen.

Jede Cloud Composer-Umgebung hat ein eigenes Monitoring-Dashboard.

Machen Sie sich mit den folgenden wichtigen Messwerten vertraut und suchen Sie sie im Monitoring-Dashboard:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Monitoring auf.

4. Wählen Sie den Bereich Übersicht aus, suchen Sie auf dem Dashboard nach dem Element Umgebung – Übersicht und sehen Sie sich den Messwert Umgebungszustand (Airflow-Monitoring-DAG) an.

   • Diese Zeitachse zeigt den Zustand der Cloud Composer-Umgebung. Die grüne Farbe des Balkens für den Zustand der Umgebung gibt an, dass die Umgebung fehlerfrei ist. Ein roter Balken bedeutet, dass die Umgebung nicht fehlerfrei ist.

   • Alle paar Minuten führt Cloud Composer einen Aktivitäts-DAG namens airflow_monitoring aus. Wenn die Ausführung des DAG für die Dienstbereitschaft erfolgreich abgeschlossen wurde, lautet der Systemstatus True. Wenn die Ausführung des DAG für die Aktivität fehlschlägt (z. B. aufgrund der Entfernung eines Pods, der Beendigung eines externen Prozesses oder Wartungsarbeiten), lautet der Systemstatus False.

5. Wählen Sie den Bereich SQL-Datenbank aus, suchen Sie auf dem Dashboard nach dem Element Datenbankstatus und beobachten Sie den Messwert Datenbankstatus.

   • Diese Zeitachse zeigt den Status der Verbindung zur Cloud SQL-Instanz Ihrer Umgebung. Die grüne Leiste für den Datenbankstatus gibt Aufschluss über die Verbindung, während Verbindungsfehler rot angezeigt werden.

   • Der Airflow-Monitoring-Pod kontaktiert die Datenbank regelmäßig und meldet den Systemstatus als True, wenn eine Verbindung hergestellt werden kann. Andernfalls wird False ausgegeben.

6. Sehen Sie sich unter Datenbankstatus die Messwerte CPU-Auslastung der Datenbank und Arbeitsspeichernutzung der Datenbank an.

   • Im Diagramm „CPU-Nutzung der Datenbank“ sehen Sie die Nutzung der CPU-Kerne durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum gesamten verfügbaren CPU-Limit der Datenbank.

   • Im Diagramm „Nutzung des Datenbankspeichers“ sehen Sie die Speichernutzung durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum Gesamtlimit des verfügbaren Datenbankspeichers.

7. Wählen Sie den Bereich Planer aus, suchen Sie auf dem Dashboard nach dem Element Scheduler-Herzschlag und beobachten Sie den Messwert Scheduler-Herzschlag.

   • Diese Zeitachse zeigt den Zustand des Airflow-Planers. Suchen Sie nach roten Bereichen, um Probleme mit Airflow-Planern zu identifizieren. Wenn Ihre Umgebung mehr als einen Scheduler hat, ist der Herzschlagstatus in Ordnung, solange mindestens einer der Scheduler antwortet.

   • Der Scheduler gilt als nicht betriebsbereit, wenn der letzte Heartbeat vor mehr als 30 Sekunden (Standardwert) vor der aktuellen Zeit empfangen wurde.

8. Wählen Sie den Bereich DAG-Statistiken aus, suchen Sie auf dem Dashboard nach dem Element Zombie-Aufgaben gelöscht und beobachten Sie den Messwert Zombie-Aufgaben gelöscht.

   • In diesem Diagramm sehen Sie die Anzahl der Zombie-Aufgaben, die in einem kleinen Zeitfenster beendet wurden. Zombie-Aufgaben werden häufig durch die externe Beendigung von Airflow-Prozessen verursacht, z. B. wenn der Prozess einer Aufgabe beendet wird.

   • Der Airflow-Planer beendet Zombieaufgaben regelmäßig, was in diesem Diagramm angezeigt wird.

9. Wählen Sie den Bereich Worker aus, suchen Sie im Dashboard nach dem Element Neustarts von Worker-Containern und beobachten Sie den Messwert Neustarts von Worker-Containern.

   • Ein Diagramm zeigt die Gesamtzahl der Neustarts für einzelne Worker-Container. Zu viele Containerneustarts können sich auf die Verfügbarkeit Ihres Dienstes oder anderer Downstream-Dienste auswirken, die ihn als Abhängigkeit verwenden.

Hinweis: Sie können sich die einzelnen Messwerte genauer ansehen, indem Sie sie in Cloud Monitoring aufrufen.

Benchmarks und mögliche Korrekturmaßnahmen für wichtige Messwerte

Wichtig :Die Zeitachsenmesswerte geben Aufschluss über den Zustand einzelner Umgebungskomponenten. Rote Bereiche bedeuten jedoch nicht unbedingt, dass eine Komponente nicht betriebsbereit ist. Gelegentlich können kleinere rote Bereiche in der ansonsten grünen Zeitachse durch externe Faktoren wie Wartungsarbeiten im Cluster der Umgebung verursacht werden. Verwenden Sie die entsprechenden Monitoring-Diagramme und ‑Protokolle, um mögliche Gründe zu untersuchen, die Korrelation zwischen verschiedenen Messwerten zu analysieren und basierend auf den identifizierten Grundursachen Korrekturen vorzunehmen.

In der folgenden Liste werden Benchmarkwerte beschrieben, die auf Probleme hinweisen können, und es werden Korrekturmaßnahmen aufgeführt, die Sie ergreifen können, um diese Probleme zu beheben.

• Umgebungsstatus (Airflow-Monitoring-DAG)

  • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

  • Fehler können dazu führen, dass Pods entfernt oder Worker beendet werden, weil die Umgebung überlastet ist oder nicht richtig funktioniert. Rote Bereiche auf der Zeitachse der Umgebungsgesundheit stimmen in der Regel mit roten Bereichen in den anderen Statusbalken der einzelnen Umgebungskomponenten überein. Sehen Sie sich andere Messwerte im Monitoring-Dashboard an, um die Ursache zu ermitteln.

• Datenbankstatus

  • Eine Erfolgsquote von weniger als 95% über einen Zeitraum von 4 Stunden

  • Fehler bedeuten, dass es Probleme mit der Verbindung zur Airflow-Datenbank gibt. Dies kann auf einen Datenbankabsturz oder eine Ausfallzeit zurückzuführen sein, weil die Datenbank überlastet ist (z. B. aufgrund einer hohen CPU- oder Arbeitsspeichernutzung oder einer höheren Latenz beim Herstellen einer Verbindung zur Datenbank). Diese Symptome werden am häufigsten durch suboptimale DAGs verursacht, z. B. wenn in DAGs viele global definierte Airflow- oder Umgebungsvariablen verwendet werden. Sehen Sie sich die Messwerte zur Ressourcennutzung der SQL-Datenbank an, um die Ursache zu ermitteln. Sie können auch die Scheduler-Logs auf Fehler im Zusammenhang mit der Datenbankverbindung prüfen.

• CPU- und Arbeitsspeichernutzung der Datenbank

  • Eine durchschnittliche CPU- oder Arbeitsspeicherauslastung von über 80% innerhalb eines 12-stündigen Zeitraums

  • Die Datenbank ist möglicherweise überlastet. Analysieren Sie die Korrelation zwischen Ihren DAG-Ausführungen und Spitzen bei der CPU- oder Arbeitsspeichernutzung der Datenbank.

    • Sie können die Datenbanklast durch effizientere DAGs mit optimierten laufenden Abfragen und Verbindungen oder durch eine gleichmäßigere Verteilung der Last im Zeitverlauf reduzieren.

    • Alternativ können Sie der Datenbank mehr CPU oder Arbeitsspeicher zuweisen. Die Datenbankressourcen werden durch das Attribut für die Größe Ihrer Umgebung gesteuert. Die Umgebung muss auf eine größere Größe skaliert werden.

• Planer-Heartbeat

  • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

  • Weisen Sie dem Planer mehr Ressourcen zu oder erhöhen Sie die Anzahl der Planer von 1 auf 2 (empfohlen).

• Zombie-Aufgaben gelöscht

  • Mehr als eine Zombie-Aufgabe pro 24 Stunden

  • Der häufigste Grund für Zombie-Aufgaben ist ein Mangel an CPU- oder Arbeitsspeicherressourcen im Cluster Ihrer Umgebung. Sehen Sie sich die Grafiken zur Ressourcennutzung der Worker an und weisen Sie Ihren Workern mehr Ressourcen zu oder erhöhen Sie die Zeitüberschreitung für Zombie-Aufgaben, damit der Scheduler länger wartet, bevor eine Aufgabe als Zombie betrachtet wird.

• Neustarts von Worker-Containern

  • Mehr als ein Neustart pro 24 Stunden

  • Der häufigste Grund ist ein Mangel an Arbeitsspeicher oder Speicherplatz. Prüfen Sie den Ressourcenverbrauch der Worker und weisen Sie ihnen mehr Arbeitsspeicher oder Speicherplatz zu. Wenn der Mangel an Ressourcen nicht der Grund ist, lesen Sie den Hilfeartikel Fehlerbehebung bei Neustarts von Workern und verwenden Sie Logging-Abfragen, um die Gründe für die Neustarts zu ermitteln.

Benachrichtigungskanäle erstellen

Folgen Sie der Anleitung unter Benachrichtigungskanal erstellen, um einen E-Mail-Benachrichtigungskanal zu erstellen.

Hinweis: Aus Gründen der Redundanz empfehlen wir, mehrere Arten von Benachrichtigungskanälen zu erstellen. Sie können beispielsweise zusätzlich zu E-Mails einen Slack-Benachrichtigungskanal einrichten.

Weitere Informationen zu Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.

Benachrichtigungsrichtlinien erstellen

Erstellen Sie Benachrichtigungsrichtlinien basierend auf den Benchmarks in den vorherigen Abschnitten dieses Leitfadens, um die Werte von Messwerten kontinuierlich zu beobachten und Benachrichtigungen zu erhalten, wenn diese gegen eine Bedingung verstoßen.

Console

Sie können Benachrichtigungen für jeden Messwert im Monitoring-Dashboard einrichten, indem Sie auf das Glockensymbol in der Ecke des entsprechenden Elements klicken:

Abbildung 1: Benachrichtigung für einen Messwert erstellen, der im Monitoring-Dashboard angezeigt wird (zum Vergrößern anklicken)

1. Suchen Sie im Monitoring-Dashboard nach den Messwerten, die Sie beobachten möchten, und klicken Sie in der Ecke des Messwertelements auf das Glockensymbol. Die Seite Benachrichtigungsrichtlinie erstellen wird geöffnet.

   Wichtig :Messwertname, Umgebungsname und Standortfilter werden automatisch angewendet. Die Benachrichtigungsrichtlinien für einige Messwerte erfordern jedoch zusätzliche Filter und andere Messwertnamen. Prüfen Sie in den Konfigurationen der Benachrichtigungsrichtlinien für einzelne Messwerte in den Feldern „Filter“ und „Messwertname“, ob die richtigen Filter angewendet werden.

2. Gehen Sie im Bereich Daten transformieren so vor:

   1. Konfigurieren Sie den Abschnitt Innerhalb jeder Zeitachse wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

   2. Klicken Sie auf Weiter und konfigurieren Sie den Bereich Benachrichtigungstrigger konfigurieren wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

3. Klicken Sie auf Weiter.

4. Konfigurieren Sie die Benachrichtigungen. Maximieren Sie das Menü Benachrichtigungskanäle und wählen Sie die Benachrichtigungskanäle aus, die Sie im vorherigen Schritt erstellt haben.

5. Klicken Sie auf OK.

6. Geben Sie im Bereich Benachrichtigungsrichtlinie benennen im Feld Name der Benachrichtigungsrichtlinie einen Namen ein. Verwenden Sie für jeden Messwert einen beschreibenden Namen. Verwenden Sie den Wert „Name der Benachrichtigungsrichtlinie“, wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

7. Klicken Sie auf Weiter.

8. Prüfen Sie die Benachrichtigungsrichtlinie und klicken Sie auf Richtlinie erstellen.

Messwert „Umgebungszustand“ (Airflow-Monitoring-DAG) – Konfigurationen für Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Betriebsbereit
• API: composer.googleapis.com/environment/healthy

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: Benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunden
  • Funktion für rollierendes Zeitfenster: Anteil „true“

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Unter Grenzwert
  • Grenzwert: 90
  • Bedingungsname: Umgebungsstatus

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Nennen Sie die Benachrichtigungsrichtlinie „Airflow-Umgebungszustand“.

Messwert für den Datenbankstatus – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Datenbank in Ordnung
• API: composer.googleapis.com/environment/database_health

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: Benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunden
  • Funktion für rollierendes Zeitfenster: Anteil „true“

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Unter Grenzwert
  • Grenzwert: 95
  • Bedingungsname: Datenbankstatus

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Nennen Sie die Benachrichtigungsrichtlinie „Airflow-Datenbankstatus“

Messwert „CPU-Nutzung der Datenbank“ – Konfigurationen für Benachrichtigungsrichtlinien

Hinweis: Verwenden Sie beim Einrichten von Benachrichtigungen für die Messwerte „Datenbankspeichernutzung“ und „CPU-Nutzung der Datenbank“ zur Vereinfachung die Messwertnamen Datenbankspeichernutzung (composer.googleapis.com/environment/database/memory/utilization) und CPU-Nutzung der Datenbank (composer.googleapis.com/environment/database/cpu/utilization) anstelle der Standardmesswertnamen, mit denen die genutzten Bytes (composer.googleapis.com/environment/database/memory/bytes_used) und die genutzte Zeit (composer.googleapis.com/environment/database/cpu/usage_time) überwacht werden. Mit den Messwerten „Datenbankspeichernutzung“ und „CPU-Nutzung der Datenbank“ wird automatisch der Prozentsatz der genutzten CPU und des genutzten Arbeitsspeichers im Vergleich zu den verfügbaren CPU- und Arbeitsspeicherressourcen überwacht. So lassen sich unnötige Berechnungen bei der Konfiguration des Bedingungstriggers vermeiden.

• Messwertname: Cloud Composer-Umgebung – CPU-Auslastung der Datenbank
• API: composer.googleapis.com/environment/database/cpu/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: Benutzerdefiniert
  • Benutzerdefinierter Wert: 12
  • Benutzerdefinierte Einheiten: Stunden
  • Funktion für rollierendes Zeitfenster: Mittelwert

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Über dem Grenzwert
  • Grenzwert: 80
  • Bedingungsname: Bedingung für die CPU-Nutzung der Datenbank

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Geben Sie einen Namen für die Benachrichtigungsrichtlinie ein: CPU-Auslastung der Airflow-Datenbank

Messwert „CPU-Nutzung der Datenbank“ – Konfigurationen für Benachrichtigungsrichtlinien

Hinweis: Verwenden Sie beim Einrichten von Benachrichtigungen für die Messwerte „Datenbankspeichernutzung“ und „CPU-Nutzung der Datenbank“ zur Vereinfachung die Messwertnamen Datenbankspeichernutzung (composer.googleapis.com/environment/database/memory/utilization) und CPU-Nutzung der Datenbank (composer.googleapis.com/environment/database/cpu/utilization) anstelle der Standardmesswertnamen, mit denen die genutzten Bytes (composer.googleapis.com/environment/database/memory/bytes_used) und die genutzte Zeit (composer.googleapis.com/environment/database/cpu/usage_time) überwacht werden. Mit den Messwerten „Datenbankspeichernutzung“ und „CPU-Nutzung der Datenbank“ wird automatisch der Prozentsatz der genutzten CPU und des genutzten Arbeitsspeichers im Vergleich zu den verfügbaren CPU- und Arbeitsspeicherressourcen überwacht. So lassen sich unnötige Berechnungen bei der Konfiguration des Bedingungstriggers vermeiden.

• Messwertname: Cloud Composer-Umgebung – Datenbankspeicherauslastung
• API: composer.googleapis.com/environment/database/memory/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: Benutzerdefiniert
  • Benutzerdefinierter Wert: 12
  • Benutzerdefinierte Einheiten: Stunden
  • Funktion für rollierendes Zeitfenster: Mittelwert

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Über dem Grenzwert
  • Grenzwert: 80
  • Bedingungsname: Bedingung für die Arbeitsspeichernutzung der Datenbank

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Geben Sie einen Namen für die Benachrichtigungsrichtlinie ein: Airflow-Datenbankspeichernutzung

Messwert „Planer-Heartbeat“ – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Scheduler-Herzschläge
• API: composer.googleapis.com/environment/scheduler_heartbeat_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: Benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunden
  • Funktion für rollierendes Zeitfenster: Anzahl

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Unter Grenzwert

  • Grenzwert: 216

    Hinweis: Die durchschnittliche Anzahl der Scheduler-Herzschläge in einer inaktiven Umgebung beträgt 240.Eine Erfolgsquote von 90% über einen Zeitraum von 4 Stunden entspricht also 240 * 0, 9 =
    1. Sie können diese Zahl ermitteln, indem Sie im Abfrageeditor des Metrics Explorers eine Abfrage ausführen, die den Wert _scheduler_heartbeat_count_mean aggregiert.

  • Bedingungsname: Scheduler-Heartbeat-Bedingung

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Nennen Sie die Benachrichtigungsrichtlinie „Airflow Scheduler Heartbeat“.

Messwert „Zombie-Aufgaben gelöscht“ – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Zombie-Aufgaben gelöscht
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: 1 Tag
  • Funktion für rollierendes Zeitfenster: Summe

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Über dem Grenzwert
  • Grenzwert: 1
  • Bedingungsname: Bedingung für Zombie-Aufgaben

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Geben Sie einen Namen für die Benachrichtigungsrichtlinie ein: „Airflow-Zombie-Aufgaben“

Messwert „Neustarts von Worker-Containern“ – Konfigurationen für Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Zombie-Aufgaben gelöscht
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• „Daten transformieren“ > „Innerhalb jeder Zeitreihe“:

  • Rollierendes Zeitfenster: 1 Tag
  • Funktion für rollierendes Zeitfenster: Summe

• Benachrichtigungstrigger konfigurieren:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungstrigger: Bei jedem Verstoß
  • Grenzwertposition: Über dem Grenzwert
  • Grenzwert: 1
  • Bedingungsname: Bedingung für Zombie-Aufgaben

• Konfigurieren Sie Benachrichtigungen und schließen Sie die Benachrichtigung ab:

  • Geben Sie einen Namen für die Benachrichtigungsrichtlinie ein: „Airflow-Zombie-Aufgaben“

Terraform

Führen Sie ein Terraform-Script aus, mit dem ein E-Mail-Benachrichtigungskanal erstellt und Benachrichtigungsrichtlinien für die wichtigsten Messwerte in diesem Tutorial basierend auf ihren jeweiligen Benchmarks hochgeladen werden:

1. Speichern Sie die Beispiel-Terraform-Datei auf Ihrem lokalen Computer.

2. Ersetzen Sie Folgendes:

   • PROJECT_ID: die Projekt-ID Ihres Projekts. Beispiel: example-project
   • EMAIL_ADDRESS: die E-Mail-Adresse, an die eine Benachrichtigung gesendet werden soll, wenn eine Benachrichtigung ausgelöst wird.
   • ENVIRONMENT_NAME: Der Name Ihrer Cloud Composer-Umgebung. Beispiel: example-composer-environment.
   • CLUSTER_NAME: Der Name des Clusters Ihrer Umgebung. Sie finden ihn in der Google Cloud Console unter „Umgebungskonfiguration“ > „Ressourcen“ > „GKE-Cluster“.

resource "google_monitoring_notification_channel" "basic" {
  project      = "PROJECT_ID"
  display_name = "Test Notification Channel"
  type         = "email"
  labels = {
    email_address = "EMAIL_ADDRESS"
  }
  # force_delete = false
}

resource "google_monitoring_alert_policy" "environment_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Environment Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Environment health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/healthy\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.9
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }

}

resource "google_monitoring_alert_policy" "database_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database_health\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.95
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_cpu_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database CPU Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database CPU usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/cpu/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_memory_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Memory Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database memory usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/memory/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_scheduler_heartbeat" {
  project      = "PROJECT_ID"
  display_name = "Airflow Scheduler Heartbeat"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Scheduler heartbeat condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/scheduler_heartbeat_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 216 // Threshold is 90% of the average for composer.googleapis.com/environment/scheduler_heartbeat_count metric in an idle environment
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_COUNT"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_zombie_task" {
  project      = "PROJECT_ID"
  display_name = "Airflow Zombie Tasks"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Zombie tasks condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/zombie_task_killed_count\" AND  resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_SUM"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_worker_restarts" {
  project      = "PROJECT_ID"
  display_name = "Airflow Worker Restarts"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Worker container restarts condition"
    condition_threshold {
      filter     = "resource.type = \"k8s_container\" AND (resource.labels.cluster_name = \"CLUSTER_NAME\" AND resource.labels.container_name = monitoring.regex.full_match(\"airflow-worker|base\") AND resource.labels.pod_name = monitoring.regex.full_match(\"airflow-worker-.*|airflow-k8s-worker-.*\")) AND metric.type = \"kubernetes.io/container/restart_count\""

      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_RATE"
      }
    }
  }
}

Benachrichtigungsrichtlinien testen

In diesem Abschnitt wird beschrieben, wie Sie die erstellten Benachrichtigungsrichtlinien testen und die Ergebnisse auswerten.

Beispiel-DAG hochladen

Der in dieser Anleitung bereitgestellte Beispiel-DAG memory_consumption_dag.py simuliert eine intensive Arbeitsspeichernutzung durch Worker. Der DAG enthält vier Aufgaben, von denen jede Daten in einen Beispielstring schreibt und 380 MB Arbeitsspeicher belegt. Der Beispiel-DAG ist alle zwei Minuten geplant und wird automatisch ausgeführt, sobald Sie ihn in Ihre Composer-Umgebung hochgeladen haben.

Warnung: Löschen oder pausieren Sie diesen DAG nach Abschluss der Anleitung. Andernfalls kann Ihre Umgebung erhebliche Ressourcen beanspruchen, was zu zusätzlichen Kosten führen kann.

Laden Sie den folgenden Beispiel-DAG in die Umgebung hoch, die Sie in den vorherigen Schritten erstellt haben:

from datetime import datetime
import sys
import time

from airflow import DAG
from airflow.operators.python import PythonOperator


def ram_function():
    data = ""
    start = time.time()
    for i in range(38):
        data += "a" * 10 * 1000**2
        time.sleep(0.2)
        print(f"{i}, {round(time.time() - start, 4)}, {sys.getsizeof(data) / (1000 ** 3)}")
    print(f"Size={sys.getsizeof(data) / (1000 ** 3)}GB")
    time.sleep(30 - (time.time() - start))
    print(f"Complete in {round(time.time() - start, 2)} seconds!")


with DAG(
    dag_id="memory_consumption_dag",
    start_date=datetime(2023, 1, 1, 1, 1, 1),
    schedule="1/2 * * * *",
    catchup=False,
) as dag:
    for i in range(4):
        PythonOperator(
            task_id=f"task_{i+1}",
            python_callable=ram_function,
            retries=0,
            dag=dag,
        )

Benachrichtigungen und Messwerte in Monitoring auswerten

Warten Sie etwa 10 Minuten, nachdem der Beispiel-DAG gestartet wurde, und bewerten Sie die Testergebnisse:

1. Prüfen Sie, ob Sie eine E-Mail vonGoogle Cloud Alerting mit dem Betreff [ALERT] erhalten haben. Der Inhalt dieser Nachricht enthält die Details zum Richtlinienverstoß.

2. Klicken Sie in der E-Mail-Benachrichtigung auf die Schaltfläche Vorfall ansehen. Sie werden zum Metrics Explorer weitergeleitet. Prüfen Sie die Details des Benachrichtigungsfalls:

   

   Abbildung 2. Details zum Benachrichtigungsvorfall (zum Vergrößern klicken)

   Das Diagramm mit den Messwerten für Vorfälle zeigt, dass die von Ihnen erstellten Messwerte den Grenzwert 1 überschritten haben. Das bedeutet, dass Airflow mehr als einen Zombie-Task erkannt und beendet hat.

3. Rufen Sie in Ihrer Cloud Composer-Umgebung den Tab Monitoring auf, öffnen Sie den Bereich DAG-Statistiken und suchen Sie nach dem Diagramm Zombie-Aufgaben beendet:

   

   Abbildung 3. Diagramm zu Zombie-Aufgaben (zum Vergrößern klicken)

   Die Grafik zeigt, dass Airflow innerhalb der ersten 10 Minuten nach Ausführung des Beispiel-DAGs etwa 20 Zombie-Aufgaben beendet hat.

4. Laut den Benchmarks und Korrekturmaßnahmen ist der häufigste Grund für Zombie-Aufgaben ein Mangel an Arbeitsspeicher oder CPU. Ermitteln Sie die Grundursache von Zombie-Aufgaben, indem Sie die Ressourcennutzung Ihrer Worker analysieren.

   Öffnen Sie im Monitoring-Dashboard den Bereich „Worker“ und sehen Sie sich die Messwerte zur CPU- und Arbeitsspeichernutzung der Worker an:

   

   Abbildung 4: Messwerte zur CPU- und Speichernutzung von Workern (zum Vergrößern klicken)

   Das Diagramm „CPU-Auslastung der Worker insgesamt“ zeigt, dass die CPU-Auslastung der Worker zu keinem Zeitpunkt über 50% des insgesamt verfügbaren Limits lag. Die verfügbare CPU ist also ausreichend. Das Diagramm „Gesamte Arbeitsspeichernutzung der Worker“ zeigt, dass durch die Ausführung des Beispiel-DAG das Limit für den zuweisbaren Arbeitsspeicher erreicht wurde, was fast 75% des im Diagramm angezeigten Gesamtarbeitsspeicherlimits entspricht. GKE reserviert 25% der ersten 4 GiB Arbeitsspeicher und zusätzlich 100 MiB Arbeitsspeicher auf jedem Knoten, um die Pod-Bereinigung zu verarbeiten.

   Sie können daraus schließen, dass den Workern die Arbeitsspeicherressourcen fehlen, um den Beispiel-DAG erfolgreich auszuführen.

Umgebung optimieren und Leistung bewerten

Basierend auf der Analyse der Ressourcennutzung durch Worker müssen Sie Ihren Workern mehr Arbeitsspeicher zuweisen, damit alle Aufgaben in Ihrem DAG erfolgreich ausgeführt werden.

Hinweis :Wenn Sie die CPU oder den Arbeitsspeicher der Worker ändern, werden die Worker neu gestartet. Dies kann sich auf laufende Aufgaben auswirken. Wir empfehlen, dies zu tun, wenn keine DAGs ausgeführt werden.

1. Öffnen Sie in Ihrer Composer-Umgebung den Tab DAGs, klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf DAG pausieren.

2. Weisen Sie zusätzlichen Worker-Speicher zu:

   1. Klicken Sie auf dem Tab „Umgebungskonfiguration“ unter Ressourcen > Arbeitslasten auf Bearbeiten.

   2. Erhöhen Sie unter Worker das Limit für Arbeitsspeicher. In dieser Anleitung verwenden Sie 3,25 GB.

   3. Speichern Sie die Änderungen und warten Sie einige Minuten, bis der Worker neu gestartet wurde.

3. Öffnen Sie den Tab „DAGs“, klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf DAG fortsetzen.

Rufen Sie Monitoring auf und prüfen Sie, ob nach dem Aktualisieren der Limits für Worker-Ressourcen keine neuen Zombie-Aufgaben mehr angezeigt werden:

Abbildung 5. Grafik zu Zombie-Aufgaben nach Änderung des Speicherlimits (zum Vergrößern anklicken)

Hinweis: Es wird empfohlen, die Leistung der Umgebung über einen längeren Zeitraum zu beobachten. In einer Produktionsumgebung, in der Sie viele DAGs ausführen, empfehlen wir beispielsweise, nach 24 Stunden zu prüfen, ob keine neuen Benachrichtigungen vorhanden sind.

Zusammenfassung

In dieser Anleitung haben Sie die wichtigsten Gesundheits- und Leistungsmesswerte auf Umgebungsebene kennengelernt. Außerdem haben Sie erfahren, wie Sie Benachrichtigungsrichtlinien für jeden Messwert einrichten und wie Sie die einzelnen Messwerte in Korrekturmaßnahmen umsetzen. Anschließend haben Sie einen Beispiel-DAG ausgeführt, mithilfe von Benachrichtigungen und Monitoring-Diagrammen die Ursache für Probleme mit dem Umgebungsstatus ermittelt und Ihre Umgebung optimiert, indem Sie Ihren Workern mehr Arbeitsspeicher zugewiesen haben. Es wird jedoch empfohlen, Ihre DAGs zu optimieren, um den Ressourcenverbrauch der Worker von vornherein zu reduzieren, da die Ressourcen nicht über einen bestimmten Grenzwert hinaus erhöht werden können.

Bereinigen

Damit Ihrem Google Cloud -Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, können Sie entweder das Projekt löschen, das die Ressourcen enthält, oder das Projekt beibehalten und die einzelnen Ressourcen löschen.

Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Einzelne Ressourcen löschen

Wenn Sie mehrere Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Console

1. Löschen Sie die Cloud Composer-Umgebung. Außerdem wird dabei der Bucket der Umgebung gelöscht.
2. Löschen Sie alle Benachrichtigungsrichtlinien, die Sie in Cloud Monitoring erstellt haben.

Terraform

1. Achten Sie darauf, dass Ihr Terraform-Script keine Einträge für Ressourcen enthält, die für Ihr Projekt noch erforderlich sind. Beispielsweise können Sie einige APIs aktiviert und IAM-Berechtigungen weiterhin zuweisen lassen, wenn Sie Ihrem Terraform-Script entsprechende Definitionen hinzugefügt haben.
2. Führen Sie terraform destroy aus.
3. Löschen Sie den Bucket der Umgebung manuell. Cloud Composer löscht sie nicht automatisch. Sie können dies über die Google Cloud Console oder die Google Cloud CLI tun.

Nächste Schritte

• Umgebungen optimieren
• Umgebungen skalieren
• Umgebungslabels verwalten und Umgebungskosten aufschlüsseln