Zustand und Leistung der Umgebung mit wichtigen Messwerten im Monitoring-Dashboard überwachen

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird beschrieben, wie Sie den Gesamtzustand und die Leistung der Cloud Composer-Umgebung mithilfe wichtiger Messwerte im Monitoring-Dashboard überwachen.

Einführung

In dieser Anleitung geht es um die wichtigsten Monitoring-Messwerte von Cloud Composer, die einen guten Überblick über Zustand und Leistung auf Umgebungsebene geben.

Cloud Composer bietet mehrere Messwerte, die den Gesamtzustand der Umgebung beschreiben. Die Monitoring-Richtlinien in dieser Anleitung basieren auf den im Monitoring-Dashboard Ihrer Cloud Composer-Umgebung bereitgestellten Messwerten.

In dieser Anleitung lernen Sie die wichtigsten Messwerte kennen, die als primäre Indikatoren für Probleme mit der Leistung und dem Zustand Ihrer Umgebung dienen, sowie die Richtlinien zur Interpretation der einzelnen Messwerte in Korrekturmaßnahmen, um die intakte Umgebung zu erhalten. Außerdem richten Sie für jeden Messwert Benachrichtigungsregeln ein, führen den Beispiel-DAG aus und verwenden diese Messwerte und Benachrichtigungen, um die Leistung Ihrer Umgebung zu optimieren.

Lernziele

Ziel:

• Lernen Sie die wichtigsten Leistungs- und Zustandsmesswerte kennen, die im Monitoring-Dashboard verfügbar sind.
• Sehen Sie sich die Benchmarks für jeden Messwert an.
• Hier erfahren Sie, wie Sie die Messwerte in Korrekturmaßnahmen interpretieren können.
• Erstellen Sie Benachrichtigungen für die einzelnen wichtigen Messwerte.
• Führen Sie einen Beispiel-DAG aus.
• Interpretieren Sie Benachrichtigungen und Monitoring-Diagramme in Korrekturmaßnahmen.
• Optimieren Sie Ihre Umgebung und bewerten Sie ihre Leistung.

Kosten

In dieser Anleitung werden die folgenden kostenpflichtigen Komponenten von Google Cloud verwendet:

• Cloud Composer (siehe zusätzliche Kosten)
• Cloud Monitoring

Nach Abschluss dieser Anleitung können Sie weitere Kosten durch Löschen von erstellten Ressourcen vermeiden. Weitere Informationen finden Sie im Hilfeartikel Bereinigen.

Hinweise

In diesem Abschnitt werden Aktionen beschrieben, die vor dem Start der Anleitung erforderlich sind.

Projekt erstellen und konfigurieren

Für diese Anleitung benötigen Sie ein Google Cloud-Projekt. Konfigurieren Sie das Projekt so:

1. Wählen Sie ein Projekt in der Google Cloud Console aus oder erstellen Sie eines:

   Zur Projektauswahl

2. Die Abrechnung für Ihr Projekt muss aktiviert sein. Hier erfahren Sie, wie Sie prüfen, ob die Abrechnung für ein Projekt aktiviert ist.

3. Achten Sie darauf, dass der Nutzer Ihres Google Cloud-Projekts die folgenden Rollen hat, um die erforderlichen Ressourcen zu erstellen:

   • Administrator für Umgebungen und Storage-Objekte (roles/composer.environmentAndStorageObjectAdmin)
   • Compute-Administrator (roles/compute.admin)
   • Monitoring-Bearbeiter (roles/monitoring.editor)

Die APIs für Ihr Projekt aktivieren

Cloud Composer API aktivieren.

Aktivieren Sie die API

Cloud Composer-Umgebung erstellen

Erstellen Sie eine Cloud Composer 2-Umgebung.

Im Rahmen dieses Verfahrens gewähren Sie dem Composer-Dienst-Agent-Konto die Rolle Dienst-Agent-Erweiterung für die Cloud Composer v2 API (roles/composer.ServiceAgentV2Ext). Cloud Composer verwendet dieses Konto, um Vorgänge in Ihrem Google Cloud-Projekt auszuführen.

Wichtige Messwerte für Zustand und Leistung auf Umgebungsebene untersuchen

In dieser Anleitung geht es um die wichtigsten Messwerte, die Ihnen einen guten Überblick über den Gesamtzustand und die Leistung Ihrer Umgebung geben.

Das Monitoring-Dashboard in der Google Cloud Console enthält eine Vielzahl von Messwerten und Diagrammen, mit denen Sie Trends in Ihrer Umgebung beobachten und Probleme mit Airflow-Komponenten und Cloud Composer-Ressourcen erkennen können.

Jede Cloud Composer-Umgebung hat ein eigenes Monitoring-Dashboard.

Machen Sie sich mit den folgenden wichtigen Messwerten vertraut und suchen Sie die einzelnen Messwerte im Monitoring-Dashboard:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen“

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Monitoring auf.

4. Wählen Sie den Abschnitt Übersicht aus, suchen Sie im Dashboard nach dem Element Umgebungsübersicht und beobachten Sie den Messwert Umgebungsstatus (Airflow-Monitoring-DAG).

   • Diese Zeitachse zeigt den Zustand der Cloud Composer-Umgebung. Die grüne Farbe der Statusleiste der Umgebung gibt an, dass die Umgebung fehlerfrei ist. Der Status der nicht fehlerfreien Umgebung wird rot dargestellt.

   • Alle paar Minuten führt Cloud Composer einen Aktivitäts-DAG mit dem Namen airflow_monitoring aus. Wenn die Ausführung des Aktivitäts-DAG erfolgreich abgeschlossen wurde, lautet der Systemstatus True. Wenn die Ausführung des Aktivitäts-DAG fehlschlägt (z. B. aufgrund einer Pod-Bereinigung, einer externen Prozessbeendigung oder einer Wartung), lautet der Systemstatus False.

5. Wählen Sie den Bereich SQL-Datenbank aus, suchen Sie im Dashboard nach dem Element Datenbankzustand und beobachten Sie den Messwert Datenbankzustand.

   • Diese Zeitachse zeigt den Status der Verbindung zur Cloud SQL-Instanz Ihrer Umgebung. Die grüne Datenbankstatusleiste zeigt die Verbindung an, während Fehler beim Herstellen einer Verbindung rot dargestellt werden.

   • Der Airflow-Monitoring-Pod sendet regelmäßig Pings an die Datenbank und meldet den Systemstatus als True, wenn eine Verbindung hergestellt werden kann, oder als False, wenn nicht.

6. Beobachten Sie im Element Datenbankzustand die Messwerte CPU-Auslastung der Datenbank und Arbeitsspeichernutzung der Datenbank.

   • Das Diagramm zur CPU-Nutzung der Datenbank zeigt die Nutzung von CPU-Kernen durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum insgesamt verfügbaren CPU-Limit für die Datenbank.

   • Das Diagramm zur Arbeitsspeichernutzung der Datenbank zeigt die Nutzung des Arbeitsspeichers durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum insgesamt verfügbaren Arbeitsspeicherlimit für die Datenbank an.

7. Wählen Sie den Abschnitt Planer aus, suchen Sie im Dashboard nach dem Element Scheduler Heartbeat und beobachten Sie den Messwert Scheduler Heartbeat.

   • Diese Zeitachse zeigt den Status des Airflow-Planers. Suchen Sie nach roten Bereichen, um Probleme mit Airflow-Planern zu identifizieren. Wenn Ihre Umgebung mehr als einen Planer hat, ist der Heartbeat-Status „Fehlerfrei“, solange mindestens einer der Planer reagiert.

   • Der Planer gilt als fehlerhaft, wenn der letzte Heartbeat mehr als 30 Sekunden (Standardwert) vor der aktuellen Uhrzeit empfangen wurde.

8. Wählen Sie den Bereich DAG-Statistiken aus, suchen Sie im Dashboard das Element Zombietasks killed und beobachten Sie den Messwert Zombietasks killed.

   • Dieses Diagramm zeigt die Anzahl der Zombie-Aufgaben, die in einem kurzen Zeitfenster beendet wurden. Zombieaufgaben werden häufig durch die externe Beendigung von Airflow-Prozessen verursacht, z. B. wenn der Prozess einer Aufgabe beendet wird.

   • Der Airflow-Planer beendet Zombie-Aufgaben regelmäßig, was in diesem Diagramm dargestellt wird.

9. Wählen Sie den Abschnitt Worker aus, suchen Sie im Dashboard nach dem Element Worker-Container-Neustarts und beobachten Sie den Messwert Worker-Containerneustarts.

   • Eine Grafik zeigt die Gesamtzahl der Neustarts für einzelne Worker-Container. Zu viele Containerneustarts können die Verfügbarkeit Ihres Dienstes oder anderer nachgelagerter Dienste beeinträchtigen, die ihn als Abhängigkeit verwenden.

Hinweis :Sie können sich die einzelnen Messwerte in Cloud Monitoring ansehen.

Benchmarks und mögliche Korrekturmaßnahmen für wichtige Messwerte kennenlernen

Wichtig: Die Zeitachsenmesswerte bieten einen Überblick über den Zustand einzelner Umgebungskomponenten. Rote Bereiche deuten jedoch nicht unbedingt darauf hin, dass eine Komponente fehlerhaft ist. Manchmal können kleinere rote Bereiche in der gesamten grünen Zeitachse durch externe Faktoren wie Wartungsvorgänge im Cluster der Umgebung verursacht werden. Verwenden Sie die entsprechenden Monitoring-Diagramme und -Logs, um potenzielle Gründe zu untersuchen, die Korrelation zwischen verschiedenen Messwerten zu analysieren und Korrekturen basierend auf den identifizierten Ursachen vorzunehmen.

In der folgenden Liste werden Benchmarkwerte beschrieben, die auf Probleme hinweisen können, sowie Korrekturmaßnahmen, die Sie ergreifen können, um diese Probleme zu beheben.

• Umgebungsstatus (Airflow-Monitoring-DAG)

  • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

  • Ausfälle können Pod-Bereinigungen oder die Beendigung von Workern bedeuten, da die Umgebung überlastet ist oder Fehler auftreten. Rote Bereiche auf der Zeitachse des Umgebungszustands korrelieren in der Regel mit roten Bereichen in den anderen Statusbalken der einzelnen Umgebungskomponenten. Ermitteln Sie die Ursache anhand anderer Messwerte im Monitoring-Dashboard.

• Datenbankstatus

  • Eine Erfolgsquote von weniger als 95% über einen Zeitraum von 4 Stunden

  • Fehler bedeuten, dass es Probleme mit der Verbindung zur Airflow-Datenbank gibt. Diese können durch einen Absturz oder eine Ausfallzeit der Datenbank verursacht werden, da die Datenbank überlastet ist (z. B. aufgrund einer hohen CPU- oder Arbeitsspeichernutzung oder einer höheren Latenz beim Herstellen einer Verbindung zur Datenbank). Diese Symptome werden meistens durch suboptimale DAGs verursacht, z. B. wenn DAGs viele global definierte Airflow- oder Umgebungsvariablen verwenden. Ermitteln Sie die Ursache anhand der Nutzungsmesswerte der SQL-Datenbankressourcen. Sie können die Planerlogs auch auf Fehler im Zusammenhang mit der Datenbankverbindung prüfen.

• CPU- und Arbeitsspeichernutzung der Datenbank

  • Mehr als 80% der durchschnittlichen CPU- oder Arbeitsspeichernutzung innerhalb von 12 Stunden

  • Die Datenbank ist möglicherweise überlastet. Analysieren Sie die Korrelation zwischen Ihren DAG-Ausführungen und Spitzen in der CPU- oder Arbeitsspeichernutzung der Datenbank.

    • Sie können die Datenbanklast durch effizientere DAGs mit optimierten laufenden Abfragen und Verbindungen reduzieren oder die Last gleichmäßiger über die Zeit verteilen.

    • Alternativ können Sie der Datenbank mehr CPU oder Arbeitsspeicher zuweisen. Datenbankressourcen werden durch die Eigenschaft der Umgebungsgröße gesteuert und die Umgebung muss auf eine größere Größe skaliert werden.

• Planer-Heartbeat

  • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

  • Weisen Sie dem Planer weitere Ressourcen zu oder erhöhen Sie die Anzahl der Planer von 1 auf 2 (empfohlen).

• Zombie-Aufgaben gelöscht

  • Mehr als eine Zombie-Aufgabe pro 24 Stunden

  • Der häufigste Grund für Zombie-Aufgaben ist der Mangel an CPU- oder Speicherressourcen im Cluster Ihrer Umgebung. Sehen Sie sich die Diagramme zur Nutzung von Worker-Ressourcen an und weisen Sie Ihren Workern weitere Ressourcen zu oder erhöhen Sie das Zeitlimit für Zombie-Aufgaben, damit der Planer länger wartet, bevor er eine Aufgabe als Zombie betrachtet.

• Neustarts von Worker-Containern

  • Mehr als ein Neustart innerhalb von 24 Stunden

  • Der häufigste Grund ist ein fehlender Worker-Arbeitsspeicher oder -Speicher. Prüfen Sie den Verbrauch der Worker-Ressourcen und weisen Sie Ihren Workern mehr Arbeitsspeicher oder Speicher zu. Wenn der Mangel an Ressourcen nicht der Grund ist, lesen Sie die Fehlerbehebung bei Worker-Neustarts und verwenden Sie Logging-Abfragen, um die Gründe für Worker-Neustarts zu ermitteln.

Benachrichtigungskanäle erstellen

Folgen Sie der Anleitung unter Benachrichtigungskanal erstellen, um einen E-Mail-Benachrichtigungskanal zu erstellen.

Hinweis: Aus Gründen der Redundanz empfehlen wir, mehrere Typen von Benachrichtigungskanälen zu erstellen. Beispielsweise können Sie zusätzlich zu E-Mails einen Slack-Benachrichtigungskanal einrichten.

Weitere Informationen zu Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.

Benachrichtigungsrichtlinien erstellen

Erstellen Sie Benachrichtigungsrichtlinien basierend auf den Benchmarks in den vorherigen Abschnitten dieser Anleitung, um die Messwerte kontinuierlich zu überwachen und Benachrichtigungen zu erhalten, wenn diese gegen eine Bedingung verstoßen.

Console

Sie können für jeden im Monitoring-Dashboard angezeigten Messwert Benachrichtigungen einrichten, indem Sie auf das Glockensymbol in der Ecke des entsprechenden Elements klicken:

Abbildung 1. Benachrichtigung für einen Messwert erstellen, der im Monitoring-Dashboard angezeigt wird (zum Vergrößern klicken)

1. Suchen Sie im Monitoring-Dashboard nach jedem Messwert, den Sie überwachen möchten, und klicken Sie auf das Glockensymbol in der Ecke des Messwertelements. Die Seite Benachrichtigungsrichtlinie erstellen wird geöffnet.

   Wichtig: Filter für Messwertname, Umgebungsname und Standort werden automatisch angewendet. Die Benachrichtigungsrichtlinien für einige Messwerte erfordern jedoch zusätzliche Filter und andere Messwertnamen. Sehen Sie sich die Felder "Filter" und "Messwertname" in den Konfigurationen der Benachrichtigungsrichtlinien für einzelne Messwerte an, um zu überprüfen, ob die richtigen Filter angewendet werden.

2. Gehen Sie im Abschnitt Daten transformieren so vor:

   1. Konfigurieren Sie den Abschnitt In jeder Zeitachse wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

   2. Klicken Sie auf Weiter und konfigurieren Sie den Abschnitt Trigger für Benachrichtigungen konfigurieren, wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

3. Klicken Sie auf Next (Weiter).

4. Konfigurieren Sie die Benachrichtigungen. Maximieren Sie das Menü Benachrichtigungskanäle und wählen Sie die Benachrichtigungskanäle aus, die Sie im vorherigen Schritt erstellt haben.

5. Klicken Sie auf OK.

6. Füllen Sie im Abschnitt Benachrichtigungsrichtlinie benennen das Feld Name der Benachrichtigungsrichtlinie aus. Verwenden Sie für jeden Messwert einen aussagekräftigen Namen. Verwenden Sie den Wert "Benachrichtigungsrichtlinie benennen", wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

7. Klicken Sie auf Next (Weiter).

8. Überprüfen Sie die Benachrichtigungsrichtlinie und klicken Sie auf Richtlinie erstellen.

Messwert für den Umgebungsstatus (Airflow-Monitoring-DAG) – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – fehlerfrei
• API: composer.googleapis.com/environment/healthy

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunde(n)
  • Funktion für rollierendes Fenster: Bruch wahr

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: unter Grenzwert
  • Grenzwert: 90
  • Bedingungsname: Umgebungszustand

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow Environment Health

Messwert zum Datenbankzustand – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Datenbankfehler
• API: composer.googleapis.com/environment/database_health

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunde(n)
  • Funktion für rollierendes Fenster: Bruch wahr

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: unter Grenzwert
  • Grenzwert: 95
  • Bedingungsname: Datenbankzustand

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Datenbankzustand

Messwert zur CPU-Nutzung der Datenbank – Konfigurationen von Benachrichtigungsrichtlinien

Hinweis: Der Einfachheit halber sollten Sie beim Einrichten von Benachrichtigungen für die Messwerte „Datenbankarbeitsspeicherauslastung“ und „CPU-Auslastung“ die Messwertnamen Datenbankarbeitsspeicherauslastung (composer.googleapis.com/environment/database/memory/utilization) und CPU-Auslastung der Datenbank (composer.googleapis.com/environment/database/cpu/utilization) anstelle der Standardmesswertnamen verwenden, die die genutzten Byte (composer.googleapis.com/environment/database/memory/bytes_used) und die Nutzungszeit (composer.googleapis.com/environment/database/cpu/usage_time) überwachen. Mit den Messwerten „Datenbankarbeitsspeicher- und CPU-Auslastung“ wird der Prozentsatz der genutzten gegenüber der verfügbaren CPU- und Arbeitsspeicherberechnung überwacht. So lässt sich die unnötige Konfiguration vermeiden.

• Messwertname: Cloud Composer-Umgebung – CPU-Auslastung der Datenbank
• API: composer.googleapis.com/environment/database/cpu/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: benutzerdefiniert
  • Benutzerdefinierter Wert: 12
  • Benutzerdefinierte Einheiten: Stunde(n)
  • Funktion für rollierendes Zeitfenster: Mittelwert

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: über Grenzwert
  • Grenzwert: 80
  • Bedingungsname: Bedingung für die CPU-Nutzung der Datenbank

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Datenbank-CPU-Nutzung

Messwert zur CPU-Nutzung der Datenbank – Konfigurationen von Benachrichtigungsrichtlinien

Hinweis: Der Einfachheit halber sollten Sie beim Einrichten von Benachrichtigungen für die Messwerte „Datenbankarbeitsspeicherauslastung“ und „CPU-Auslastung“ die Messwertnamen Datenbankarbeitsspeicherauslastung (composer.googleapis.com/environment/database/memory/utilization) und CPU-Auslastung der Datenbank (composer.googleapis.com/environment/database/cpu/utilization) anstelle der Standardmesswertnamen verwenden, die die genutzten Byte (composer.googleapis.com/environment/database/memory/bytes_used) und die Nutzungszeit (composer.googleapis.com/environment/database/cpu/usage_time) überwachen. Mit den Messwerten „Datenbankarbeitsspeicher- und CPU-Auslastung“ wird der Prozentsatz der genutzten gegenüber der verfügbaren CPU- und Arbeitsspeicherberechnung überwacht. So lässt sich die unnötige Konfiguration vermeiden.

• Messwertname: Cloud Composer-Umgebung – Arbeitsspeicherauslastung der Datenbank
• API: composer.googleapis.com/environment/database/memory/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: benutzerdefiniert
  • Benutzerdefinierter Wert: 12
  • Benutzerdefinierte Einheiten: Stunde(n)
  • Funktion für rollierendes Zeitfenster: Mittelwert

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: über Grenzwert
  • Grenzwert: 80
  • Bedingungsname: Bedingung für Datenbank-Arbeitsspeichernutzung

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: „Speichernutzung der Airflow-Datenbank“

Messwert des Planers für Heartbeats – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer-Umgebung – Planer-Heartbeats
• API: composer.googleapis.com/environment/scheduler_heartbeat_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: benutzerdefiniert
  • Benutzerdefinierter Wert: 4
  • Benutzerdefinierte Einheiten: Stunde(n)
  • Funktion für rollierendes Zeitfenster: Anzahl

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: unter Grenzwert

  • Grenzwert: 216

    Hinweis: Die durchschnittliche Anzahl der Planer-Heartbeats in einer inaktiven Umgebung beträgt 240, sodass eine Erfolgsquote von 90% über ein 4-Stunden-Fenster 240 * 0,9 =
    entspricht.
    1. Sie erhalten diese Zahl, indem Sie im Metrics Explorer-Abfrageeditor eine Abfrage ausführen, mit der der Wert _scheduler_heartbeat_count_mean aggregiert wird.

    1. Bedingungsname: Planer-Heartbeat-Bedingung

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Planer-Heartbeat

Messwert für beendete Zombie-Aufgaben – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer Environment – Zombie Tasks Killed
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: 1 Tag
  • Funktion für rollierendes Zeitfenster: Summe

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: über Grenzwert
  • Grenzwert: 1
  • Bedingungsname: Bedingung für Zombieaufgaben

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Zombie-Tasks

Messwert für Neustarts von Worker-Containern – Konfigurationen von Benachrichtigungsrichtlinien

• Messwertname: Cloud Composer Environment – Zombie Tasks Killed
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Daten transformieren > Innerhalb jeder Zeitreihe:

  • Rollierendes Zeitfenster: 1 Tag
  • Funktion für rollierendes Zeitfenster: Summe

• Konfigurieren Sie den Benachrichtigungsauslöser:

  • Bedingungstypen: Schwellenwert
  • Benachrichtigungsauslöser: Jede Zeitachse verstößt gegen
  • Grenzwertposition: über Grenzwert
  • Grenzwert: 1
  • Bedingungsname: Bedingung für Zombieaufgaben

• Benachrichtigungen konfigurieren und Benachrichtigung abschließen:

  • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Zombie-Tasks

Terraform

Führen Sie ein Terraform-Skript aus, das einen E-Mail-Benachrichtigungskanal erstellt und Benachrichtigungsrichtlinien für die in dieser Anleitung bereitgestellten wichtigen Messwerte auf der Grundlage ihrer jeweiligen Benchmarks hochlädt:

1. Speichern Sie die Terraform-Beispieldatei auf Ihrem lokalen Computer.

2. Ersetzen Sie Folgendes:

   • PROJECT_ID: die Projekt-ID Ihres Projekts Beispiel: example-project
   • EMAIL_ADDRESS: die E-Mail-Adresse, die benachrichtigt werden muss, wenn eine Benachrichtigung ausgelöst wird.
   • ENVIRONMENT_NAME: Name Ihrer Cloud Composer-Umgebung. Beispiel: example-composer-environment.
   • CLUSTER_NAME: der Name Ihres Umgebungsclusters, der in der Google Cloud Console unter Umgebungskonfiguration > Ressourcen > GKE-Cluster zu finden ist.

resource "google_monitoring_notification_channel" "basic" {
  project      = "PROJECT_ID"
  display_name = "Test Notification Channel"
  type         = "email"
  labels = {
    email_address = "EMAIL_ADDRESS"
  }
  # force_delete = false
}

resource "google_monitoring_alert_policy" "environment_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Environment Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Environment health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/healthy\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.9
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }

}

resource "google_monitoring_alert_policy" "database_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database_health\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.95
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_cpu_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database CPU Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database CPU usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/cpu/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_memory_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Memory Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database memory usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/memory/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_scheduler_heartbeat" {
  project      = "PROJECT_ID"
  display_name = "Airflow Scheduler Heartbeat"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Scheduler heartbeat condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/scheduler_heartbeat_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 216 // Threshold is 90% of the average for composer.googleapis.com/environment/scheduler_heartbeat_count metric in an idle environment
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_COUNT"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_zombie_task" {
  project      = "PROJECT_ID"
  display_name = "Airflow Zombie Tasks"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Zombie tasks condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/zombie_task_killed_count\" AND  resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_SUM"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_worker_restarts" {
  project      = "PROJECT_ID"
  display_name = "Airflow Worker Restarts"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Worker container restarts condition"
    condition_threshold {
      filter     = "resource.type = \"k8s_container\" AND (resource.labels.cluster_name = \"CLUSTER_NAME\" AND resource.labels.container_name = monitoring.regex.full_match(\"airflow-worker|base\") AND resource.labels.pod_name = monitoring.regex.full_match(\"airflow-worker-.*|airflow-k8s-worker-.*\")) AND metric.type = \"kubernetes.io/container/restart_count\""

      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_RATE"
      }
    }
  }
}

Benachrichtigungsrichtlinien testen

In diesem Abschnitt wird beschrieben, wie Sie die erstellten Benachrichtigungsrichtlinien testen und die Ergebnisse interpretieren.

Beispiel-DAG hochladen

Der in dieser Anleitung bereitgestellte Beispiel-DAG memory_consumption_dag.py imitiert die intensive Worker-Arbeitsspeicherauslastung. Der DAG enthält vier Aufgaben. Jede Aufgabe schreibt Daten in einen Beispielstring und beansprucht dabei 380 MB Arbeitsspeicher. Der Beispiel-DAG wird planmäßig alle 2 Minuten ausgeführt und beginnt automatisch, sobald Sie ihn in Ihre Composer-Umgebung hochladen.

Warnung: Löschen oder pausieren Sie diesen DAG nach Abschluss der Anleitung. Andernfalls kann Ihre Umgebung eine erhebliche Menge an Ressourcen verbrauchen, was zusätzliche Kosten verursachen kann.

Laden Sie den folgenden Beispiel-DAG in die Umgebung hoch, die Sie in den vorherigen Schritten erstellt haben:

from datetime import datetime
import sys
import time

from airflow import DAG
from airflow.operators.python import PythonOperator

def ram_function():
    data = ""
    start = time.time()
    for i in range(38):
        data += "a" * 10 * 1000**2
        time.sleep(0.2)
        print(f"{i}, {round(time.time() - start, 4)}, {sys.getsizeof(data) / (1000 ** 3)}")
    print(f"Size={sys.getsizeof(data) / (1000 ** 3)}GB")
    time.sleep(30 - (time.time() - start))
    print(f"Complete in {round(time.time() - start, 2)} seconds!")

with DAG(
    dag_id="memory_consumption_dag",
    start_date=datetime(2023, 1, 1, 1, 1, 1),
    schedule="1/2 * * * *",
    catchup=False,
) as dag:
    for i in range(4):
        PythonOperator(
            task_id=f"task_{i+1}",
            python_callable=ram_function,
            retries=0,
            dag=dag,
        )

Benachrichtigungen und Messwerte in Monitoring interpretieren

Warten Sie etwa 10 Minuten, nachdem der Beispiel-DAG gestartet wurde, und werten Sie die Testergebnisse aus:

1. Sehen Sie in Ihrem E-Mail-Postfach nach, ob Sie eine Benachrichtigung von Google Cloud-Benachrichtigungen mit der Betreffzeile erhalten haben, die mit [ALERT] beginnt. Der Inhalt dieser Nachricht enthält die Details zu den Vorfällen der Benachrichtigungsrichtlinie.

2. Klicken Sie in der E-Mail-Benachrichtigung auf die Schaltfläche Vorfall ansehen. Sie werden zum Metrics Explorer weitergeleitet. Überprüfen Sie die Details des Benachrichtigungsvorfalls:

   

   Abbildung 2: Details zum Benachrichtigungsvorfall (zum Vergrößern klicken)

   Das Diagramm mit den Vorfallsmesswerten zeigt an, dass die von Ihnen erstellten Messwerte den Grenzwert von 1 überschritten haben. Das bedeutet, dass Airflow mehr als 1 Zombie-Aufgabe erkannt und beendet hat.

3. Wechseln Sie in der Cloud Composer-Umgebung zum Tab Monitoring, öffnen Sie den Abschnitt DAG-Statistiken und suchen Sie das Diagramm Zombie-Aufgaben entfernt:

   

   Abbildung 3: Grafik der Zombieaufgaben (zum Vergrößern klicken)

   Das Diagramm zeigt, dass Airflow innerhalb der ersten 10 Minuten nach der Ausführung des Beispiel-DAG etwa 20 Zombieaufgaben beendet hat.

4. Laut Benchmarks und Korrekturmaßnahmen ist der häufigste Grund für Zombie-Aufgaben der Mangel an Worker-Arbeitsspeicher oder CPU. Analysieren Sie die Nutzung Ihrer Worker-Ressourcen, um die Ursache von Zombie-Aufgaben zu ermitteln.

   Öffnen Sie den Abschnitt „Worker“ in Ihrem Monitoring-Dashboard und prüfen Sie die Messwerte zur CPU- und Arbeitsspeichernutzung der Worker:

   

   Abbildung 4: CPU- und Arbeitsspeichernutzungsmesswerte für Worker (zum Vergrößern klicken)

   Das Diagramm zur CPU-Nutzung insgesamt der Worker zeigt an, dass die CPU-Auslastung der Worker jederzeit unter 50% des insgesamt verfügbaren Limits lag. Die verfügbare CPU-Kapazität reicht daher aus. Das Diagramm zur Arbeitsspeichernutzung der Worker insgesamt zeigt, dass beim Ausführen des Beispiel-DAG das Limit für zuweisbare Arbeitsspeicher erreicht wurde, das nahezu 75% des gesamten Arbeitsspeicherlimits in der Grafik entspricht (GKE reserviert 25% der ersten 4 GiB Arbeitsspeicher und zusätzliche 100 MiB Arbeitsspeicher auf jedem Knoten für die Pod-Bereinigung).

   Daraus lässt sich schließen, dass den Workern nicht die Arbeitsspeicherressourcen zum Ausführen des Beispiel-DAG fehlen.

Umgebung optimieren und Leistung bewerten

Nach der Analyse der Auslastung von Worker-Ressourcen müssen Sie Ihren Workern mehr Arbeitsspeicher zuweisen, damit alle Aufgaben in Ihrem DAG erfolgreich sind.

Hinweis: Wenn Sie die CPU oder den Arbeitsspeicher der Worker ändern, werden die Worker neu gestartet, was sich auf laufende Aufgaben auswirken kann. Wir empfehlen dies, wenn keine DAGs ausgeführt werden.

1. Öffnen Sie in Ihrer Composer-Umgebung den Tab DAGs, klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf DAG pausieren.

2. Weisen Sie zusätzlichen Worker-Arbeitsspeicher zu:

   1. Suchen Sie auf dem Tab für die Umgebungskonfiguration die Konfiguration Ressourcen > Arbeitslasten und klicken Sie auf Bearbeiten.

   2. Erhöhen Sie im Worker-Element das Arbeitsspeicher-Limit. Verwenden Sie für diese Anleitung 3,25 GB.

   3. Speichern Sie die Änderungen und warten Sie einige Minuten, bis der Worker neu gestartet wird.

3. Öffnen Sie den Tab „DAGs“, klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf Pausieren des DAG aufheben.

Rufen Sie Monitoring auf und prüfen Sie, ob nach der Aktualisierung Ihrer Worker-Ressourcenlimits keine neuen Zombieaufgaben angezeigt wurden:

Abbildung 5: Grafik der Zombieaufgaben nach Änderung des Arbeitsspeicherlimits (zum Vergrößern klicken)

Hinweis: Es wird empfohlen, die Umgebungsleistung über einen längeren Zeitraum zu beobachten. Beispielsweise sollten Sie in einer Produktionsumgebung, in der Sie viele DAGs ausführen, überprüfen, ob nach 24 Stunden keine neuen Benachrichtigungen vorhanden sind.

Fazit

In dieser Anleitung haben Sie sich mit den wichtigsten Gesundheits- und Leistungsmesswerten auf Umgebungsebene vertraut gemacht. Außerdem haben Sie erfahren, wie Sie Benachrichtigungsrichtlinien für die einzelnen Messwerte einrichten und jeden Messwert in Korrekturmaßnahmen umsetzen. Anschließend haben Sie einen Beispiel-DAG ausgeführt, die Ursache von Problemen mit dem Umgebungsstatus mithilfe von Benachrichtigungen und Monitoring-Diagrammen ermittelt und Ihre Umgebung optimiert, indem Sie Ihren Workern mehr Arbeitsspeicher zugewiesen haben. Es wird jedoch empfohlen, Ihre DAGs zu optimieren, um den Worker-Ressourcenverbrauch von vornherein zu reduzieren, da es nicht möglich ist, die Ressourcen über einen bestimmten Schwellenwert hinaus zu erhöhen.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder behalten Sie das Projekt bei und löschen Sie die einzelnen Ressourcen.

Projekt löschen

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Einzelne Ressourcen löschen

Wenn Sie mehrere Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Console

1. Löschen Sie die Cloud Composer-Umgebung. Bei diesem Vorgang löschen Sie auch den Bucket der Umgebung.
2. Löschen Sie alle Benachrichtigungsrichtlinien, die Sie in Cloud Monitoring erstellt haben.

Terraform

1. Achten Sie darauf, dass Ihr Terraform-Skript keine Einträge für Ressourcen enthält, die noch für Ihr Projekt erforderlich sind. Sie können beispielsweise einige APIs aktiviert lassen und IAM-Berechtigungen weiterhin zuweisen (wenn Sie Ihrem Terraform-Skript solche Definitionen hinzugefügt haben).
2. Führen Sie terraform destroy aus.
3. Löschen Sie den Bucket der Umgebung manuell. Cloud Composer löscht sie nicht automatisch. Sie können dies über die Google Cloud Console oder die Google Cloud CLI tun.

Nächste Schritte

• Umgebungen optimieren
• Umgebungen skalieren
• Umgebungslabels verwalten und Umgebungskosten aufschlüsseln