Zustand und Leistung der Umgebung mit wichtigen Messwerten im Monitoring-Dashboard überwachen

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird beschrieben, wie Sie den Zustand und die Leistung der Cloud Composer-Umgebung mit wichtigen Messwerten im Monitoring-Dashboard überwachen.

Einleitung

In dieser Anleitung konzentrieren wir uns auf die wichtigsten Monitoring-Messwerte von Cloud Composer, die einen guten Überblick über Zustand und Leistung auf Umgebungsebene bieten.

Cloud Composer bietet mehrere Messwerte, die den Gesamtzustand der Umgebung beschreiben. Die Monitoring-Richtlinien in dieser Anleitung basieren auf den Messwerten, die im Monitoring-Dashboard Ihrer Cloud Composer-Umgebung bereitgestellt werden.

In dieser Anleitung erfahren Sie mehr über die wichtigsten Messwerte, die als primäre Indikatoren für Probleme mit der Leistung und dem Zustand Ihrer Umgebung dienen, sowie die Richtlinien zur Interpretation der einzelnen Messwerte in Korrekturmaßnahmen, um die Umgebung intakt zu halten. Außerdem richten Sie Benachrichtigungsregeln für jeden Messwert ein, führen den Beispiel-DAG aus und verwenden diese Messwerte und Benachrichtigungen, um die Leistung Ihrer Umgebung zu optimieren.

Lernziele

Kosten

In dieser Anleitung werden die folgenden kostenpflichtigen Komponenten von Google Cloud verwendet:

Nach Abschluss dieser Anleitung können Sie weitere Kosten durch Löschen von erstellten Ressourcen vermeiden. Weitere Informationen finden Sie im Hilfeartikel Bereinigen.

Hinweise

In diesem Abschnitt werden Aktionen beschrieben, die vor dem Start der Anleitung erforderlich sind.

Projekt erstellen und konfigurieren

Für diese Anleitung benötigen Sie ein Google Cloud-Projekt. So konfigurieren Sie das Projekt:

  1. Wählen oder erstellen Sie ein Projekt in der Google Cloud Console:

    Zur Projektauswahl

  2. Die Abrechnung für Ihr Projekt muss aktiviert sein. Hier erfahren Sie, wie Sie prüfen, ob die Abrechnung für ein Projekt aktiviert ist.

  3. Der Nutzer des Google Cloud-Projekts benötigt die folgenden Rollen, um die erforderlichen Ressourcen zu erstellen:

    • Administrator für Umgebung und Speicherobjekte (roles/composer.environmentAndStorageObjectAdmin)
    • Compute-Administrator (roles/compute.admin)
    • Monitoring-Bearbeiter (roles/monitoring.editor)

Die APIs für Ihr Projekt aktivieren

Cloud Composer API aktivieren.

Aktivieren Sie die API

Cloud Composer-Umgebung erstellen

Cloud Composer 2-Umgebung erstellen

Im Rahmen dieses Verfahrens gewähren Sie dem Composer-Dienst-Agent-Konto die Rolle Dienst-Agent-Erweiterung für die Cloud Composer v2 API (roles/composer.ServiceAgentV2Ext). Cloud Composer verwendet dieses Konto, um Vorgänge in Ihrem Google Cloud-Projekt auszuführen.

Wichtige Messwerte für Zustand und Leistung auf Umgebungsebene untersuchen

In dieser Anleitung geht es um die wichtigsten Messwerte, die Ihnen einen guten Überblick über den Gesamtzustand und die Leistung Ihrer Umgebung geben.

Das Monitoring-Dashboard in der Google Cloud Console enthält eine Vielzahl von Messwerten und Diagrammen, mit denen Sie Trends in Ihrer Umgebung beobachten und Probleme mit Airflow-Komponenten und Cloud Composer-Ressourcen erkennen können.

Jede Cloud Composer-Umgebung hat ein eigenes Monitoring-Dashboard.

Machen Sie sich mit den folgenden wichtigen Messwerten vertraut und suchen Sie jeden im Monitoring-Dashboard:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Monitoring auf.

  4. Wählen Sie den Bereich Übersicht aus, suchen Sie im Dashboard nach dem Element Umgebungsübersicht und beobachten Sie den Messwert Umgebungsstatus (Airflow-Monitoring-DAG).

    • Diese Zeitachse zeigt den Zustand der Cloud Composer-Umgebung. Die grüne Farbe der Statusanzeige der Umgebung gibt an, dass die Umgebung fehlerfrei ist. Der Status „Nicht fehlerfrei“ wird rot angezeigt.

    • Cloud Composer führt alle paar Minuten einen Aktivitäts-DAG mit dem Namen airflow_monitoring aus. Wenn die Ausführung des Aktivitäts-DAG erfolgreich abgeschlossen wird, ist der Systemstatus True. Wenn die Ausführung des Aktivitäts-DAG fehlschlägt (z. B. aufgrund einer Pod-Entfernung, einer externen Prozessbeendigung oder einer Wartung), lautet der Systemstatus False.

  5. Wählen Sie den Bereich SQL-Datenbank aus, suchen Sie im Dashboard nach dem Element Datenbankzustand und beobachten Sie den Messwert Datenbankzustand.

    • Diese Zeitachse zeigt den Status der Verbindung zur Cloud SQL-Instanz Ihrer Umgebung. Die grüne Leiste des Datenbankstatus zeigt die Verbindung an, während Verbindungsfehler rot dargestellt werden.

    • Der Airflow-Monitoring-Pod sendet regelmäßig Pings an die Datenbank und meldet den Systemstatus als True, wenn eine Verbindung hergestellt werden kann, oder als False, wenn nicht.

  6. Beachten Sie im Element Datenbankzustand die Messwerte CPU-Auslastung der Datenbank und Speichernutzung der Datenbank.

    • Das Diagramm zur CPU-Nutzung der Datenbank zeigt die Nutzung von CPU-Kernen durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum insgesamt verfügbaren CPU-Limit der Datenbank.

    • Das Diagramm zur Arbeitsspeichernutzung der Datenbank zeigt die Nutzung des Arbeitsspeichers durch die Cloud SQL-Datenbankinstanzen Ihrer Umgebung im Vergleich zum insgesamt verfügbaren Arbeitsspeicherlimit für die Datenbank.

  7. Wählen Sie den Bereich Schedulers aus, suchen Sie im Dashboard nach dem Element Scheduler Heartbeat und beobachten Sie den Messwert Scheduler Heartbeat.

    • Diese Zeitachse zeigt den Status des Airflow-Planers. Suchen Sie nach roten Bereichen, um Probleme mit Airflow-Planern zu identifizieren. Wenn Ihre Umgebung mehr als einen Planer hat, ist der Heartbeat-Status fehlerfrei, solange mindestens einer der Planer antwortet.

    • Der Planer gilt als fehlerhaft, wenn der letzte Heartbeat mehr als 30 Sekunden (Standardwert) vor der aktuellen Zeit empfangen wurde.

  8. Wählen Sie den Bereich DAG-Statistiken aus, suchen Sie im Dashboard nach Zombietasks beendet und beobachten Sie den Messwert Zombietasks beendet.

    • Dieses Diagramm zeigt die Anzahl der Zombieaufgaben, die in einem kurzen Zeitfenster beendet wurden. Zombie-Tasks werden häufig durch die externe Beendigung von Airflow-Prozessen verursacht (z. B. wenn der Prozess einer Aufgabe beendet wird).

    • Der Airflow-Planer bricht regelmäßig Zombie-Tasks ab, was in diesem Diagramm dargestellt wird.

  9. Wählen Sie den Abschnitt Worker aus, suchen Sie im Dashboard nach dem Element Worker-Containerneustarts und beobachten Sie den Messwert Worker-Containerneustarts.

    • In einer Grafik wird die Gesamtzahl der Neustarts für einzelne Worker-Container angezeigt. Zu viele Containerneustarts können die Verfügbarkeit Ihres Dienstes oder anderer nachgelagerter Dienste beeinträchtigen, die ihn als Abhängigkeit verwenden.

Benchmarks und mögliche Korrekturmaßnahmen für wichtige Messwerte kennenlernen

In der folgenden Liste werden Benchmarkwerte beschrieben, die auf Probleme hinweisen können. Außerdem finden Sie Korrekturmaßnahmen, mit denen Sie diese Probleme beheben können.

  • Umgebungsstatus (Airflow-Monitoring-DAG)

    • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

    • Fehler können dazu führen, dass Pods entfernt oder Worker beendet werden, da die Umgebung überlastet ist oder Fehler auftreten. Rote Bereiche auf der Zeitachse des Umgebungsstatus korrelieren in der Regel mit roten Bereichen in den anderen Statusbalken der einzelnen Umgebungskomponenten. Bestimmen Sie die Ursache anhand anderer Messwerte im Monitoring-Dashboard.

  • Datenbankstatus

    • Eine Erfolgsquote von weniger als 95% über einen Zeitraum von 4 Stunden

    • Fehler bedeuten, dass es Probleme mit der Verbindung zur Airflow-Datenbank gibt. Diese können durch einen Datenbankabsturz oder eine Ausfallzeit verursacht werden, da die Datenbank überlastet ist (z. B. aufgrund einer hohen CPU- oder Arbeitsspeichernutzung oder einer höheren Latenz beim Herstellen einer Verbindung zur Datenbank). Diese Symptome werden am häufigsten durch suboptimale DAGs verursacht, z. B. wenn DAGs viele global definierte Airflow- oder Umgebungsvariablen verwenden. Ermitteln Sie die Ursache, indem Sie die Nutzungsmesswerte für SQL-Datenbankressourcen prüfen. Sie können die Planerlogs auch auf Fehler im Zusammenhang mit der Datenbankverbindung prüfen.

  • CPU- und Arbeitsspeichernutzung der Datenbank

    • Mehr als 80% durchschnittliche CPU- oder Arbeitsspeichernutzung innerhalb eines 12-Stunden-Zeitfensters

    • Die Datenbank ist möglicherweise überlastet. Analysieren Sie die Korrelation zwischen Ihren DAG-Ausführungen und Spitzen in der CPU- oder Arbeitsspeichernutzung der Datenbank.

  • Planer-Heartbeat

    • Eine Erfolgsquote von weniger als 90% über einen Zeitraum von 4 Stunden

    • Weisen Sie dem Planer weitere Ressourcen zu oder erhöhen Sie die Anzahl der Planer von 1 auf 2 (empfohlen).

  • Zombie-Aufgaben gelöscht

    • Mehr als eine Zombieaufgabe innerhalb von 24 Stunden

    • Der häufigste Grund für Zombie-Aufgaben ist ein Mangel an CPU- oder Arbeitsspeicherressourcen im Cluster Ihrer Umgebung. Sehen Sie sich die Diagramme zur Nutzung der Worker-Ressourcen an und weisen Sie Ihren Workern weitere Ressourcen zu oder erhöhen Sie das Zeitlimit für Zombie-Aufgaben, damit der Planer länger wartet, bevor er eine Aufgabe als Zombie betrachtet.

  • Neustarts von Worker-Containern

    • Mehr als ein Neustart innerhalb von 24 Stunden

    • Der häufigste Grund ist ein Mangel an Worker-Arbeitsspeicher oder -speicher. Untersuchen Sie den Verbrauch der Worker-Ressourcen und weisen Sie den Workern mehr Arbeitsspeicher oder Speicher zu. Wenn der Mangel an Ressourcen nicht der Grund ist, lesen Sie die Fehlerbehebung bei Neustartvorfällen bei Workern und verwenden Sie Logging-Abfragen, um die Gründe für Worker-Neustarts zu ermitteln.

Benachrichtigungskanäle erstellen

Folgen Sie der Anleitung unter Benachrichtigungskanal erstellen, um einen Kanal für E-Mail-Benachrichtigungen zu erstellen.

Weitere Informationen zu Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.

Benachrichtigungsrichtlinien erstellen

Erstellen Sie Benachrichtigungsrichtlinien basierend auf den Benchmarks in den vorherigen Abschnitten dieser Anleitung, um Messwerte kontinuierlich zu beobachten und Benachrichtigungen zu erhalten, wenn diese gegen eine Bedingung verstoßen.

Console

Sie können für jeden im Monitoring-Dashboard angezeigten Messwert Benachrichtigungen einrichten. Klicken Sie dazu auf das Glockensymbol in der Ecke des entsprechenden Elements:

Benachrichtigung für einen Messwert erstellen, der im Monitoring-Dashboard angezeigt wird
Abbildung 1. Benachrichtigung für einen Messwert erstellen, der im Monitoring-Dashboard angezeigt wird (zum Vergrößern klicken)

  1. Suchen Sie im Monitoring-Dashboard nach jedem Messwert, den Sie überwachen möchten, und klicken Sie auf das Glockensymbol in der Ecke des Messwertelements. Die Seite Benachrichtigungsrichtlinie erstellen wird geöffnet.

  2. Gehen Sie im Abschnitt Daten transformieren so vor:

    1. Konfigurieren Sie den Abschnitt In jeder Zeitachse wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

    2. Klicken Sie auf Weiter und konfigurieren Sie den Abschnitt Trigger für Benachrichtigungen konfigurieren, wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

  3. Klicken Sie auf Weiter.

  4. Konfigurieren Sie die Benachrichtigungen. Maximieren Sie das Menü Benachrichtigungskanäle und wählen Sie die Benachrichtigungskanäle aus, die Sie im vorherigen Schritt erstellt haben.

  5. Klicken Sie auf OK.

  6. Füllen Sie im Abschnitt Benachrichtigungsrichtlinie benennen das Feld Name der Benachrichtigungsrichtlinie aus. Verwenden Sie für jeden Messwert einen aussagekräftigen Namen. Verwenden Sie den Wert „Benachrichtigungsrichtlinie benennen“ wie in der Konfiguration der Benachrichtigungsrichtlinien für den Messwert beschrieben.

  7. Klicken Sie auf Weiter.

  8. Prüfen Sie die Benachrichtigungsrichtlinie und klicken Sie auf Richtlinie erstellen.

Messwert für den Umgebungsstatus (Airflow-Monitoring-DAG) – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – fehlerfrei
  • API: composer.googleapis.com/environment/healthy

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: benutzerdefiniert
    • Benutzerdefinierter Wert: 4
    • Benutzerdefinierte Einheiten: Stunde(n)
    • Funktion für gleitende Fenster: Bruchzahl wahr

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: unter Grenzwert
    • Grenzwert: 90
    • Bedingungsname: Zustand der Umgebung

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie „Airflow Environment Health“

Messwert für den Datenbankstatus – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – Datenbankfehler
  • API: composer.googleapis.com/environment/database_health

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: benutzerdefiniert
    • Benutzerdefinierter Wert: 4
    • Benutzerdefinierte Einheiten: Stunde(n)
    • Funktion für gleitende Fenster: Bruchzahl wahr

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: unter Grenzwert
    • Grenzwert: 95
    • Bedingungsname: Datenbankzustand

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: Airflow Database Health

Messwert für die CPU-Nutzung der Datenbank – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – CPU-Auslastung der Datenbank
  • API: composer.googleapis.com/environment/database/cpu/utilization

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: benutzerdefiniert
    • Benutzerdefinierter Wert: 12
    • Benutzerdefinierte Einheiten: Stunde(n)
    • Funktion für rollende Fenster: Mittelwert

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: über Grenzwert
    • Grenzwert: 80
    • Bedingungsname: Bedingung für CPU-Nutzung der Datenbank

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: CPU-Auslastung der Airflow-Datenbank

Messwert für die CPU-Nutzung der Datenbank – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – Arbeitsspeicherauslastung der Datenbank
  • API: composer.googleapis.com/environment/database/memory/utilization

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: benutzerdefiniert
    • Benutzerdefinierter Wert: 12
    • Benutzerdefinierte Einheiten: Stunde(n)
    • Funktion für rollende Fenster: Mittelwert

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: über Grenzwert
    • Grenzwert: 80
    • Bedingungsname: Bedingung für Datenbank-Arbeitsspeichernutzung

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: „Speichernutzung der Airflow-Datenbank“

Messwert des Planers für Heartbeats – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – Planer-Heartbeats
  • API: composer.googleapis.com/environment/scheduler_heartbeat_count

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: benutzerdefiniert
    • Benutzerdefinierter Wert: 4
    • Benutzerdefinierte Einheiten: Stunde(n)
    • Funktion für gleitende Fenster: Anzahl

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: unter Grenzwert

    • Grenzwert: 216

        entspricht.
      1. Um diese Zahl zu erhalten, führen Sie im Metrics Explorer-Abfrageeditor eine Abfrage aus, mit der der Wert _scheduler_heartbeat_count_mean aggregiert wird.

    • Bedingungsname: Planer-Heartbeat-Bedingung

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Planer-Heartbeat

Messwert für gelöschte Zombie-Aufgaben – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – Zombie-Tasks beendet
  • API: composer.googleapis.com/environment/zombie_task_killed_count

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: 1 Tag
    • Funktion für gleitende Fenster: Summe

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: über Grenzwert
    • Grenzwert: 1
    • Bedingungsname: Bedingung für Zombieaufgaben

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Zombie-Tasks

Messwert für Neustarts von Worker-Containern – Konfigurationen von Benachrichtigungsrichtlinien

  • Messwertname: Cloud Composer-Umgebung – Zombie-Tasks beendet
  • API: composer.googleapis.com/environment/zombie_task_killed_count

  • Filter:

    environment_name = [ENVIRONMENT_NAME]
location = [CLUSTER_LOCATION]

  • Daten transformieren > Innerhalb jeder Zeitreihe:

    • Rollierendes Zeitfenster: 1 Tag
    • Funktion für gleitende Fenster: Summe

  • Konfigurieren Sie den Trigger für Benachrichtigungen:

    • Bedingungstypen: Schwellenwert
    • Auslöser für Benachrichtigung: beliebige Zeitreihe verstößt gegen
    • Grenzwertposition: über Grenzwert
    • Grenzwert: 1
    • Bedingungsname: Bedingung für Zombieaufgaben

  • Konfigurieren Sie Benachrichtigungen und stellen Sie die Benachrichtigung fertig:

    • Benennen Sie die Benachrichtigungsrichtlinie: Airflow-Zombie-Tasks

Terraform

Führen Sie ein Terraform-Skript aus, das einen E-Mail-Benachrichtigungskanal erstellt und Benachrichtigungsrichtlinien für die in dieser Anleitung angegebenen wichtigen Messwerte auf der Grundlage ihrer jeweiligen Benchmarks hochlädt:

  1. Speichern Sie die Terraform-Beispieldatei auf Ihrem lokalen Computer.

  2. Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID Ihres Projekts. Beispiel: example-project
    • EMAIL_ADDRESS: die E-Mail-Adresse, an die Benachrichtigungen gesendet werden müssen, wenn eine Benachrichtigung ausgelöst wird.
    • ENVIRONMENT_NAME: der Name Ihrer Cloud Composer-Umgebung. Beispiel: example-composer-environment.
    • CLUSTER_NAME: der Name Ihres Umgebungsclusters, der unter Umgebungskonfiguration > Ressourcen > GKE-Cluster in der Google Cloud Console zu finden ist.
resource "google_monitoring_notification_channel" "basic" {
  project      = "PROJECT_ID"
  display_name = "Test Notification Channel"
  type         = "email"
  labels = {
    email_address = "EMAIL_ADDRESS"
  }
  # force_delete = false
}

resource "google_monitoring_alert_policy" "environment_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Environment Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Environment health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/healthy\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.9
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }

}

resource "google_monitoring_alert_policy" "database_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database_health\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.95
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_cpu_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database CPU Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database CPU usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/cpu/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_memory_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Memory Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database memory usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/memory/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_scheduler_heartbeat" {
  project      = "PROJECT_ID"
  display_name = "Airflow Scheduler Heartbeat"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Scheduler heartbeat condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/scheduler_heartbeat_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 216 // Threshold is 90% of the average for composer.googleapis.com/environment/scheduler_heartbeat_count metric in an idle environment
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_COUNT"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_zombie_task" {
  project      = "PROJECT_ID"
  display_name = "Airflow Zombie Tasks"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Zombie tasks condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/zombie_task_killed_count\" AND  resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_SUM"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_worker_restarts" {
  project      = "PROJECT_ID"
  display_name = "Airflow Worker Restarts"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Worker container restarts condition"
    condition_threshold {
      filter     = "resource.type = \"k8s_container\" AND (resource.labels.cluster_name = \"CLUSTER_NAME\" AND resource.labels.container_name = monitoring.regex.full_match(\"airflow-worker|base\") AND resource.labels.pod_name = monitoring.regex.full_match(\"airflow-worker-.*|airflow-k8s-worker-.*\")) AND metric.type = \"kubernetes.io/container/restart_count\""

      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_RATE"
      }
    }
  }
}

Benachrichtigungsrichtlinien testen

In diesem Abschnitt wird beschrieben, wie Sie die erstellten Benachrichtigungsrichtlinien testen und die Ergebnisse interpretieren.

Beispiel-DAG hochladen

Der in dieser Anleitung bereitgestellte Beispiel-DAG memory_consumption_dag.py imitiert eine intensive Worker-Arbeitsspeicherauslastung. Der DAG enthält vier Aufgaben, von denen jede Aufgabe Daten in einen Beispielstring schreibt und 380 MB Arbeitsspeicher belegt. Der Beispiel-DAG wird planmäßig alle 2 Minuten ausgeführt und beginnt automatisch, sobald Sie ihn in Ihre Composer-Umgebung hochladen.

Laden Sie den folgenden Beispiel-DAG in die Umgebung hoch, die Sie in den vorherigen Schritten erstellt haben:

from datetime import datetime
import sys
import time

from airflow import DAG
from airflow.operators.python import PythonOperator


def ram_function():
    data = ""
    start = time.time()
    for i in range(38):
        data += "a" * 10 * 1000**2
        time.sleep(0.2)
        print(f"{i}, {round(time.time() - start, 4)}, {sys.getsizeof(data) / (1000 ** 3)}")
    print(f"Size={sys.getsizeof(data) / (1000 ** 3)}GB")
    time.sleep(30 - (time.time() - start))
    print(f"Complete in {round(time.time() - start, 2)} seconds!")


with DAG(
    dag_id="memory_consumption_dag",
    start_date=datetime(2023, 1, 1, 1, 1, 1),
    schedule="1/2 * * * *",
    catchup=False,
) as dag:
    for i in range(4):
        PythonOperator(
            task_id=f"task_{i+1}",
            python_callable=ram_function,
            retries=0,
            dag=dag,
        )

Benachrichtigungen und Messwerte in Monitoring interpretieren

Warten Sie etwa 10 Minuten, nachdem der Beispiel-DAG gestartet wurde, und werten Sie die Testergebnisse aus:

  1. Sehen Sie in Ihrem E-Mail-Postfach nach, ob Sie eine Benachrichtigung von Google Cloud-Benachrichtigungen erhalten haben, deren Betreff mit [ALERT] beginnt. Der Inhalt dieser Nachricht enthält die Details zum Vorfall mit der Benachrichtigungsrichtlinie.

  2. Klicken Sie in der E-Mail-Benachrichtigung auf die Schaltfläche Vorfall ansehen. Sie werden zum Metrics Explorer weitergeleitet. Überprüfen Sie die Details des Benachrichtigungsvorfalls:

    Details zum Benachrichtigungsvorfall
    Abbildung 2. Details zum Vorfall mit Benachrichtigung (zum Vergrößern klicken)

    Das Diagramm mit den Vorfallsmesswerten zeigt, dass die von Ihnen erstellten Messwerte den Grenzwert von 1 überschritten haben. Das bedeutet, dass Airflow mehr als 1 Zombie-Aufgabe erkannt und beendet hat.

  3. Wechseln Sie in der Cloud Composer-Umgebung zum Tab Monitoring, öffnen Sie den Abschnitt DAG-Statistiken und suchen Sie das Diagramm Zombietasks beendet:

    Diagramm für Zombieaufgaben
    Abbildung 3: Grafik der Zombieaufgaben (zum Vergrößern klicken)

    Das Diagramm zeigt, dass Airflow etwa 20 Zombie-Tasks innerhalb der ersten 10 Minuten nach der Ausführung des Beispiel-DAG beendet hat.

  4. Laut Benchmarks und Korrekturmaßnahmen ist der häufigste Grund für Zombie-Aufgaben ein Mangel an Worker-Arbeitsspeicher oder CPU. Ermitteln Sie die Ursache von Zombie-Aufgaben, indem Sie die Nutzung Ihrer Worker-Ressourcen analysieren.

    Öffnen Sie in Ihrem Monitoring-Dashboard den Bereich „Worker“ und prüfen Sie die Messwerte zur CPU- und Arbeitsspeichernutzung der Worker:

    Messwerte zur CPU- und Arbeitsspeichernutzung für Worker
    Abbildung 4: Messwerte zur CPU- und Arbeitsspeichernutzung für Worker (zum Vergrößern klicken)

    Das Diagramm zur CPU-Nutzung insgesamt zeigt an, dass die CPU-Auslastung der Worker zu jeder Zeit unter 50% des insgesamt verfügbaren Limits lag. Daher ist die verfügbare CPU ausreichend. Das Diagramm zur Arbeitsspeichernutzung der Gesamtzahl der Worker zeigt, dass beim Ausführen des Beispiel-DAG das Limit für zuweisbare Arbeitsspeicher erreicht wurde, das fast 75% des in der Grafik angegebenen Gesamtarbeitsspeicherlimits entspricht (GKE reserviert 25% der ersten 4 GiB Arbeitsspeicher und zusätzliche 100 MiB Arbeitsspeicher auf jedem Knoten, um die Pod-Entfernung zu bewältigen).

    Sie können daraus schließen, dass den Workern nicht die Arbeitsspeicherressourcen zum Ausführen des Beispiel-DAG fehlen.

Umgebung optimieren und ihre Leistung bewerten

Nach der Analyse der Worker-Ressourcennutzung müssen Sie Ihren Workern mehr Arbeitsspeicher zuweisen, damit alle Aufgaben in Ihrem DAG erfolgreich sind.

  1. Öffnen Sie in Ihrer Composer-Umgebung den Tab DAGs, klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf DAG pausieren.

  2. Weisen Sie zusätzlichen Worker-Arbeitsspeicher zu:

    1. Suchen Sie auf dem Tab „Umgebungskonfiguration“ die Konfiguration Ressourcen > Arbeitslasten und klicken Sie auf Bearbeiten.

    2. Erhöhen Sie im Worker-Element das Arbeitsspeicherlimit. Verwenden Sie in dieser Anleitung 3,25 GB.

    3. Speichern Sie die Änderungen und warten Sie einige Minuten, bis der Worker neu gestartet wurde.

  3. Öffnen Sie den Tab "DAGs", klicken Sie auf den Namen des Beispiel-DAG (memory_consumption_dag) und dann auf Pausieren des DAG aufheben.

Rufen Sie Monitoring auf und prüfen Sie, ob nach der Aktualisierung der Worker-Ressourcenlimits keine neuen Zombie-Tasks angezeigt wurden:

Diagramm für Zombieaufgaben nach Änderung des Arbeitsspeicherlimits
Abbildung 5: Grafik der Zombieaufgaben nach Änderung des Arbeitsspeicherlimits (zum Vergrößern klicken)

Zusammenfassung

In dieser Anleitung haben Sie sich mit den wichtigsten Gesundheits- und Leistungsmesswerten auf Umgebungsebene vertraut gemacht. Außerdem haben Sie erfahren, wie Sie Benachrichtigungsrichtlinien für die einzelnen Messwerte einrichten und jeden Messwert in Korrekturmaßnahmen interpretieren können. Anschließend haben Sie einen Beispiel-DAG ausgeführt, mithilfe von Benachrichtigungen und Monitoring-Diagrammen die Ursache von Problemen mit dem Umgebungsstatus ermittelt und Ihre Umgebung optimiert, indem Sie Ihren Workern mehr Arbeitsspeicher zugewiesen haben. Es wird jedoch empfohlen, die DAGs zu optimieren, um die Worker-Ressourcennutzung von vornherein zu reduzieren, da es nicht möglich ist, die Ressourcen über einen bestimmten Grenzwert hinaus zu erhöhen.

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder behalten Sie das Projekt bei und löschen Sie die einzelnen Ressourcen.

Projekt löschen

  1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Einzelne Ressourcen löschen

Wenn Sie mehrere Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Console

  1. Löschen Sie die Cloud Composer-Umgebung. Während dieses Vorgangs löschen Sie auch den Bucket der Umgebung.
  2. Löschen Sie alle Benachrichtigungsrichtlinien, die Sie in Cloud Monitoring erstellt haben.

Terraform

  1. Achten Sie darauf, dass Ihr Terraform-Skript keine Einträge für Ressourcen enthält, die noch für Ihr Projekt erforderlich sind. So können Sie beispielsweise einige APIs aktiviert lassen und IAM-Berechtigungen weiterhin zugewiesen bleiben (wenn Sie Ihrem Terraform-Skript solche Definitionen hinzugefügt haben).
  2. Führen Sie terraform destroy aus.
  3. Löschen Sie den Bucket der Umgebung manuell. Cloud Composer löscht sie nicht automatisch. Sie können dies über die Google Cloud Console oder die Google Cloud CLI tun.

Nächste Schritte