Cloud Composer 1 Cloud Composer 2
Sie können Cloud Monitoring und Cloud Logging mit Cloud Composer verwenden.
Cloud Monitoring verschafft Einblick in die Leistung, Betriebszeit und den Gesamtstatus cloudbasierter Anwendungen. Cloud Monitoring erfasst und erfasst Messwerte, Ereignisse und Metadaten aus Cloud Composer, um Informationen in Dashboards und Diagrammen zu generieren. Mit Cloud Monitoring können Sie die Leistung und den Status Ihrer Cloud Composer-Umgebungen und Airflow-Messwerte ermitteln.
Logging erfasst Logs, die vom Planer und von Worker-Containern im Cluster Ihrer Umgebung erstellt wurden. Diese Logs enthalten Informationen zu Systemebene und Airflow-Abhängigkeiten für die Fehlerbehebung. Informationen zum Aufrufen von Logs finden Sie unter Airflow-Logs ansehen.
Hinweise
Die folgenden Berechtigungen sind erforderlich, um auf Logs und Messwerte für Ihre Cloud Composer-Umgebung zuzugreifen:
- Schreibgeschützter Zugriff auf Logs und Messwerte:
logging.viewerundmonitoring.viewer - Lesezugriff auf Logs, einschließlich privater Logs:
logging.privateLogViewer - Lese-/Schreibzugriff auf Messwerte:
monitoring.editor
Weitere Informationen zu anderen Berechtigungen und Rollen für Cloud Composer finden Sie unter Zugriffssteuerung.
- Schreibgeschützter Zugriff auf Logs und Messwerte:
Zur Vermeidung einer doppelten Logging-Aktivität ist Cloud Logging für Google Kubernetes Engine deaktiviert.
Cloud Logging generiert für jeden Status und jedes Ereignis in Ihrem Google Cloud-Projekt einen Eintrag. Mit Ausschlussfiltern können Sie das Logvolumen reduzieren, einschließlich der Logs, die von Cloud Logging für Cloud Composer erstellt werden.
Das Ausschließen von Logs von
jobs.pykann zu Fehlern bei der Systemdiagnose undCrashLoopBackOff-Fehlern führen. Sie müssen-jobs.pyin Ausschlussfilter aufnehmen, um zu verhindern, dass sie ausgeschlossen werden.Monitoring kann weder die Anzahl der DAGs und Aufgaben, die mehr als einmal pro Minute ausgeführt werden, noch Messwerte für fehlgeschlagene Aufgaben darstellen.
Umgebungsmesswerte
Mit Umgebungsmesswerten können Sie die Ressourcennutzung und den Status Ihrer Cloud Composer-Umgebungen prüfen.
Umgebungsstatus
Den Status Ihrer Umgebung können Sie mit folgendem Messwert für den Systemstatus prüfen: composer.googleapis.com/environment/healthy.
Cloud Composer führt einen Aktivitäts-DAG mit dem Namen airflow_monitoring aus, der nach einem Zeitplan ausgeführt wird und den Umgebungsstatus so meldet:
- Wenn die Ausführung des Aktivitäts-DAG erfolgreich abgeschlossen wurde, ist der Systemstatus
True. - Wenn die Ausführung des Aktivitäts-DAG fehlschlägt, ist der Systemstatus
False.
Der Aktivitäts-DAG wird im Ordner dags/ gespeichert und in der Airflow-UI angezeigt. Die Häufigkeit und der Inhalt des Aktivitäts-DAG sind unveränderlich und dürfen nicht geändert werden. Änderungen am Aktivitäts-DAG gehen nicht verloren.
Abhängigkeitenprüfungen der Umgebung
Cloud Composer prüft regelmäßig, ob die Umgebung die für den Betrieb erforderlichen Dienste erreichen kann und über ausreichende Berechtigungen für die Interaktion mit ihnen verfügt. Beispiele für Dienste, die für den Betrieb der Umgebung erforderlich sind, sind Artifact Registry, Cloud Logging und Cloud Monitoring.
Die folgenden Messwerte stehen für die Abhängigkeitenprüfungen der Umgebung zur Verfügung:
| Abhängigkeitsmesswert | API | Beschreibung |
|---|---|---|
| Anzahl der Abhängigkeitsprüfungen | composer.googleapis.com/environment/health/dependency_check_count |
Dieser Messwert gibt an, wie oft Erreichbarkeitsprüfungen für Dienste ausgeführt werden, die für den Betrieb der Umgebung erforderlich sind. |
| Anzahl der Prüfung von Abhängigkeitsberechtigungen | composer.googleapis.com/environment/health/dependency_permissions_check_count |
Dieser Messwert gibt an, wie oft Berechtigungsprüfungen für Dienste ausgeführt werden, die für den Betrieb der Umgebung erforderlich sind. |
Datenbankstatus
Mit dem folgenden Messwert für den Systemstatus können Sie den Status Ihrer Datenbank prüfen: composer.googleapis.com/environment/database_health.
Der Airflow-Monitoring-Pod pingt die Datenbank jede Minute und meldet den Systemstatus als True, wenn eine SQL-Verbindung hergestellt werden kann, oder False, wenn nicht.
Datenbankmesswerte
Folgenden Umgebungsmesswerte sind für die Airflow-Metadatendatenbank verfügbar, die von Cloud Composer-Umgebungen verwendet wird. Mit diesen Messwerten können Sie die Leistung und Ressourcennutzung der Datenbankinstanz Ihrer Umgebung überwachen.
Beispielsweise möchten Sie möglicherweise ein Upgrade des Cloud SQL-Maschinentyps Ihrer Umgebung durchführen, wenn sich Ihre Umgebung der Ressourcenlimits nähert. Alternativ können Sie die Kosten im Zusammenhang mit der Nutzung der Airflow-Metadatendatenbank optimieren. Dazu führen Sie eine Datenbankbereinigung durch, um den Speicher unter einem bestimmten Grenzwert zu halten.
| Datenbankmesswert | API | Beschreibung |
|---|---|---|
| CPU-Nutzung der Datenbank |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| Datenbank-CPU-Kerne |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| CPU-Auslastung der Datenbank |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| Arbeitsspeichernutzung der Datenbank |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| Arbeitsspeicherkontingent der Datenbank |
composer.googleapis.com/environment/database/memory/quota
|
|
| Speichernutzung der Datenbank |
composer.googleapis.com/environment/database/memory/utilization
|
|
| Datenträgerbelegung der Datenbank |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| Laufwerkskontingent der Datenbank |
composer.googleapis.com/environment/database/disk/quota
|
|
| Laufwerksauslastung der Datenbank |
composer.googleapis.com/environment/database/disk/utilization
|
|
| Limit für Datenbankverbindungen |
composer.googleapis.com/environment/database/network/max_connections
|
|
| Datenbankverbindungen |
composer.googleapis.com/environment/database/network/connections
|
|
| Datenbank für Failover verfügbar |
composer.googleapis.com/environment/database/available_for_failover
|
Ist True, wenn sich die Cloud SQL-Instanz der Umgebung im Hochverfügbarkeitsmodus befindet und für einen Failover bereit ist. |
| Anzahl der automatischen Failover-Anfragen für Datenbanken |
composer.googleapis.com/environment/database/auto_failover_request_count
|
Gesamtzahl der Anfragen mit automatischem Failover der Cloud SQL-Instanz der Umgebung. |
Planermesswerte
| Name | API | Beschreibung |
|---|---|---|
| Aktive Planer |
composer.googleapis.com/environment/active_schedulers
|
Anzahl der aktiven Planerinstanzen. |
Triggermesswerte
Die folgenden Triggermesswerte werden ausschließlich für Cloud Composer bereitgestellt:
| Name | API | Beschreibung |
|---|---|---|
| Aktive Trigger |
composer.googleapis.com/environment/active_triggerers
|
Die Anzahl der aktiven Triggerinstanzen. |
Darüber hinaus sind die folgenden Airflow-Messwerte über Cloud Composer-Messwerte verfügbar:
| Name | API | Name in Airflow | Beschreibung |
|---|---|---|---|
| Gesamtzahl der laufenden Trigger |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
Die Anzahl der ausgeführten Trigger pro Triggerer-Instanz. |
| Blockierende Trigger |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
Anzahl der Trigger, die den Hauptthread blockiert haben (vermutlich, weil er nicht vollständig asynchron war). |
| Fehlgeschlagene Trigger |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
Anzahl der Trigger, bei denen ein Fehler aufgetreten ist, bevor ein Ereignis ausgelöst werden konnte. |
| Erfolgreiche Trigger |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
Anzahl der Trigger, bei denen mindestens ein Ereignis ausgelöst wurde. |
Webservermesswerte
Folgende Umgebungsmesswerte sind für den Airflow-Webserver verfügbar, der von Cloud Composer-Umgebungen verwendet wird. Mit diesen Messwerten können Sie die Leistung und Ressourcennutzung der Airflow-Webserverinstanz Ihrer Umgebung prüfen.
Sie können beispielsweise den Maschinentyp des Webservers aktualisieren, wenn er sich ständig den Ressourcenlimits nähert.
| Name | API | Beschreibung |
|---|---|---|
| Webserver-CPU-Nutzung |
composer.googleapis.com/environment/web_server/cpu/usage_time
|
|
| Webserver-CPU-Kontingent |
composer.googleapis.com/environment/web_server/cpu/reserved_cores
|
|
| Webserver-Arbeitsspeichernutzung |
composer.googleapis.com/environment/web_server/memory/bytes_used
|
|
| Webserver-Arbeitsspeicherkontingent |
composer.googleapis.com/environment/web_server/memory/quota
|
|
| Aktive Webserver |
composer.googleapis.com/environment/active_webservers
|
Anzahl der aktiven Webserverinstanzen. |
DAG-Messwerte
Mit den folgenden DAG-Messwerten können Sie die Effizienz Ihrer DAG-Ausführungen überwachen und Aufgaben identifizieren, die eine hohe Latenz verursachen.
| DAG-Messwert | API |
|---|---|
| Anzahl der DAG-Ausführungen |
composer.googleapis.com/workflow/run_count |
| Dauer der einzelnen DAG-Ausführungen |
composer.googleapis.com/workflow/run_duration |
| Anzahl der Aufgabenausführungen |
composer.googleapis.com/workflow/task/run_count |
| Dauer der einzelnen Taskausführungen |
composer.googleapis.com/workflow/task/run_duration |
Cloud Monitoring stellt nur die Messwerte für abgeschlossene Workflows und Aufgaben (als erfolgreich oder fehlgeschlagen) dar. No Data (Keine Daten) wird angezeigt, wenn keine Workflowaktivität vorhanden ist, oder für Workflow- und Aufgabenausführungen, die sich in Bearbeitung befinden.
Celery Executor-Messwerte
Die folgenden Celery Executor-Messwerte sind verfügbar. Mithilfe dieser Messwerte können Sie feststellen, ob in Ihrer Umgebung genügend Worker-Ressourcen vorhanden sind.
| Celery Executor-Messwert | API |
|---|---|
| Anzahl der Aufgaben in der Warteschlange |
composer.googleapis.com/environment/task_queue_length |
| Anzahl der Online-Celery-Worker |
composer.googleapis.com/environment/num_celery_workers |
Airflow-Messwerte
Die folgenden Airflow-Messwerte sind verfügbar. Diese Messwerte entsprechen von Airflow bereitgestellten Messwerten.
| Name | API | Name in Airflow | Beschreibung |
|---|---|---|---|
| Exit-Codes ungleich null für Celery-Aufgabe |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
Anzahl der Exit-Codes ungleich null aus Celery-Aufgaben. |
| Zeitüberschreitungen bei der Veröffentlichung von Celery-Tasks |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
Anzahl der AirflowTaskTimeout-Fehler, die beim Veröffentlichen der Aufgabe in Celery Broker aufgetreten sind. |
| Serialisierte DAG-Abrufdauer |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
Zeitaufwand für das Abrufen aller seriellen DAGs aus der Datenbank. |
| Fehler bei der DAG-Aktualisierung |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
Anzahl der durch DAG-Callbacks ausgelösten Ausnahmen. In diesem Fall funktioniert ein DAG-Callback nicht. |
| Fehler bei der DAG-Aktualisierung |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
Anzahl der Fehler beim Laden von DAG-Dateien. |
| Ladezeit der DAG-Datei |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
Zum Laden einer bestimmten DAG-Datei benötigte Zeit. |
| Zeit seit DAG-Dateiverarbeitung |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
Sekunden seit der letzten Verarbeitung einer DAG-Datei. |
| Anzahl der DagFileProcessorManager-Verzögerungen |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
Anzahl der angehaltenen DagFileProcessorManager-Prozesse. |
| DAG-Parsing-Fehler |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
Anzahl der Fehler, die beim Parsen von DAG-Dateien generiert werden. |
| DAG-Parsing-Prozesse ausführen |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
Anzahl der aktuell ausgeführten DAG-Parsing-Prozesse. |
| Zeitüberschreitungen von Prozessoren |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
Anzahl der Dateiprozessoren, die aufgrund einer zu langen Zeit beendet wurden. |
| Zeitaufwand für das Scannen und Importieren aller DAG-Dateien |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
Gesamtzeit für das einmalige Scannen und Importieren aller DAG-Dateien. |
| Aktuelle DAG-Bag-Größe |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
Anzahl der DAGs, die beim Ausführen eines Scans durch den Planer basierend auf seiner Konfiguration gefunden wurden. |
| E-Mail-Benachrichtigungen über nicht zugestellte SLAs |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
Anzahl der fehlgeschlagenen E-Mail-Benachrichtigungsversuche, die laut SLA fehlgeschlagen sind. |
| Offene Slots für Executor |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
Anzahl der freien Slots auf dem Executor. |
| Aufgaben für Executor in der Warteschlange |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
Anzahl der Aufgaben in der Warteschlange für den Executor. |
| Aufgaben für Executor ausführen |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
Anzahl der auf dem Executor ausgeführten Tasks. |
| Erfolgreiche/Fehler bei Aufgabeninstanz |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
Allgemeine Erfolge/Fehler bei Aufgabeninstanz. |
| Gestartete/Abgeschlossene Aufträge |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
Anzahl der gestarteten/abgeschlossenen Jobs, z. B. SchedulerJob und LocalTaskJob. |
| Job-Heartbeat-Fehler |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
Anzahl der fehlgeschlagenen Heartbeats für einen Job. |
| Aufgaben, die pro Operator erstellt werden |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
Anzahl der Tasks-Instanzen, die für einen bestimmten Operator erstellt wurden. |
| Operatorausführungen |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
Anzahl der abgeschlossenen Aufgabeninstanzen pro Operator |
| Slots im Pool öffnen |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
Anzahl der freien Slots im Pool. |
| Slots in der Warteschlange im Pool |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
Anzahl der Slots in der Warteschlange im Pool. |
| Laufende Slots im Pool |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
Anzahl der ausgeführten Slots im Pool. |
| Aufgaben im Pool austesten |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
Anzahl der ausgehungerten Aufgaben im Pool. |
| Im kritischen Bereich des Planers verbrachte Zeit |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
Im kritischen Abschnitt der Planerschleife verbrachte Zeit. In diese Schleife kann jeweils nur ein einzelner Planer eintreten. |
| Kritische Fehler bei Abschnittssperren |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
Anzahl der Fälle, in denen ein Planerprozess versucht hat, eine Sperre für den kritischen Abschnitt zu erhalten (damit Aufgaben an den Executor gesendet werden mussten), und dieser durch einen anderen Prozess gesperrt wurde. |
| Extern beendete Tasks |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
Anzahl der Tasks, die extern gelöscht wurden. |
| Verwaiste Aufgaben |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
Anzahl der verwaisten Aufgaben, die vom Planer gelöscht oder übernommen wurden. |
| Laufende/ausreichende/ausführbare Aufgaben |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
Anzahl der laufenden/ausreichenden/ausführbaren Tasks. |
| Planer-Heartbeats |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
Herzschläge des Planers. |
| Fehlgeschlagene SLA-Rückrufbenachrichtigungen |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
Anzahl der fehlgeschlagenen Callback-Benachrichtigungen über SLA-Verstoß. |
| Fehler bei Ausnahmefehlern des intelligenten Sensors |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
Anzahl der Fehler, die durch eine Ausnahme in der vorherigen Stimmschleife des intelligenten Sensors verursacht wurden. |
| Infrastrukturausfälle mit intelligentem Sensor |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
Anzahl der Infrastrukturausfälle in der vorherigen Poking-Schleife des intelligenten Sensors. |
| Ausnahmen für das Smart Sensor Poking |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
Anzahl der Ausnahmen in der vorherigen Poking-Schleife des intelligenten Sensors. |
| Intelligenter Sensor hat Aufgaben erkannt |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
Anzahl der neu abgeschlossenen Aufgaben, die in der vorherigen Stoßschleife vom intelligenten Sensor erkannt wurden. |
| Intelligente Sensor-Aufgaben |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
Anzahl der Aufgaben, die in der vorherigen Spielschleife vom intelligenten Sensor erfasst wurden. |
| Zuvor erfolgreiche Aufgabeninstanzen |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
Anzahl der zuvor erfolgreichen Aufgabeninstanzen. |
| Zombie-Aufgaben getötet |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
Anzahl der getöteten Zombie-Tasks. |
| DAG-Ausführungsdauer |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
Zeit, die ein DagRun benötigt hat, um den Status „Erfolg“ oder „Fehlgeschlagen“ zu erreichen. |
| Dauer der DAG-Abhängigkeitsprüfung |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
Zum Prüfen der DAG-Abhängigkeiten benötigte Zeit. Dieser Messwert unterscheidet sich von den Messwerten für Abhängigkeits- und Berechtigungsprüfungen der Umgebung und gilt für DAGs |
| Verzögerung des DAG-Ausführungszeitplans |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Zeit der Verzögerung zwischen dem geplanten DagRun-Startdatum und dem tatsächlichen DagRun-Startdatum. |
| Erledigte Aufgaben |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
Anzahl der abgeschlossenen Aufgaben in einem bestimmten DAG. |
| Ausführungsdauer der Taskinstanz |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
Zeitaufwand für die Erledigung einer Aufgabe. |
| Gestartete Aufgaben |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
Anzahl der gestarteten Aufgaben in einem bestimmten DAG. |
| Aufgaben aus DAG entfernt |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
Anzahl der Aufgaben, die für einen bestimmten DAG entfernt wurden (d. h., die Aufgabe ist im DAG nicht mehr vorhanden). |
| Aufgaben in DAG wiederhergestellt |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
Anzahl der Aufgaben, die für einen bestimmten DAG wiederhergestellt wurden (d. h., die Aufgabeninstanz, die sich in der Datenbank zuvor im Status „ENTFERNT“ befand, wird der DAG-Datei hinzugefügt). |
| Verzögerung des Aufgabenzeitplans |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Verstrichene Zeit zwischen dem Startdatum der ersten Aufgabe und dem erwarteten Start der Aufgabe. |
Monitoring für Cloud Composer-Umgebungen verwenden
Console
Mit dem Metrics Explorer können Sie sich Messwerte zu Ihren Umgebungen und DAGs anzeigen lassen:
Die Ressource Cloud Composer-Umgebung enthält Messwerte für Umgebungen.
Wenn Sie Messwerte für eine bestimmte Umgebung aufrufen möchten, filtern Sie Messwerte nach dem Label
environment_name. Sie können auch nach anderen Labels filtern, z. B. nach dem Standort der Umgebung oder der Bildversion.Cloud Composer-Workflow-Ressource enthält Messwerte für DAGs.
Wenn Sie Messwerte für einen bestimmten DAG oder eine bestimmte Aufgabe aufrufen möchten, filtern Sie Messwerte nach den Labels
workflow_nameundtask_name. Sie können auch nach anderen Labels wie dem Aufgabenstatus oder dem Namen des Airflow-Operators filtern.
API und gcloud
Sie können benutzerdefinierte Dashboards und die Widgets über die Cloud Monitoring API und den Befehl gcloud monitoring dashboards erstellen und verwalten. Weitere Informationen finden Sie unter Dashboards nach API verwalten.
Weitere Informationen zu Ressourcen, Messwerten und Filtern finden Sie in der Referenz zur Cloud Monitoring API:
Cloud Monitoring-Benachrichtigungen verwenden
Sie können Benachrichtigungsrichtlinien erstellen, um Messwerte zu beobachten und sich informieren zu lassen, wenn diese gegen eine Bedingung verstoßen.
-
Wählen Sie im Navigationsbereich der Google Cloud Console Monitoring und anschließend notifications Benachrichtigungen aus:
- Wenn Sie keine Benachrichtigungskanäle erstellt haben und Benachrichtigungen erhalten möchten, klicken Sie auf Benachrichtigungskanäle bearbeiten und fügen Sie Benachrichtigungskanäle hinzu. Kehren Sie nach dem Hinzufügen der Kanäle zur Seite Benachrichtigungen zurück.
- Klicken Sie auf der Seite Benachrichtigungen auf Richtlinie erstellen.
- Maximieren Sie zum Auswählen des Messwerts das Menü Messwert auswählen und gehen Sie dann so vor:
- Um das Menü auf relevante Einträge zu beschränken, geben Sie in die Filterleiste
Cloud Composerein. Wenn nach dem Filtern des Menüs keine Ergebnisse angezeigt werden, deaktivieren Sie die Option Nur aktive Ressourcen und Messwerte anzeigen. - Wählen Sie als Ressourcentyp die Option Cloud Composer-Umgebung oder Cloud Composer-Workflow aus.
- Wählen Sie eine Messwertkategorie und einen Messwert aus und klicken Sie dann auf Übernehmen.
- Um das Menü auf relevante Einträge zu beschränken, geben Sie in die Filterleiste
- Klicken Sie auf Next (Weiter).
- Die Einstellungen auf der Seite Benachrichtigungstrigger konfigurieren bestimmen, wann die Benachrichtigung ausgelöst wird. Wählen Sie einen Bedingungstyp aus und geben Sie ggf. einen Schwellenwert an. Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien mit Messwertschwellen erstellen.
- Klicken Sie auf Next (Weiter).
- Optional: Klicken Sie auf Benachrichtigungskanäle, um Benachrichtigungen zu Ihrer Benachrichtigungsrichtlinie hinzuzufügen. Wählen Sie im Dialogfeld einen oder mehrere Benachrichtigungskanäle aus dem Menü aus und klicken Sie dann auf OK.
- Optional: Aktualisieren Sie die Dauer bis zur automatischen Schließung von Vorfällen. Dieses Feld bestimmt, wann Monitoring Vorfälle ohne Messwertdaten schließt.
- Optional: Klicken Sie auf Dokumentation und geben Sie alle Informationen ein, die in einer Benachrichtigung angezeigt werden sollen.
- Klicken Sie auf Name der Benachrichtigung und geben Sie einen Namen für die Benachrichtigungsrichtlinie ein.
- Klicken Sie auf Richtlinie erstellen.