Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Sie können Cloud Monitoring und Cloud Logging mit Cloud Composer verwenden.
Cloud Monitoring verschafft Einblick in die Leistung, Betriebszeit und reibungslose Funktion von cloudbasierten Anwendungen. Cloud Monitoring erfasst und erfasst Messwerte, Ereignisse und Metadaten aus Cloud Composer, um Informationen in Dashboards und Diagrammen zu generieren. Mit Cloud Monitoring können Sie die Leistung und den Zustand Ihrer Cloud Composer-Umgebungen und Airflow-Messwerte ermitteln.
Mit Logging werden Logs erfasst, die von den Planer- und Worker-Containern im Cluster Ihrer Umgebung generiert wurden. Diese Logs enthalten Informationen zu Abhängigkeiten auf Systemebene und Airflow-Abhängigkeiten, um das Debugging zu vereinfachen. Informationen zum Aufrufen von Logs finden Sie unter Airflow-Logs ansehen.
Hinweise
Die folgenden Berechtigungen sind erforderlich, um auf Logs und Messwerte für Ihre Cloud Composer-Umgebung zuzugreifen:
- Schreibgeschützter Zugriff auf Logs und Messwerte:
logging.viewerundmonitoring.viewer - Lesezugriff auf Logs, einschließlich privater Logs:
logging.privateLogViewer - Lese-/Schreibzugriff auf Messwerte:
monitoring.editor
Weitere Informationen zu anderen Berechtigungen und Rollen für Cloud Composer finden Sie unter Zugriffssteuerung.
- Schreibgeschützter Zugriff auf Logs und Messwerte:
Zur Vermeidung einer doppelten Logging-Aktivität ist Cloud Logging für Google Kubernetes Engine deaktiviert.
Cloud Logging generiert für jeden Status und jedes Ereignis in Ihrem Google Cloud-Projekt einen Eintrag. Mit Ausschlussfiltern können Sie das Logvolumen reduzieren, einschließlich der Logs, die Cloud Logging für Cloud Composer erstellt.
Das Ausschließen von Logs von
jobs.pykann zu Fehlern bei der Systemdiagnose undCrashLoopBackOff-Fehlern führen. Sie müssen-jobs.pyin Ausschlussfilter einschließen, damit sie nicht ausgeschlossen werden.Monitoring kann weder die Anzahlwerte für DAGs und Aufgaben darstellen, die mehr als einmal pro Minute ausgeführt werden, noch Messwerte für fehlgeschlagene Aufgaben darstellen.
Umgebungsmesswerte
Mit Umgebungsmesswerten können Sie die Ressourcennutzung und den Status Ihrer Cloud Composer-Umgebungen prüfen.
Umgebungsstatus
Mit dem folgenden Messwert für den Systemstatus können Sie den Status Ihrer Umgebung prüfen: composer.googleapis.com/environment/healthy.
Cloud Composer führt einen Aktivitäts-DAG mit dem Namen airflow_monitoring aus, der nach einem Zeitplan ausgeführt wird und den Umgebungsstatus so meldet:
- Wenn die Ausführung des Aktivitäts-DAG erfolgreich abgeschlossen wurde, lautet der Systemstatus
True. - Wenn die Ausführung des Aktivitäts-DAG fehlschlägt, lautet der Systemstatus
False.
Der Aktivitäts-DAG wird im Ordner dags/ gespeichert und in der Airflow-UI angezeigt. Häufigkeit und Inhalte des Aktivitäts-DAG sind unveränderlich und dürfen nicht geändert werden. Änderungen am Aktivitäts-DAG werden nicht beibehalten.
Abhängigkeiten der Umgebung prüfen
Cloud Composer überprüft regelmäßig, ob die Umgebung die für ihren Betrieb erforderlichen Dienste erreichen kann und über ausreichende Berechtigungen zur Interaktion mit diesen Diensten verfügt. Beispiele für Dienste, die für den Betrieb der Umgebung erforderlich sind, sind Artifact Registry, Cloud Logging und Cloud Monitoring.
Die folgenden Messwerte sind für die Abhängigkeitsprüfungen der Umgebung verfügbar:
| Abhängigkeitsmesswert | API | Beschreibung |
|---|---|---|
| Anzahl der Abhängigkeitsprüfungen | composer.googleapis.com/environment/health/dependency_check_count |
Dieser Messwert erfasst, wie oft Erreichbarkeitsprüfungen für Dienste ausgeführt werden, die für den Betrieb der Umgebung erforderlich sind. |
| Anzahl der Prüfung von Abhängigkeitsberechtigungen | composer.googleapis.com/environment/health/dependency_permissions_check_count |
Dieser Messwert erfasst, wie oft Berechtigungsprüfungen für Dienste ausgeführt werden, die für den Betrieb der Umgebung erforderlich sind. |
Datenbankstatus
Mit dem folgenden Messwert für den Systemstatus können Sie den Status Ihrer Datenbank prüfen: composer.googleapis.com/environment/database_health.
Der Airflow-Monitoring-Pod pingt die Datenbank jede Minute an und meldet den Systemstatus als True, wenn eine SQL-Verbindung hergestellt werden kann, oder als False, wenn nicht.
Datenbankmesswerte
Folgenden Umgebungsmesswerte sind für die Airflow-Metadatendatenbank verfügbar, die von Cloud Composer-Umgebungen verwendet wird. Mit diesen Messwerten können Sie die Leistung und Ressourcennutzung der Datenbankinstanz Ihrer Umgebung überwachen.
Sie können beispielsweise ein Upgrade des Cloud SQL-Maschinentyps Ihrer Umgebung durchführen, wenn sich Ihre Umgebung den Ressourcenlimits nähert. Sie können auch die Kosten im Zusammenhang mit der Nutzung der Airflow-Metadatendatenbank optimieren, indem Sie eine Datenbankbereinigung durchführen, damit der Speicher unter einem bestimmten Schwellenwert bleibt.
| Datenbankmesswert | API | Beschreibung |
|---|---|---|
| CPU-Nutzung der Datenbank |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| Datenbank-CPU-Kerne |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| CPU-Auslastung der Datenbank |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| Arbeitsspeichernutzung der Datenbank |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| Arbeitsspeicherkontingent der Datenbank |
composer.googleapis.com/environment/database/memory/quota
|
|
| Speichernutzung der Datenbank |
composer.googleapis.com/environment/database/memory/utilization
|
|
| Datenträgerbelegung der Datenbank |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| Laufwerkskontingent der Datenbank |
composer.googleapis.com/environment/database/disk/quota
|
|
| Laufwerksauslastung der Datenbank |
composer.googleapis.com/environment/database/disk/utilization
|
|
| Limit für Datenbankverbindungen |
composer.googleapis.com/environment/database/network/max_connections
|
|
| Datenbankverbindungen |
composer.googleapis.com/environment/database/network/connections
|
|
| Datenbank für Failover verfügbar |
composer.googleapis.com/environment/database/available_for_failover
|
Der Wert True, wenn sich die Cloud SQL-Instanz der Umgebung im Hochverfügbarkeitsmodus befindet und für ein Failover bereit ist. |
| Anzahl der automatischen Failover-Anfragen der Datenbank |
composer.googleapis.com/environment/database/auto_failover_request_count
|
Gesamtzahl der Anfragen für automatischen Failover der Cloud SQL-Instanz der Umgebung. |
Planermesswerte
| Name | API | Beschreibung |
|---|---|---|
| Aktive Planer |
composer.googleapis.com/environment/active_schedulers
|
Anzahl der aktiven Planerinstanzen. |
Triggermesswerte
Die folgenden Trigger-Messwerte werden ausschließlich für Cloud Composer bereitgestellt:
| Name | API | Beschreibung |
|---|---|---|
| Aktive Trigger |
composer.googleapis.com/environment/active_triggerers
|
Die Anzahl der aktiven Triggerinstanzen. |
Darüber hinaus sind die folgenden Airflow-Messwerte über Cloud Composer-Messwerte verfügbar:
| Name | API | Name in Airflow | Beschreibung |
|---|---|---|---|
| Gesamtzahl der laufenden Trigger |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
Die Anzahl der ausgeführten Trigger pro Triggerinstanz. |
| Blockierende Trigger |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
Anzahl der Trigger, die den Hauptthread blockiert haben (wahrscheinlich weil sie nicht vollständig asynchron waren). |
| Fehlgeschlagene Trigger |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
Anzahl der Trigger, die aufgrund eines Fehlers fehlgeschlagen sind, bevor ein Ereignis ausgelöst werden konnte. |
| Erfolgreiche Trigger |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
Anzahl der Trigger, die mindestens ein Ereignis ausgelöst haben. |
Webservermesswerte
Folgende Umgebungsmesswerte sind für den Airflow-Webserver verfügbar, der von Cloud Composer-Umgebungen verwendet wird. Mit diesen Messwerten können Sie die Leistung und Ressourcennutzung der Airflow-Webserverinstanz Ihrer Umgebung prüfen.
Möglicherweise möchten Sie den Webserver-Maschinentyp aktualisieren, wenn er sich ständig den Ressourcenlimits nähert.
| Name | API | Beschreibung |
|---|---|---|
| Webserver-CPU-Nutzung |
composer.googleapis.com/environment/web_server/cpu/usage_time
|
|
| Webserver-CPU-Kontingent |
composer.googleapis.com/environment/web_server/cpu/reserved_cores
|
|
| Webserver-Arbeitsspeichernutzung |
composer.googleapis.com/environment/web_server/memory/bytes_used
|
|
| Webserver-Arbeitsspeicherkontingent |
composer.googleapis.com/environment/web_server/memory/quota
|
|
| Aktive Webserver |
composer.googleapis.com/environment/active_webservers
|
Anzahl der aktiven Webserverinstanzen. |
DAG-Messwerte
Mit den folgenden DAG-Messwerten können Sie die Effizienz Ihrer DAG-Ausführungen überwachen und Aufgaben identifizieren, die eine hohe Latenz verursachen.
| DAG-Messwert | API |
|---|---|
| Anzahl der DAG-Ausführungen |
composer.googleapis.com/workflow/run_count |
| Dauer jeder DAG-Ausführung |
composer.googleapis.com/workflow/run_duration |
| Anzahl der Aufgabenausführungen |
composer.googleapis.com/workflow/task/run_count |
| Dauer jeder Taskausführung |
composer.googleapis.com/workflow/task/run_duration |
Cloud Monitoring stellt nur die Messwerte für abgeschlossene Workflows und Aufgaben (als erfolgreich oder fehlgeschlagen) dar. No Data (Keine Daten) wird angezeigt, wenn keine Workflowaktivität vorhanden ist, oder für Workflow- und Aufgabenausführungen, die sich in Bearbeitung befinden.
Celery Executor-Messwerte
Die folgenden Celery Executor-Messwerte sind verfügbar. Mithilfe dieser Messwerte können Sie feststellen, ob in Ihrer Umgebung genügend Worker-Ressourcen vorhanden sind.
| Celery Executor-Messwert | API |
|---|---|
| Anzahl der Aufgaben in der Warteschlange |
composer.googleapis.com/environment/task_queue_length |
| Anzahl der Online-Celery-Worker |
composer.googleapis.com/environment/num_celery_workers |
Airflow-Messwerte
Die folgenden Airflow-Messwerte sind verfügbar. Diese Messwerte entsprechen den von Airflow bereitgestellten Messwerten.
| Name | API | Name in Airflow | Beschreibung |
|---|---|---|---|
| Exit-Codes ungleich null Celery-Task |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
Anzahl der Exit-Codes ungleich null aus Celery-Aufgaben. |
| Zeitüberschreitungen beim Veröffentlichen von Celery-Tasks |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
Anzahl der AirflowTaskTimeout Fehler, die beim Veröffentlichen der Aufgabe in Celery Broker aufgetreten sind. |
| Dauer des DAG-Abrufs serialisiert |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
Zeit für das Abrufen aller serialisierten DAGs aus der Datenbank. |
| DAG-Aktualisierungsfehler |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
Anzahl der Ausnahmen, die von DAG-Callbacks ausgelöst wurden. In diesem Fall funktioniert ein DAG-Callback nicht. |
| DAG-Aktualisierungsfehler |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
Anzahl der Fehler beim Laden von DAG-Dateien. |
| Ladezeit der DAG-Datei |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
Zeit zum Laden einer bestimmten DAG-Datei. |
| Zeit seit der Verarbeitung der DAG-Datei |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
Sekunden seit der letzten Verarbeitung einer DAG-Datei. |
| DagFileProcessorManager-Stall-Anzahl |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
Anzahl der angehaltenen DagFileProcessorManager-Prozesse. |
| DAG-Parsing-Fehler |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
Anzahl der beim Parsen von DAG-Dateien generierten Fehler. |
| DAG-Parsing-Prozesse ausführen |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
Anzahl der aktuell ausgeführten DAG-Parsing-Prozesse. |
| Zeitüberschreitungen des Prozessors |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
Anzahl der Dateiprozessoren, die aufgrund ihrer langen Dauer beendet wurden. |
| Zeitaufwand für das Scannen und Importieren aller DAG-Dateien |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
Gesamtzeit für das einmalige Scannen und Importieren aller DAG-Dateien. |
| Aktuelle DAG-Bag-Größe |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
Anzahl der DAGs, die gefunden wurden, als der Planer einen Scan anhand seiner Konfiguration ausgeführt hat. |
| E-Mail-Benachrichtigungen über fehlgeschlagene SLA-Fehler |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
Anzahl der fehlgeschlagenen E-Mail-Benachrichtigungen per SLA. |
| Slots in Executor öffnen |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
Anzahl der offenen Slots im Executor. |
| Aufgaben in der Warteschlange auf Executor |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
Anzahl der Aufgaben in der Warteschlange im Executor. |
| Tasks in Executor ausführen |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
Anzahl der laufenden Tasks auf dem Executor. |
| Erfolge/Fehler bei der Aufgabeninstanz |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
Allgemeine Erfolge/Misserfolge der Aufgabeninstanz. |
| Gestartete/abgeschlossene Jobs |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
Anzahl der gestarteten/abgeschlossenen Jobs, z. B. SchedulerJob oder LocalTaskJob. |
| Job-Heartbeat-Fehler |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
Anzahl der fehlgeschlagenen Heartbeats für einen Job. |
| Pro Operator erstellte Aufgaben |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
Anzahl der Aufgabeninstanzen, die für einen bestimmten Operator erstellt wurden. |
| Operatorausführungen |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
Anzahl der abgeschlossenen Aufgabeninstanzen pro Operator |
| Slots im Pool öffnen |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
Anzahl der offenen Slots im Pool. |
| Slots in der Warteschlange im Pool |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
Anzahl der Slots in der Warteschlange im Pool. |
| Slots im Pool ausführen |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
Anzahl der ausgeführten Slots im Pool. |
| Unerledigte Aufgaben im Pool |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
Anzahl der ausstehenden Aufgaben im Pool. |
| Zeit im kritischen Bereich des Planers |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
Zeit im kritischen Bereich der Planerschleife. In diese Schleife kann jeweils nur ein Planer eintreten. |
| Kritische Fehler bei Abschnittssperren |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
Anzahl der Fälle, in denen ein Planerprozess versucht hat, eine Sperre für den kritischen Bereich (zum Senden von Aufgaben an den Executor) abzurufen, und festgestellt hat, dass er durch einen anderen Prozess gesperrt wurde. |
| Extern beendete Aufgaben |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
Anzahl der extern beendeten Aufgaben. |
| Verwaiste Aufgaben |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
Anzahl der verwaisten Aufgaben, die vom Planer gelöscht/übernommen wurden. |
| Laufende/ausführbare Aufgaben/ausführbare Aufgaben |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
Anzahl der laufenden/ausstehenden/ausführbaren Aufgaben. |
| Planer-Heartbeats |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
Planer-Heartbeats. |
| Fehlgeschlagene SLA-Callback-Benachrichtigungen |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
Anzahl der fehlgeschlagenen Benachrichtigungsversuche beim SLA-Fehler-Rückruf. |
| Fehler bei Ausnahmefehlern beim intelligenten Sensor-Poking |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
Anzahl der Fehler, die durch eine Ausnahme in der vorherigen intelligenten Sensor-Poking-Schleife verursacht wurden. |
| Infrastrukturausfälle durch intelligente Sensorerkennung |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
Anzahl der Infrastrukturausfälle in der vorherigen intelligenten Sensor-Poking-Schleife. |
| Ausnahmen für Smart Sensor Poking |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
Anzahl der Ausnahmen in der vorherigen Schleife des intelligenten Sensors. |
| Intelligenter Sensor hat Aufgaben eingefügt |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
Anzahl der neu erfolgreichen Aufgaben, die der intelligente Sensor in der vorherigen Poking-Schleife durchlaufen hat. |
| Intelligenter Sensor, bei dem Aufgaben erkannt werden |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
Anzahl der Aufgaben, die der intelligente Sensor in der vorherigen Poking-Schleife durchlaufen hat. |
| Zuvor erfolgreiche Aufgabeninstanzen |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
Anzahl der zuvor erfolgreich ausgeführten Aufgabeninstanzen. |
| Beendete Zombie-Aufgaben |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
Anzahl der beendeten Zombie-Aufgaben. |
| DAG-Ausführungsdauer |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
Zeit, die ein DagRun benötigt, um den Status „Erfolgreich“ oder „Fehlgeschlagen“ zu erreichen. |
| Dauer der DAG-Abhängigkeitsprüfung |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
Zeit zum Prüfen der DAG-Abhängigkeiten. Dieser Messwert unterscheidet sich von den Messwerten für Abhängigkeits- und Berechtigungsprüfungen der Umgebung und gilt für DAGs |
| Verzögerung beim DAG-Ausführungszeitplan |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Zeit der Verzögerung zwischen dem geplanten DagRun-Startdatum und dem tatsächlichen DagRun-Startdatum. |
| Erledigte Aufgaben |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
Anzahl der abgeschlossenen Aufgaben in einem bestimmten DAG. |
| Ausführungsdauer der Taskinstanz |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
Zeit, die zum Abschließen einer Aufgabe benötigt wird. |
| Gestartete Aufgaben |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
Anzahl der gestarteten Aufgaben in einem bestimmten DAG. |
| Aufgaben aus DAG entfernt |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
Anzahl der Aufgaben, die für einen bestimmten DAG entfernt wurden (d. h. die Aufgabe ist im DAG nicht mehr vorhanden). |
| Aufgaben in DAG wiederhergestellt |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
Anzahl der Aufgaben, die für einen bestimmten DAG wiederhergestellt wurden (d. h. eine Aufgabeninstanz, die zuvor in der Datenbank den Status „Entfernt“ hatte, wird der DAG-Datei hinzugefügt). |
| Verzögerung beim Aufgabenzeitplan |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Verstrichene Zeit zwischen dem Startdatum der ersten Aufgabe und dem erwarteten Start der Aufgabe dagrun. |
Monitoring für Cloud Composer-Umgebungen verwenden
Console
Sie können den Metrics Explorer verwenden, um Messwerte anzuzeigen, die sich auf Ihre Umgebungen und DAGs beziehen:
Die Ressource Cloud Composer Environment enthält Messwerte für Umgebungen.
Wenn Sie Messwerte für eine bestimmte Umgebung sehen möchten, filtern Sie Messwerte nach dem Label
environment_name. Sie können auch nach anderen Labels filtern, z. B. nach dem Standort der Umgebung oder der Image-Version.Die Ressource Cloud Composer Workflow enthält Messwerte für DAGs.
Wenn Sie Messwerte für einen bestimmten DAG oder eine bestimmte Aufgabe ansehen möchten, filtern Sie Messwerte nach den Labels
workflow_nameundtask_name. Sie können auch nach anderen Labels filtern, z. B. nach Aufgabenstatus oder Name des Airflow-Operators.
API und gcloud
Über die Cloud Monitoring API und den Befehl gcloud monitoring dashboards können Sie benutzerdefinierte Dashboards und Widgets erstellen und verwalten. Weitere Informationen finden Sie unter Dashboards nach API verwalten.
Weitere Informationen zu Ressourcen, Messwerten und Filtern finden Sie in der Referenz zur Cloud Monitoring API:
Cloud Monitoring-Benachrichtigungen verwenden
Sie können Benachrichtigungsrichtlinien erstellen, um Messwerte zu beobachten und sich informieren zu lassen, wenn diese gegen eine Bedingung verstoßen.
-
Rufen Sie in der Google Cloud Console die Seite notifications Benachrichtigungen auf:
Wenn Sie diese Seite über die Suchleiste suchen, wählen Sie das Ergebnis aus, dessen Zwischenüberschrift Monitoring ist.
- Wenn Sie keine Benachrichtigungskanäle erstellt haben und Benachrichtigungen erhalten möchten, klicken Sie auf Benachrichtigungskanäle bearbeiten und fügen Sie Benachrichtigungskanäle hinzu. Kehren Sie nach dem Hinzufügen der Kanäle zur Seite Benachrichtigungen zurück.
- Klicken Sie auf der Seite Benachrichtigungen auf Richtlinie erstellen.
- Maximieren Sie zum Auswählen des Messwerts das Menü Messwert auswählen und gehen Sie dann so vor:
- Um das Menü auf relevante Einträge zu beschränken, geben Sie in die Filterleiste
Cloud Composerein. Wenn nach dem Filtern des Menüs keine Ergebnisse angezeigt werden, deaktivieren Sie die Option Nur aktive Ressourcen und Messwerte anzeigen. - Wählen Sie als Ressourcentyp die Option Cloud Composer-Umgebung oder Cloud Composer-Workflow aus.
- Wählen Sie eine Messwertkategorie und einen Messwert aus und klicken Sie dann auf Übernehmen.
- Um das Menü auf relevante Einträge zu beschränken, geben Sie in die Filterleiste
- Klicken Sie auf Weiter.
- Die Einstellungen auf der Seite Benachrichtigungstrigger konfigurieren bestimmen, wann die Benachrichtigung ausgelöst wird. Wählen Sie einen Bedingungstyp aus und geben Sie ggf. einen Schwellenwert an. Weitere Informationen finden Sie unter Benachrichtigungsrichtlinien mit Messwertschwellen erstellen.
- Klicken Sie auf Weiter.
- Optional: Klicken Sie auf Benachrichtigungskanäle, um Benachrichtigungen zu Ihrer Benachrichtigungsrichtlinie hinzuzufügen. Wählen Sie im Dialogfeld einen oder mehrere Benachrichtigungskanäle aus dem Menü aus und klicken Sie dann auf OK.
- Optional: Aktualisieren Sie die Dauer bis zur automatischen Schließung von Vorfällen. Dieses Feld bestimmt, wann Monitoring Vorfälle ohne Messwertdaten schließt.
- Optional: Klicken Sie auf Dokumentation und geben Sie alle Informationen ein, die in einer Benachrichtigung angezeigt werden sollen.
- Klicken Sie auf Name der Benachrichtigung und geben Sie einen Namen für die Benachrichtigungsrichtlinie ein.
- Klicken Sie auf Richtlinie erstellen.