Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Vous pouvez utiliser Cloud Monitoring et Cloud Logging avec Cloud Composer.
Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. Cloud Monitoring collecte et ingère des métriques, des événements et des métadonnées à partir de Cloud Composer pour générer des insights dans des tableaux de bord et des graphiques. Vous pouvez utiliser Cloud Monitoring pour comprendre les performances et l'état de vos environnements Cloud Composer et de vos métriques Airflow.
Logging enregistre les journaux produits par les conteneurs de planificateur et de nœuds de calcul dans le cluster de votre environnement. Ces journaux contiennent des informations sur les dépendances au niveau du système et d'Airflow qui permettent de faciliter le processus de débogage. Pour en savoir plus sur l'affichage des journaux, consultez Afficher les journaux Airflow.
Avant de commencer
Vous devez disposer des autorisations suivantes pour accéder aux journaux et aux métriques de l'environnement Cloud Composer :
- Accès en lecture seule aux journaux et aux métriques :
logging.vieweretmonitoring.viewer - Accès en lecture seule aux journaux, y compris les journaux privés :
logging.privateLogViewer - Accès en lecture/écriture aux métriques :
monitoring.editor
Pour en savoir plus sur les autres autorisations et rôles pour Cloud Composer, consultez Contrôle des accès.
- Accès en lecture seule aux journaux et aux métriques :
Pour éviter la journalisation en double, Cloud Logging pour Google Kubernetes Engine est désactivé.
Cloud Logging génère une entrée pour chaque état et événement se produisant dans votre projet Google Cloud . Vous pouvez utiliser des filtres d'exclusion pour réduire le volume des journaux, y compris ceux générés par Cloud Logging pour Cloud Composer.
Métriques d'environnement
Vous pouvez utiliser des métriques d'environnement pour vérifier l'utilisation et l'état des ressources de vos environnements Cloud Composer.
État de l'environnement
Pour vérifier l'état de votre environnement, vous pouvez utiliser la métrique d'état d'intégrité suivante :
| Métrique | API |
|---|---|
| État d'un environnement |
composer.googleapis.com/environment/healthy |
Cloud Composer exécute un DAG d'activité nommé airflow_monitoring, qui s'exécute selon une programmation et indique l'état de l'environnement comme suit :
- Si l'exécution du DAG de liveness se termine correctement, l'état d'intégrité est
True. - Si l'exécution du DAG de liveness échoue, l'état d'intégrité est
False.
Le DAG d'activité est stocké dans le dossier dags/ et visible dans l'UI d'Airflow. La fréquence et le contenu du DAG d'activité sont immuables et ne doivent pas être modifiés. Les modifications apportées au DAG d'activité ne sont pas conservées.
Vérification des dépendances de l'environnement
Cloud Composer vérifie régulièrement que l'environnement peut accéder aux services nécessaires à son fonctionnement et qu'il dispose des autorisations suffisantes pour interagir avec eux. Artifact Registry, Cloud Logging et Cloud Monitoring sont des exemples de services requis pour le fonctionnement de l'environnement.
Les métriques suivantes sont disponibles pour les vérifications des dépendances de l'environnement :
| Métrique | API | Description |
|---|---|---|
| Nombre de vérifications des dépendances |
composer.googleapis.com/environment/health/dependency_check_count
|
Cette métrique suit le nombre de fois où des vérifications de l'accessibilité sont effectuées sur les services requis pour le fonctionnement de l'environnement. |
| Nombre de vérifications des autorisations de dépendance |
composer.googleapis.com/environment/health/dependency_permissions_check_count
|
Cette métrique suit le nombre de fois où les vérifications des autorisations sont effectuées sur les services requis pour le fonctionnement de l'environnement. |
État de la base de données
Pour vérifier l'état de votre base de données, vous pouvez utiliser la métrique d'état d'intégrité suivante : composer.googleapis.com/environment/database_health.
Le pod de surveillance Airflow pingue la base de données toutes les minutes. Il indique l'état d'intégrité True si une connexion SQL peut être établie ou False si cela n'est pas possible.
Métriques de base de données
Les métriques d'environnement suivantes sont disponibles pour la base de données de métadonnées Airflow utilisée par les environnements Cloud Composer. Vous pouvez utiliser ces métriques pour surveiller les performances et l'utilisation des ressources de l'instance de base de données de votre environnement.
Par exemple, vous pouvez mettre à niveau le type de machine Cloud SQL de votre environnement si votre environnement approche des limites de ressources. Vous pouvez également optimiser les coûts liés à l'utilisation de la base de données de métadonnées Airflow en effectuant un nettoyage de la base de données, afin de maintenir l'espace disque utilisé sous un certain seuil.
| Métrique de base de données | API | Description |
|---|---|---|
| Utilisation du processeur de la base de données |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| Cœurs de processeur de base de données |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| Utilisation de processeur de la base de données |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| Utilisation de mémoire de la base de données |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| Quota de mémoire de la base de données |
composer.googleapis.com/environment/database/memory/quota
|
|
| Utilisation de mémoire de la base de données |
composer.googleapis.com/environment/database/memory/utilization
|
|
| Utilisation d'espace disque de la base de données |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| Quota d'espace disque de la base de données |
composer.googleapis.com/environment/database/disk/quota
|
|
| Utilisation d'espace disque de la base de données |
composer.googleapis.com/environment/database/disk/utilization
|
|
| Limite de connexions à la base de données |
composer.googleapis.com/environment/database/network/max_connections
|
|
| Connexions à la base de données |
composer.googleapis.com/environment/database/network/connections
|
|
| Base de données disponible pour le basculement |
composer.googleapis.com/environment/database/available_for_failover
|
True si l'instance Cloud SQL de l'environnement est en mode haute disponibilité et prête pour le basculement. |
| Nombre de demandes de basculement automatique de la base de données |
composer.googleapis.com/environment/database/auto_failover_request_count
|
Nombre total de demandes de basculement automatique de l'instance Cloud SQL de l'environnement. |
Métriques des nœuds de calcul
Les métriques d'environnement suivantes sont disponibles pour les nœuds de calcul Airflow dans les environnements Cloud Composer 3 et Cloud Composer 2.
Cette métrique est utilisée pour mettre automatiquement à l'échelle le nombre de nœuds de calcul dans votre environnement. L'autoscaler horizontal des pods définit cette métrique, puis le composant d'environnement Contrôleur d'ensemble de nœuds de calcul Airflow utilise cette métrique pour augmenter ou diminuer le nombre de nœuds de calcul Airflow, en fonction de la valeur de cette métrique.
| Métriques des workers | API |
|---|---|
| Cible du facteur de scaling |
composer.googleapis.com/environment/worker/scale_factor_target |
Métriques du programmeur
| Nom | API | Description |
|---|---|---|
| Programmeurs actifs |
composer.googleapis.com/environment/active_schedulers
|
Nombre d'instances de planificateur actives. |
Métriques du déclencheur
| Nom | API | Description |
|---|---|---|
| Déclencheurs actifs |
composer.googleapis.com/environment/active_triggerers
|
Nombre d'instances de déclencheur actives. |
Métriques de serveur Web
Les métriques d'environnement suivantes sont disponibles pour le serveur Web Airflow utilisé par les environnements Cloud Composer. Vous pouvez utiliser ces métriques pour vérifier les performances et l'utilisation des ressources de l'instance de serveur Web Airflow de votre environnement.
Par exemple, vous pouvez mettre à niveau le type de machine du serveur Web s'il approche constamment des limites de ressources.
| Nom | API | Description |
|---|---|---|
| Serveurs Web actifs |
composer.googleapis.com/environment/active_webservers
|
Nombre d'instances de serveur Web actives. |
| Utilisation du processeur du serveur Web |
composer.googleapis.com/environment/web_server/cpu/usage_time
|
|
| Quota de processeurs du serveur Web |
composer.googleapis.com/environment/web_server/cpu/reserved_cores
|
|
| Utilisation de la mémoire du serveur Web |
composer.googleapis.com/environment/web_server/memory/bytes_used
|
|
| Quota de mémoire du serveur Web |
composer.googleapis.com/environment/web_server/memory/quota
|
Quotas pour les services utilisés par l'environnement
Cloud Composer utilise d'autres services Google Cloud . Ces services ont des quotas au niveau du projet qui s'appliquent lorsque vous utilisez Cloud Composer.
Dans Cloud Composer 3, le cluster de l'environnement se trouve dans le projet locataire. Cloud Composer 3 fournit les métriques suivantes qui indiquent l'utilisation des quotas et les limites de quota correspondantes pour les services utilisés par votre environnement dans le projet locataire.
| Métrique | API | Description |
|---|---|---|
| Limite de quota de processeurs pour les charges de travail Cloud Composer |
composer.googleapis.com/environment/workloads_cpu_quota
|
(Cloud Composer 3 uniquement) : quota d'allocation de processeurs Compute Engine pour le nombre total de processeurs virtuels utilisés par un environnement. La limite s'applique par environnement. Si votre projet comporte plusieurs environnements Cloud Composer 3, chacun d'eux possède sa propre limite de quota. |
| Utilisation du quota de processeurs pour les charges de travail Cloud Composer |
composer.googleapis.com/environment/workloads_cpu_quota_usage
|
(Cloud Composer 3 uniquement) : utilisation du quota d'allocation de processeurs Compute Engine par un environnement. |
Métriques DAG
Pour vous aider à surveiller l'efficacité de vos exécutions de DAG et à identifier les tâches qui entraînent une latence élevée, les métriques de DAG suivantes sont disponibles.
| Métrique DAG | API |
|---|---|
| Nombre d'exécutions de DAG |
composer.googleapis.com/workflow/run_count |
| Durée de chaque exécution de DAG |
composer.googleapis.com/workflow/run_duration |
| Nombre d'exécutions de tâche |
composer.googleapis.com/workflow/task/run_count |
| Durée de chaque exécution de tâche |
composer.googleapis.com/workflow/task/run_duration |
Cloud Monitoring n'affiche que les métriques portant sur les exécutions de workflows et de tâches terminées (succès ou échec). Aucune donnée ne s'affiche lorsqu'il n'existe pas d'activité de workflow, ni quand les exécutions de workflows et de tâches sont en cours.
Métriques de l'exécuteur Celery
Les métriques suivantes de l'exécuteur Celery sont disponibles. Ces métriques peuvent vous aider à déterminer s'il existe suffisamment de ressources de calcul dans votre environnement.
| Métrique de l'exécuteur Celery | API |
|---|---|
| Nombre de tâches dans la file d'attente |
composer.googleapis.com/environment/task_queue_length |
| Nombre de nœuds de calcul Celery en ligne |
composer.googleapis.com/environment/num_celery_workers |
Métriques Airflow
Les métriques Airflow suivantes sont disponibles. Ces métriques correspondent aux métriques fournies par Airflow.
| Nom | API | Nom dans Airflow | Description |
|---|---|---|---|
| Codes de sortie non nuls des tâches Celery |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
Nombre de codes de sortie non nuls pour les tâches Celery. |
| Expirations de délais lors de la publication d'une tâche Celery |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
Nombre d'erreurs AirflowTaskTimeout relevées lors de la publication d'une tâche vers l'agent Celery. |
| Durée de récupération des DAG sérialisés |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
Temps nécessaire pour extraire tous les DAG sérialisés de la base de données. |
| Erreurs d'actualisation du DAG |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
Nombre d'exceptions générées par les rappels DAG. Dans ce cas, cela signifie qu'un rappel DAG ne fonctionne pas. |
| Erreurs d'actualisation du DAG |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
Nombre d'échecs lors du chargement des fichiers DAG. |
| Temps de chargement du fichier DAG |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
Temps nécessaire pour charger un fichier DAG spécifique. |
| Temps écoulé depuis le traitement du fichier DAG |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
Secondes écoulées depuis le dernier traitement d'un fichier DAG. |
| Nombre de blocages de DagFileProcessorManager |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
Nombre de processus DagFileProcessorManager bloqués. |
| Erreurs d'analyse du DAG |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
Nombre d'erreurs générées lors de l'analyse des fichiers DAG. |
| Exécuter des processus d'analyse de DAG |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
Nombre de processus d'analyse de DAG actuellement en cours d'exécution. |
| Délais avant expiration du processeur |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
Nombre de processeurs de fichiers arrêtés, car ils ont mis trop de temps. |
| Temps nécessaire pour analyser et importer tous les fichiers DAG |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
Temps total nécessaire pour analyser et importer tous les fichiers DAG une seule fois. |
| Taille actuelle du sac DAG |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
Nombre de DAG trouvés lorsque le planificateur a exécuté une analyse en fonction de sa configuration. |
| Notifications par e-mail en cas de non-respect des SLA |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
Nombre de tentatives d'envoi d'e-mails de notification d'échec du SLA. |
| Emplacements ouverts sur l'exécuteur |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
Nombre d'emplacements ouverts sur l'exécuteur. |
| Tâches mises en file d'attente sur l'exécuteur |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
Nombre de tâches en file d'attente sur l'exécuteur. |
| Exécuter des tâches sur l'exécuteur |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
Nombre de tâches en cours d'exécution sur l'exécuteur. |
| Succès/Échecs des instances de tâches |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
Nombre total de réussites/échecs des instances de tâches. |
| Tâches démarrées/terminées |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
Nombre de tâches démarrées/terminées, telles que SchedulerJob et LocalTaskJob. |
| Échecs de pulsation de job |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
Nombre de signaux de présence ayant échoué pour un job. |
| Tâches créées par opérateur |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
Nombre d'instances de tâches créées pour un opérateur donné. |
| Exécutions d'opérateurs |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
Nombre d'instances de tâches terminées par opérateur |
| Emplacements disponibles dans le pool |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
Nombre de créneaux disponibles dans le pool. |
| Emplacements mis en file d'attente dans le pool |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
Nombre d'emplacements mis en file d'attente dans le pool. |
| Emplacements d'exécution dans le pool |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
Nombre d'emplacements en cours d'exécution dans le pool. |
| Tâches affamées dans le pool |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
Nombre de tâches affamées dans le pool. |
| Temps passé dans la section critique du planificateur |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
Temps passé dans la section critique de la boucle du planificateur. Un seul planificateur peut entrer dans cette boucle à la fois. |
| Échecs de verrouillage de section critique |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
Nombre de fois où un processus de planification a tenté d'obtenir un verrou sur la section critique (nécessaire pour envoyer des tâches à l'exécuteur) et l'a trouvé verrouillé par un autre processus. |
| Tâches arrêtées en externe |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
Nombre de tâches arrêtées en externe. |
| Tâches orphelines |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
Nombre de tâches orphelines effacées/adoptées par le planificateur. |
| Tâches en cours d'exécution/affamées/exécutables |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
Nombre de tâches en cours d'exécution, affamées ou exécutables. |
| Pulsations du programmeur |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
Pulsations du planificateur. |
| Notifications de rappel SLA ayant échoué |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
Nombre de tentatives d'envoi de notifications de rappel de non-respect du SLA ayant échoué. |
| Échecs d'exception de test des capteurs intelligents |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
Nombre d'échecs causés par une exception dans la boucle de vérification du capteur intelligent précédente. |
| Défaillances de l'infrastructure de test des capteurs intelligents |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
Nombre d'échecs d'infrastructure dans la boucle de vérification des capteurs intelligents précédente. |
| Exceptions pour les capteurs intelligents |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
Nombre d'exceptions dans la boucle de vérification du capteur intelligent précédente. |
| Tâches de capteur intelligent déclenchées |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
Nombre de tâches récemment réussies détectées par le capteur intelligent lors de la boucle de détection précédente. |
| Tâches de piqûre de capteur intelligent |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
Nombre de tâches sollicitées par le capteur intelligent lors de la boucle de sollicitation précédente. |
| Instances de tâches ayant réussi précédemment |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
Nombre d'instances de tâches précédentes ayant réussi. |
| Tâches zombies supprimées |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
Nombre de tâches zombies supprimées. |
| Durée d'exécution du DAG |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
Temps nécessaire pour qu'un DAG Run atteigne l'état "Opération réussie" ou "Échec". |
| Durée de la vérification des dépendances de DAG |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
Temps nécessaire pour vérifier les dépendances du DAG. Cette métrique est différente de celles concernant les vérifications des dépendances et des autorisations de l'environnement, et s'applique aux DAG. |
| Retard de planification de l'exécution du DAG |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Délai entre la date de début planifiée du DagRun et la date de début réelle du DagRun. |
| Tâches terminées |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
Nombre de tâches terminées dans un DAG donné. |
| Durée d'exécution de l'instance de tâche |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
Temps nécessaire pour terminer une tâche. |
| Tâches commencées |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
Nombre de tâches démarrées dans un DAG donné. |
| Durée d'une instance de tâche en file d'attente |
composer.googleapis.com/workflow/task_instance/queued_duration
|
dag.<dag_id>.<task_id>.queued_duration
|
Temps pendant lequel une tâche reste à l'état "En file d'attente" avant de passer à l'état "En cours d'exécution". |
| Utilisation du CPU par tâche |
composer.googleapis.com/workflow/task/cpu_usage
|
task.cpu_usage.<dag_id>.<task_id>
|
Pourcentage de processeur utilisé par une tâche. |
| Utilisation de la mémoire par les tâches |
composer.googleapis.com/workflow/task/mem_usage
|
task.mem_usage.<dag_id>.<task_id>
|
Pourcentage de mémoire utilisée par une tâche. |
| Tâches supprimées du DAG |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
Nombre de tâches supprimées pour un DAG donné (c'est-à-dire que la tâche n'existe plus dans le DAG). |
| Tâches restaurées dans le DAG |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
Nombre de tâches restaurées pour un DAG donné (c'est-à-dire que l'instance de tâche qui était auparavant à l'état "SUPPRIMÉE" dans la base de données est ajoutée au fichier DAG). |
| Retard de planification de la tâche |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Temps écoulé entre la start_date de la première tâche et le début prévu du dagrun. |
| Nombre total de déclencheurs en cours d'exécution |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
Nombre de déclencheurs en cours d'exécution par instance de déclencheur. |
| Déclencheurs de blocage |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
Nombre de déclencheurs ayant bloqué le thread principal (probablement parce qu'ils n'étaient pas entièrement asynchrones). |
| Déclencheurs ayant échoué |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
Nombre de déclencheurs qui ont échoué avec une erreur avant de pouvoir déclencher un événement. |
| Déclencheurs réussis |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
Nombre de déclencheurs ayant déclenché au moins un événement. |
Utiliser Monitoring pour les environnements Cloud Composer
Console
Vous pouvez utiliser l'explorateur de métriques pour afficher les métriques liées à vos environnements et à vos DAG :
La ressource Cloud Composer Environment contient des métriques pour les environnements.
Pour afficher les métriques d'un environnement spécifique, filtrez les métriques par le libellé
environment_name. Vous pouvez également filtrer les données en fonction d'autres libellés, tels que l'emplacement de l'environnement ou la version de l'image.La ressource Cloud Composer Workflow contient des métriques pour les DAG.
Pour afficher les métriques d'un DAG ou d'une tâche spécifiques, filtrez les métriques par libellés
workflow_nameettask_name. Vous pouvez également filtrer par d'autres libellés, tels que l'état de la tâche ou le nom de l'opérateur Airflow.
API et gcloud
Vous pouvez créer et gérer des tableaux de bord et des widgets personnalisés à l'aide de l'API Cloud Monitoring et de la commande gcloud monitoring dashboards. Pour en savoir plus, consultez Gérer les tableaux de bord à l'aide d'API.
Pour en savoir plus sur les ressources, les métriques et les filtres, consultez la documentation de référence de l'API Cloud Monitoring :
Utiliser les alertes Cloud Monitoring
Vous pouvez créer des règles d'alerte pour surveiller les valeurs des métriques et être informé lorsqu'elles ne respectent pas une condition.
-
Dans la console Google Cloud , accédez à la page notifications Alertes :
Accéder à l'interface des alertes
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.
- Si vous n'avez pas créé vos canaux de notification et que vous souhaitez être averti, cliquez sur Modifier les canaux de notification et ajoutez vos canaux de notification. Revenez à la page Alertes après avoir ajouté vos canaux.
- Sur la page Alertes, cliquez sur Créer une règle.
- Pour sélectionner la métrique, développez le menu Sélectionner une métrique, puis procédez comme suit :
- Pour limiter le menu aux entrées pertinentes, saisissez
Cloud Composerdans la barre de filtre. Si aucun résultat ne s'affiche après avoir filtré le menu, désactivez l'option Afficher seulement les ressources et les métriques actives. - Pour le type de ressource, sélectionnez Environnement Cloud Composer ou Workflow Cloud Composer.
- Sélectionnez une Catégorie de métrique et une Métrique, puis cliquez sur Appliquer.
- Pour limiter le menu aux entrées pertinentes, saisissez
- Cliquez sur Suivant.
- Les paramètres de la page Configurer le déclencheur d'alerte déterminent le moment où l'alerte se déclenche. Sélectionnez un type de condition et, si nécessaire, spécifiez un seuil. Pour plus d'informations, consultez la page Créer des règles d'alerte basées sur un seuil de métrique.
- Cliquez sur Suivant.
- Facultatif : Pour ajouter des notifications à votre règle d'alerte, cliquez sur Canaux de notification. Dans la boîte de dialogue, sélectionnez un ou plusieurs canaux de notification dans le menu, puis cliquez sur OK.
- (Facultatif) Mettez à jour la durée de fermeture automatique de l'incident. Ce champ détermine à quel moment Monitoring ferme les incidents en l'absence de données de métriques.
- Facultatif : Cliquez sur Documentation, puis ajoutez les informations à inclure dans le message de notification.
- Cliquez sur Nom de l'alerte et saisissez un nom pour la règle d'alerte.
- Cliquez sur Créer une règle.