Cloud Composer 1 | Cloud Composer 2
Cette page explique comment surveiller l'état et les performances globaux de l'environnement Cloud Composer à l'aide de métriques clés dans le tableau de bord Monitoring.
Introduction
Ce tutoriel se concentre sur les principales métriques de surveillance de Cloud Composer, qui peuvent fournir un bon aperçu de l'état et des performances au niveau de l'environnement.
Cloud Composer propose plusieurs métriques qui décrivent l'état général de l'environnement. Les consignes de surveillance de ce tutoriel sont basées sur les métriques exposées dans le tableau de bord de surveillance de votre environnement Cloud Composer.
Dans ce tutoriel, vous découvrirez les métriques clés qui servent de principaux indicateurs des problèmes de performances et d'état de votre environnement, ainsi que les consignes permettant d'interpréter chaque métrique en mesures correctives pour maintenir un environnement sain. Vous allez également configurer des règles d'alerte pour chaque métrique, exécuter l'exemple de DAG, et utiliser ces métriques et alertes pour optimiser les performances de votre environnement.
Objectifs
Coûts
Ce tutoriel utilise les composants facturables suivants de Google Cloud :
- Cloud Composer (consultez la section sur les coûts supplémentaires)
- Cloud Monitoring
Une fois que vous avez terminé ce tutoriel, évitez de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.
Avant de commencer
Cette section décrit les actions requises avant de démarrer le tutoriel.
Créer et configurer un projet
Pour ce tutoriel, vous avez besoin d'un projet Google Cloud. Configurez le projet de la manière suivante:
Dans la console Google Cloud, sélectionnez ou créez un projet:
Assurez-vous que la facturation est activée pour votre projet. Découvrez comment vérifier si la facturation est activée sur un projet.
Assurez-vous que l'utilisateur de votre projet Google Cloud dispose des rôles suivants pour créer les ressources nécessaires:
- Administrateur de l'environnement et des objets Storage (
roles/composer.environmentAndStorageObjectAdmin
) - Administrateur de Compute (
roles/compute.admin
) - Éditeur Monitoring (
roles/monitoring.editor
)
- Administrateur de l'environnement et des objets Storage (
Activer les API pour votre projet.
Activez l'API Cloud Composer
Créer l'environnement Cloud Composer
Créez un environnement Cloud Composer 2.
Dans cette procédure, vous attribuez le rôle Extension d'agent de service de l'API Cloud Composer v2 (roles/composer.ServiceAgentV2Ext
) au compte d'agent de service Composer. Cloud Composer utilise ce compte pour effectuer des opérations dans votre projet Google Cloud.
Explorer les métriques clés sur l'état et les performances au niveau de l'environnement
Ce tutoriel se concentre sur les métriques clés qui peuvent vous donner un bon aperçu de l'état et des performances globales de votre environnement.
Le tableau de bord Monitoring de la console Google Cloud contient une variété de métriques et de graphiques permettant de surveiller les tendances de votre environnement et d'identifier les problèmes liés aux composants Airflow et aux ressources Cloud Composer.
Chaque environnement Cloud Composer possède son propre tableau de bord Monitoring.
Familiarisez-vous avec les métriques clés ci-dessous et localisez chacune d'elles dans le tableau de bord Monitoring:
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Surveillance.
Sélectionnez la section Présentation, recherchez l'élément Présentation de l'environnement dans le tableau de bord et observez la métrique État de l'environnement (DAG de surveillance Airflow).
Cette chronologie montre l'état de l'environnement Cloud Composer. La couleur verte de la barre d'état de l'environnement indique que l'environnement est sain, tandis que l'état non sain est indiqué en rouge.
À quelques minutes d'intervalle, Cloud Composer exécute un DAG d'activité nommé
airflow_monitoring
. Si l'exécution du DAG d'activité se termine correctement, l'état de fonctionnement estTrue
. Si l'exécution du DAG d'activité échoue (par exemple, en raison de l'éviction des pods, de l'arrêt d'un processus externe ou de la maintenance), l'état de fonctionnement estFalse
.
Sélectionnez la section Base de données SQL, localisez l'élément État de la base de données dans le tableau de bord et observez la métrique État de la base de données.
Cette chronologie indique l'état de la connexion à l'instance Cloud SQL de votre environnement. La barre verte d'état de la base de données indique la connectivité, tandis que les échecs de connexion sont indiqués en rouge.
Le pod de surveillance Airflow pingue la base de données régulièrement et indique l'état de fonctionnement
True
si une connexion peut être établie ouFalse
dans le cas contraire.
Dans l'élément État de la base de données, examinez les métriques Utilisation du processeur de la base de données et Utilisation de la mémoire de la base de données.
Le graphique d'utilisation du processeur de la base de données indique l'utilisation des cœurs de processeur par les instances de base de données Cloud SQL de votre environnement par rapport à la limite totale de processeur de la base de données disponible.
Le graphique d'utilisation de la mémoire de la base de données indique l'utilisation de la mémoire par les instances de base de données Cloud SQL de votre environnement par rapport à la limite de mémoire totale disponible pour la base de données.
Sélectionnez la section Schedulers (Programmeurs), recherchez l'élément Scheduler Heartbeat (Pulsion du programmeur) sur le tableau de bord et observez la métrique Fréquence cardiaque du programmeur.
Cette chronologie montre l'état du programmeur Airflow. Recherchez des zones rouges pour identifier les problèmes liés au planificateur Airflow. Si votre environnement comporte plusieurs programmeurs, l'état Heartbeat est opérationnel tant qu'au moins l'un des programmeurs répond.
Le programmeur est considéré comme non opérationnel si la dernière pulsation a été reçue plus de 30 secondes (valeur par défaut) avant l'heure actuelle.
Sélectionnez la section Statistiques du DAG, localisez l'élément Tâches zombies supprimées dans le tableau de bord et observez la métrique Tâches zombies supprimées.
Ce graphique indique le nombre de tâches zombies supprimées dans une courte fenêtre de temps. Les tâches zombies sont souvent causées par l'arrêt externe des processus Airflow (par exemple, lorsque le processus d'une tâche est arrêté).
Le programmeur Airflow supprime périodiquement les tâches zombies, comme le montre ce graphique.
Sélectionnez la section Workers, recherchez l'élément Worker container restarts (Redémarrages des conteneurs de nœuds de calcul) sur le tableau de bord et observez la métrique Worker container restarts (Redémarrages des conteneurs de nœuds de calcul).
- Un graphique indique le nombre total de redémarrages pour les conteneurs de nœuds de calcul individuels. Un trop grand nombre de redémarrages de conteneurs peut affecter la disponibilité de votre service ou d'autres services en aval qui l'utilisent comme dépendance.
Découvrez les benchmarks et les mesures correctives possibles pour les métriques clés.
La liste suivante décrit les valeurs de benchmark qui peuvent indiquer des problèmes et propose les mesures correctives que vous pouvez prendre pour les résoudre.
État de l'environnement (DAG de surveillance Airflow)
Taux de réussite inférieur à 90% sur une période de quatre heures
Les échecs peuvent entraîner l'éviction de pods ou l'arrêt de nœuds de calcul en raison d'une surcharge de l'environnement ou de dysfonctionnements. Les zones rouges de la chronologie de l'état de l'environnement sont généralement corrélées aux zones rouges dans les autres barres d'état des composants de l'environnement. Identifiez la cause racine en examinant les autres métriques dans le tableau de bord Monitoring.
État de la base de données
Taux de réussite inférieur à 95% sur une période de quatre heures
Les échecs signifient des problèmes de connectivité à la base de données Airflow, qui peuvent être le résultat d'un plantage ou d'un temps d'arrêt de la base de données en raison d'une surcharge de la base de données (par exemple, en raison d'une utilisation intensive du processeur ou de la mémoire, ou d'une latence accrue lors de la connexion à la base de données). Ces symptômes sont le plus souvent causés par des DAG non optimaux, par exemple lorsque les DAG utilisent de nombreuses variables d'environnement ou Airflow définies globalement. Identifiez la cause racine en examinant les métriques d'utilisation des ressources de base de données SQL. Vous pouvez également inspecter les journaux du programmeur à la recherche d'erreurs liées à la connectivité de la base de données.
Utilisation du processeur et de la mémoire de la base de données
Plus de 80% d'utilisation moyenne du processeur ou de la mémoire sur une période de 12 heures
La base de données est peut-être surchargée. Analysez la corrélation entre les exécutions de DAG et les pics d'utilisation du processeur ou de la mémoire de la base de données.
Vous pouvez réduire la charge de la base de données grâce à des DAG plus efficaces avec des requêtes et connexions en cours d'exécution optimisées, ou en répartissant la charge de manière plus uniforme dans le temps.
Vous pouvez également allouer plus de processeurs ou de mémoire à la base de données. Les ressources de la base de données sont contrôlées par la propriété de taille de votre environnement, et celui-ci doit être agrandi.
Pulsation du programmeur
Taux de réussite inférieur à 90% sur une période de quatre heures
Attribuez davantage de ressources au programmeur ou augmentez le nombre de programmeurs de 1 à 2 (recommandé).
Tâches zombie supprimées
Plus d'une tâche de zombie par 24 heures
La cause la plus fréquente des tâches zombies est le manque de ressources de processeur ou de mémoire dans le cluster de votre environnement. Examinez les graphiques d'utilisation des ressources de nœud de calcul et attribuez-leur davantage de ressources, ou augmentez le délai avant expiration des tâches zombies afin que le planificateur attende plus longtemps avant de considérer une tâche comme un zombie.
Redémarrages de conteneurs de nœuds de calcul
Plusieurs redémarrages par 24 heures
La cause la plus fréquente est un manque de mémoire ou de stockage des nœuds de calcul. Examinez la consommation des ressources des nœuds de calcul et allouez-leur plus de mémoire ou d'espace de stockage. Si ce n'est pas le cas, consultez la section Résoudre les problèmes liés au redémarrage des nœuds de calcul et utilisez les requêtes Logging pour identifier les raisons des redémarrages des nœuds de calcul.
Créer des canaux de notification
Suivez les instructions décrites dans Créer un canal de notification pour créer un canal de notification par e-mail.
Pour en savoir plus sur les canaux de notification, consultez Gérer les canaux de notification.
Créer des règles d'alerte
Créez des règles d'alerte basées sur les benchmarks fournis dans les sections précédentes de ce tutoriel pour surveiller en permanence les valeurs des métriques et recevoir des notifications lorsqu'elles ne respectent pas une condition.
Console
Vous pouvez configurer des alertes pour chaque métrique présente dans le tableau de bord Monitoring en cliquant sur l'icône en forme de cloche dans l'angle de l'élément correspondant:
Recherchez chaque métrique que vous souhaitez surveiller dans le tableau de bord Monitoring, puis cliquez sur l'icône en forme de cloche dans l'angle de la métrique. La page Créer une règle d'alerte s'ouvre.
Dans la section Transformer les données:
Configurez la section Dans chaque série temporelle, comme décrit dans la configuration des règles d'alerte pour la métrique.
Cliquez sur Suivant, puis configurez la section Configurer le déclencheur d'alerte comme décrit dans la configuration des règles d'alerte pour la métrique.
Cliquez sur Suivant.
Configurez les notifications. Développez le menu Canaux de notification et sélectionnez le ou les canaux de notification que vous avez créés à l'étape précédente.
Cliquez sur OK.
Dans la section Nom de la règle d'alerte, renseignez le champ Nom de la règle d'alerte. Attribuez un nom descriptif à chaque métrique. Utilisez la valeur "Nom de la règle d'alerte" comme décrit dans la configuration des règles d'alerte de la métrique.
Cliquez sur Suivant.
Examinez la règle d'alerte, puis cliquez sur Créer une règle.
Métrique d'état de l'environnement (DAG de surveillance Airflow) - configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer - Santé
- API: composer.googleapis.com/environment/healthy
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: personnalisée
- Valeur personnalisée: 4
- Unités personnalisées: heure(s)
- Fenêtrage glissant: fraction "true"
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: en dessous du seuil
- Valeur de seuil: 90
- Nom de la condition: État de l'environnement
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Airflow Environment Health (État de l'environnement Airflow)
Métrique d'état de la base de données – Configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer - Base de données opérationnelle
- API: composer.googleapis.com/environment/database_health
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: personnalisée
- Valeur personnalisée: 4
- Unités personnalisées: heure(s)
- Fenêtrage glissant: fraction "true"
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: en dessous du seuil
- Valeur de seuil: 95
- Nom de la condition: État de la base de données
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Airflow Database Health
Métrique d'utilisation du processeur de la base de données – Configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer – Utilisation du processeur de la base de données
- API: composer.googleapis.com/environment/database/cpu/utilization
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: personnalisée
- Valeur personnalisée: 12
- Unités personnalisées: heure(s)
- Fenêtrage glissant: moyenne
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: au-dessus du seuil
- Valeur de seuil: 80
- Nom de la condition: condition d'utilisation du processeur de la base de données
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Utilisation du processeur de la base de données Airflow
Métrique d'utilisation du processeur de la base de données – Configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer – Utilisation de la mémoire de la base de données
- API: composer.googleapis.com/environment/database/memory/utilization
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: personnalisée
- Valeur personnalisée: 12
- Unités personnalisées: heure(s)
- Fenêtrage glissant: moyenne
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: au-dessus du seuil
- Valeur de seuil: 80
- Nom de la condition: condition d'utilisation de la mémoire de la base de données
Configurer les notifications et finaliser l'alerte:
- Nommer la règle d'alerte: Utilisation de la mémoire de la base de données Airflow
Métrique "Heartbeats" du programmeur - configurations de règles d'alerte
- Nom de la métrique: Environnement Cloud Composer - Pulsations du programmeur
- API: composer.googleapis.com/environment/scheduler_heartbeat_count
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: personnalisée
- Valeur personnalisée: 4
- Unités personnalisées: heure(s)
- Fenêtrage glissant: nombre
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: en dessous du seuil
Valeur de seuil: 216
- Pour obtenir ce nombre, exécutez une requête qui agrège la valeur
_scheduler_heartbeat_count_mean
dans l'éditeur de requête de l'Explorateur de métriques.
- Pour obtenir ce nombre, exécutez une requête qui agrège la valeur
Nom de la condition: Condition de pulsation du programmeur
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Pulsation du programmeur Airflow
Métrique "Tâches zombies supprimées" - configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer - Tâches zombies supprimées
- API: composer.googleapis.com/environment/zombie_task_killed_count
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: 1 jour
- Fenêtrage glissant: somme
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: au-dessus du seuil
- Valeur du seuil: 1
- Nom de la condition: Condition de tâches zombies
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Tâches zombies Airflow
Métrique sur les redémarrages des conteneurs de nœuds de calcul - configurations des règles d'alerte
- Nom de la métrique: Environnement Cloud Composer - Tâches zombies supprimées
- API: composer.googleapis.com/environment/zombie_task_killed_count
Filtres :
environment_name = [ENVIRONMENT_NAME] location = [CLUSTER_LOCATION]
Transformer les données > Dans chaque série temporelle:
- Période glissante: 1 jour
- Fenêtrage glissant: somme
Configurez le déclencheur d'alerte:
- Types de conditions: seuil
- Déclencheur d'alerte: chaque infraction de série temporelle
- Position du seuil: au-dessus du seuil
- Valeur du seuil: 1
- Nom de la condition: Condition de tâches zombies
Configurer les notifications et finaliser l'alerte:
- Nommez la règle d'alerte: Tâches zombies Airflow
Terraform
Exécutez un script Terraform qui crée un canal de notification par e-mail et importe des règles d'alerte pour les métriques clés fournies dans ce tutoriel en fonction de leurs benchmarks respectifs:
- Enregistrez l'exemple de fichier Terraform sur votre ordinateur local.
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet Exemple :example-project
.EMAIL_ADDRESS
: adresse e-mail à avertir au cas où une alerte serait déclenchée.ENVIRONMENT_NAME
: nom de votre environnement Cloud Composer. Par exemple,example-composer-environment
.CLUSTER_NAME
: nom de votre cluster d'environnement. Vous le trouverez sous Configuration de l'environnement > Ressources > cluster GKE dans la console Google Cloud.
resource "google_monitoring_notification_channel" "basic" {
project = "PROJECT_ID"
display_name = "Test Notification Channel"
type = "email"
labels = {
email_address = "EMAIL_ADDRESS"
}
# force_delete = false
}
resource "google_monitoring_alert_policy" "environment_health_metric" {
project = "PROJECT_ID"
display_name = "Airflow Environment Health"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Environment health condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/healthy\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_LT"
threshold_value = 0.9
aggregations {
alignment_period = "14400s"
per_series_aligner = "ALIGN_FRACTION_TRUE"
}
}
}
}
resource "google_monitoring_alert_policy" "database_health_metric" {
project = "PROJECT_ID"
display_name = "Airflow Database Health"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Database health condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database_health\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_LT"
threshold_value = 0.95
aggregations {
alignment_period = "14400s"
per_series_aligner = "ALIGN_FRACTION_TRUE"
}
}
}
}
resource "google_monitoring_alert_policy" "alert_database_cpu_usage" {
project = "PROJECT_ID"
display_name = "Airflow Database CPU Usage"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Database CPU usage condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/cpu/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_GT"
threshold_value = 80
aggregations {
alignment_period = "43200s"
per_series_aligner = "ALIGN_MEAN"
}
}
}
}
resource "google_monitoring_alert_policy" "alert_database_memory_usage" {
project = "PROJECT_ID"
display_name = "Airflow Database Memory Usage"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Database memory usage condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/memory/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_GT"
threshold_value = 80
aggregations {
alignment_period = "43200s"
per_series_aligner = "ALIGN_MEAN"
}
}
}
}
resource "google_monitoring_alert_policy" "alert_scheduler_heartbeat" {
project = "PROJECT_ID"
display_name = "Airflow Scheduler Heartbeat"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Scheduler heartbeat condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/scheduler_heartbeat_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_LT"
threshold_value = 216 // Threshold is 90% of the average for composer.googleapis.com/environment/scheduler_heartbeat_count metric in an idle environment
aggregations {
alignment_period = "14400s"
per_series_aligner = "ALIGN_COUNT"
}
}
}
}
resource "google_monitoring_alert_policy" "alert_zombie_task" {
project = "PROJECT_ID"
display_name = "Airflow Zombie Tasks"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Zombie tasks condition"
condition_threshold {
filter = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/zombie_task_killed_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
duration = "60s"
comparison = "COMPARISON_GT"
threshold_value = 1
aggregations {
alignment_period = "86400s"
per_series_aligner = "ALIGN_SUM"
}
}
}
}
resource "google_monitoring_alert_policy" "alert_worker_restarts" {
project = "PROJECT_ID"
display_name = "Airflow Worker Restarts"
combiner = "OR"
notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
conditions {
display_name = "Worker container restarts condition"
condition_threshold {
filter = "resource.type = \"k8s_container\" AND (resource.labels.cluster_name = \"CLUSTER_NAME\" AND resource.labels.container_name = monitoring.regex.full_match(\"airflow-worker|base\") AND resource.labels.pod_name = monitoring.regex.full_match(\"airflow-worker-.*|airflow-k8s-worker-.*\")) AND metric.type = \"kubernetes.io/container/restart_count\""
duration = "60s"
comparison = "COMPARISON_GT"
threshold_value = 1
aggregations {
alignment_period = "86400s"
per_series_aligner = "ALIGN_RATE"
}
}
}
}
Tester les règles d'alerte
Cette section explique comment tester les règles d'alerte créées et interpréter les résultats.
Importer un exemple de DAG
L'exemple de DAG memory_consumption_dag.py
fourni dans ce tutoriel imite l'utilisation intensive de la mémoire des nœuds de calcul. Le DAG contient quatre tâches, chacune d'elles écrit des données dans un exemple de chaîne, consommant 380 Mo de mémoire. L'exemple de DAG est programmé pour s'exécuter toutes les deux minutes et s'exécutera automatiquement une fois que vous l'aurez importé dans votre environnement Composer.
Importez l'exemple de DAG suivant dans l'environnement que vous avez créé aux étapes précédentes:
from datetime import datetime
import sys
import time
from airflow import DAG
from airflow.operators.python import PythonOperator
def ram_function():
data = ""
start = time.time()
for i in range(38):
data += "a" * 10 * 1000**2
time.sleep(0.2)
print(f"{i}, {round(time.time() - start, 4)}, {sys.getsizeof(data) / (1000 ** 3)}")
print(f"Size={sys.getsizeof(data) / (1000 ** 3)}GB")
time.sleep(30 - (time.time() - start))
print(f"Complete in {round(time.time() - start, 2)} seconds!")
with DAG(
dag_id="memory_consumption_dag",
start_date=datetime(2023, 1, 1, 1, 1, 1),
schedule="1/2 * * * *",
catchup=False,
) as dag:
for i in range(4):
PythonOperator(
task_id=f"task_{i+1}",
python_callable=ram_function,
retries=0,
dag=dag,
)
Interpréter les alertes et les métriques dans Monitoring
Attendez environ 10 minutes après le début de l'exécution de l'exemple de DAG, puis évaluez les résultats du test:
Consultez votre boîte de réception pour vérifier que vous avez bien reçu une notification de la part des alertes Google Cloud dont l'objet commence par
[ALERT]
. Ce message contient les détails de l'incident concernant la règle d'alerte.Cliquez sur le bouton Afficher l'incident dans la notification par e-mail. Vous êtes redirigé vers l'Explorateur de métriques. Examinez les détails de l'incident d'alerte:
Le graphique de métriques d'incident indique que les métriques que vous avez créées ont dépassé le seuil de 1, ce qui signifie qu'Airflow a détecté et arrêté plusieurs tâches zombies.
Dans votre environnement Cloud Composer, accédez à l'onglet Surveillance, ouvrez la section Statistiques du DAG, puis recherchez le graphique Tâches zombies supprimées:
Le graphique indique qu'Airflow a supprimé environ 20 tâches zombies dans les 10 premières minutes suivant l'exécution de l'exemple de DAG.
D'après les analyses comparatives et les actions correctives, la raison la plus courante des tâches zombies est le manque de mémoire ou de processeur pour les nœuds de calcul. Identifiez la cause racine des tâches zombies en analysant l'utilisation des ressources de vos nœuds de calcul.
Ouvrez la section "Nœuds de calcul" de votre tableau de bord Monitoring et examinez les métriques d'utilisation du processeur et de la mémoire des nœuds de calcul:
Le graphique d'utilisation totale du processeur par les nœuds de calcul indique que l'utilisation du processeur par les nœuds de calcul était inférieure à 50% de la limite totale disponible à tout moment. L'utilisation du processeur disponible est donc suffisante. Le graphique d'utilisation du nombre total de nœuds de calcul montre que l'exécution de l'exemple de DAG a entraîné l'atteinte de la limite de mémoire pouvant être allouée, soit près de 75% de la limite de mémoire totale indiquée sur le graphique (GKE réserve 25% des 4 premiers Gio de mémoire et 100 Mio de mémoire supplémentaires sur chaque nœud pour gérer l'éviction des pods).
Vous pouvez en conclure que les nœuds de calcul ne disposent pas des ressources de mémoire nécessaires pour exécuter l'exemple de DAG.
Optimiser votre environnement et évaluer ses performances
D'après l'analyse de l'utilisation des ressources de nœuds de calcul, vous devez leur allouer plus de mémoire pour que toutes les tâches de votre DAG aboutissent.
Dans votre environnement Composer, ouvrez l'onglet DAG, cliquez sur le nom de l'exemple de DAG (
memory_consumption_dag
), puis sur Suspendre le DAG.Allouez de la mémoire de nœud de calcul supplémentaire:
Dans l'onglet de configuration de l'environnement, recherchez la configuration Ressources > Charges de travail, puis cliquez sur Modifier.
Dans l'élément Worker, augmentez la limite de Memory (Mémoire). Dans ce tutoriel, utilisez 3,25 Go.
Enregistrez les modifications et patientez quelques minutes pour que le nœud de calcul redémarre.
Ouvrez l'onglet des DAG, cliquez sur le nom de l'exemple de DAG (
memory_consumption_dag
), puis sur Réactiver le DAG.
Accédez à Monitoring et vérifiez qu'aucune nouvelle tâche zombie n'apparaît après la mise à jour des limites de ressources de nœuds de calcul:
Résumé
Dans ce tutoriel, vous avez découvert les principales métriques d'état et de performances au niveau de l'environnement. Vous avez également appris à configurer des règles d'alerte pour chaque métrique et à interpréter chaque métrique en mesures correctives. Vous avez ensuite exécuté un exemple de DAG, identifié la cause première des problèmes liés à l'état de l'environnement à l'aide d'alertes et de graphiques Monitoring, puis optimisé votre environnement en allouant plus de mémoire à vos nœuds de calcul. Toutefois, nous vous recommandons d'optimiser vos DAG afin de réduire la consommation des ressources de nœuds de calcul, car il n'est pas possible d'augmenter les ressources au-delà d'un certain seuil.
Effectuer un nettoyage
Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.
Supprimer le projet
- Dans la console Google Cloud, accédez à la page Gérer les ressources.
- Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
- Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.
Supprimer des ressources individuelles
Si vous envisagez d'explorer plusieurs tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.
Console
- Supprimez l'environnement Cloud Composer. Vous allez également supprimer le bucket de l'environnement au cours de cette procédure.
- Supprimez chacune des règles d'alerte que vous avez créées dans Cloud Monitoring.
Terraform
- Assurez-vous que votre script Terraform ne contient pas d'entrées pour les ressources toujours requises par votre projet. Par exemple, vous pouvez garder certaines API activées et les autorisations IAM toujours attribuées (si vous avez ajouté de telles définitions à votre script Terraform).
- Exécutez
terraform destroy
. - Supprimez manuellement le bucket de l'environnement. Cloud Composer ne la supprime pas automatiquement. Vous pouvez le faire à partir de la console Google Cloud ou de Google Cloud CLI.
Étapes suivantes
- Optimiser les environnements
- Faire évoluer des environnements
- Gérer les libellés d'environnement et ventiler les coûts liés aux environnements