Cloud Composer 1 est en mode post-maintenance. Google ne publie aucune autre mise à jour de Cloud Composer 1, y compris les nouvelles versions d'Airflow, les corrections de bugs et les mises à jour de sécurité. Nous vous recommandons de planifier la migration vers Cloud Composer 2.

Cette page a été traduite par l'API Cloud Translation.

Résoudre les problèmes avec le déclencheur Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page fournit des procédures de dépannage et des informations avec le déclencheur Airflow.

Opérations bloquantes dans le déclencheur

Il arrive que des tâches asynchrones soient bloquées dans des déclencheurs. Dans la plupart des cas, les problèmes proviennent de ressources de déclencheur insuffisantes ou de problèmes liés au code d'opérateur asynchrone personnalisé.

Les journaux du déclencheur affichent tous les messages d'avertissement vous aident à identifier les causes d'une baisse des performances du déclencheur. Deux avertissements importants sont à surveiller.

Thread asynchrone bloqué
```
Triggerer's async thread was blocked for 1.2 seconds, likely due to the highly utilized environment.
```
Cet avertissement signale des problèmes de performances dus à un volume élevé de tâches asynchrones.

Solution: Pour résoudre ce problème, d'allouer plus de ressources aux déclencheurs réduire le nombre de tâches différées exécutées en même temps, ou augmenter le nombre de déclencheurs dans votre environnement. Gardez à l'esprit que même si les déclencheurs gèrent des tâches différables, les nœuds de calcul chargés du démarrage accomplissent chaque tâche. Si vous ajustez le nombre de déclencheurs, envisagez également d'ajuster le nombre d'instances de nœuds de calcul.
Une tâche spécifique a bloqué le thread asynchrone.
```
WARNING - Executing <Task finished coro=<TriggerRunner.run_trigger() done, defined at /opt/***/***/jobs/my-custom-code.py:609> result=None> took 0.401 second
```
Cet avertissement fait référence à un code d'opérateur spécifique exécuté par Cloud Composer. Par conception, les déclencheurs doivent s'appuyer sur la bibliothèque asyncio pour exécuter des opérations en arrière-plan. Une implémentation personnalisée d'un déclencheur peut ne pas respecter correctement les contrats asyncio (par exemple, en raison d'une utilisation incorrecte des mots clés await et async dans le code Python).

Solution: inspectez le code signalé par l'avertissement et vérifiez si le l'opération asynchrone est correctement implémentée.

Trop de déclencheurs

Le nombre de tâches différées est visible dans la métrique task_count, qui s'affiche également dans le tableau de bord "Monitoring" de votre environnement. Chaque déclencheur crée des ressources telles que des connexions à des ressources externes, qui consomment mémoire.

Tâches différées affichées dans le tableau de bord Monitoring — **Figure 1.** Tâches différées affichées sur le tableau de bord Monitoring (cliquez pour agrandir)

Les graphiques de consommation de mémoire et de processeur indiquent que des ressources insuffisantes redémarre en raison de l'échec de la vérification d'activité en raison de l'absence de pulsations:

**Figure 2** : Le déclencheur redémarre en raison de ressources insuffisantes (cliquez pour agrandir)

Solution: Pour résoudre ce problème, d'allouer plus de ressources aux déclencheurs réduire le nombre de tâches différées exécutées en même temps, ou augmenter le nombre de déclencheurs dans votre environnement.

Plantage d'un nœud de calcul Airflow pendant l'exécution du rappel

Une fois l'exécution du déclencheur terminée, la commande revient à une instance worker, qui exécute une méthode de rappel à l'aide d'un emplacement d'exécution. Cette phase est contrôlé par l'exécuteur Celery, et donc la configuration et des limites de ressources s'appliquent (par exemple, parallelism ou worker_concurrency).

Si la méthode de rappel échoue dans le nœud de calcul Airflow, le nœud de calcul échoue ou le nœud de calcul qui exécute la méthode redémarre, la tâche est marquée comme FAILED. Dans dans ce cas, l'opération de nouvelle tentative réexécute l'intégralité de la tâche, non seulement .

Boucle infinie dans un déclencheur

Il est possible d'implémenter un opérateur de déclencheur personnalisé de manière à bloquer entièrement la boucle de déclencheur principale, de sorte que seul le déclencheur défectueux soit exécuté à la fois. Dans ce cas, un avertissement est généré dans les journaux du déclencheur une fois le déclencheur problématique terminé.

Classe de déclencheur introuvable

Comme le dossier des DAG n'est pas synchronisé avec le déclencheur Airflow, Le code du déclencheur intégré est manquant lors de l'exécution du déclencheur. L'erreur est généré dans les journaux de la tâche ayant échoué:

ImportError: Module "PACKAGE_NAME" does not define a "CLASS_NAME" attribute/
class

Solution: importez le code manquant à partir de PyPI.

Message d'avertissement concernant le déclencheur dans l'interface utilisateur d'Airflow

Dans certains cas, une fois le déclencheur désactivé, le message d'avertissement suivant peut s'afficher dans l'interface utilisateur d'Airflow :

The triggerer does not appear to be running. Last heartbeat was received
4 hours ago. Triggers will not run, and any deferred operator will remain
deferred until it times out or fails.

Airflow peut afficher ce message, car il reste des déclencheurs incomplets dans Airflow base de données. Ce message signifie généralement que le déclencheur a été désactivé avant que dans votre environnement.

Pour afficher tous les déclencheurs en cours d'exécution dans l'environnement, cochez la case Parcourir > Déclencheurs de l'interface utilisateur d'Airflow (le rôle Admin est (obligatoire).

Solutions :

Activez à nouveau le déclencheur et attendez la fin des tâches différées.
Accédez à la base de données Airflow et supprimez manuellement les déclencheurs incomplets.

Les tâches restent à l'état différé une fois le déclencheur désactivé

Lorsque le déclencheur est désactivé, les tâches qui sont déjà à l'état "différée" restent dans cet état jusqu'à ce que le délai avant expiration soit atteint. Ce délai avant expiration peut être infini, en fonction de la configuration d'Airflow et du DAG.

Utilisez l'une des solutions suivantes :

Marquez manuellement les tâches comme ayant échoué.
Activez le déclencheur pour effectuer les tâches.

Nous vous recommandons de ne désactiver le déclencheur que si votre environnement n'exécute aucun opérateur ni aucune tâche différée, et que toutes les tâches différées sont terminées.