Vérifier l'état de l'environnement Cloud Composer

---

En raison de l'architecture de microservices de Cloud Composer, la surveillance de l'activité de bout en bout de votre configuration Airflow implique plusieurs métriques. Ce tutoriel explique comment utiliser les métriques basées sur les journaux de la suite Google Cloud Operations pour configurer la surveillance et les alertes en fonction d'une métrique personnalisée.

Objectifs

• Déployer un DAG simple qui s'exécute toutes les deux ou trois minutes dans l'environnement Cloud Composer
• Exploiter les journaux générés par la suite Google Cloud Operations pour Cloud Composer en utilisant les métriques basées sur les journaux pour créer une métrique personnalisée
• Configurer la surveillance et les alertes en fonction de la métrique personnalisée

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Cloud Composer

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

5. Vérifiez que la facturation est activée pour votre projet Google Cloud.

6. Créez un environnement Cloud Composer.
7. Vérifiez que vous disposez des autorisations appropriées. Vous devez disposer des autorisations suivantes pour accéder aux journaux et aux métriques de l'environnement Cloud Composer :
   • Journalisation et surveillance en lecture seule : logging.viewer et monitoring.viewer
   • Journalisation en lecture seule, y compris les journaux privés : logging.privateLogViewer
   • Surveillance en lecture/écriture : monitoring.editor

   Pour plus d'informations, consultez la section Contrôle des accès.

Ajouter le DAG à votre environnement

1. Importez le DAG suivant dans le bucket Cloud Storage de l'environnement :

   import airflow
   from airflow import DAG
   from airflow.operators.bash_operator import BashOperator
   from datetime import timedelta
   
   default_args = {
       'retries': 1,
       'retry_delay': timedelta(minutes=5),
       'start_date': airflow.utils.dates.days_ago(0)
   }
   
   dag = DAG(
       'liveness',
       default_args=default_args,
       description='liveness monitoring dag',
       schedule_interval=timedelta(minutes=1))
   
   t1 = BashOperator(
       task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
   

2. Attendez qu'Airflow programme le DAG. Vous pouvez vérifier l'état dans l'interface Web d'Airflow.

   

Créer la métrique de compteur basée sur les journaux dans la suite d'opérations de Google Cloud

1. Accédez à l'explorateur de journaux.

   Accéder à l'explorateur de journaux

2. Assurez-vous que le bon projet est sélectionné en haut de la page ou sélectionnez-en un dans le menu déroulant.

3. Dans le champ des ressources, sélectionnez Environnement Cloud Composer, puis sélectionnez l'emplacement et le nom de l'environnement.

4. Dans le champ du type de journal, sélectionnez airflow-worker.

5. Dans la barre de filtre, créez un filtre pour n'afficher que les journaux générés par le DAG d'activité en saisissant le libellé suivant : label:workflow:liveness.

6. En haut de la page, cliquez sur Create Metric (Créer une métrique). Le panneau Metric Editor (Éditeur de métriques) s'affiche sur le côté droit de la page et le panneau de la visionneuse de journaux sur le côté gauche.

   

7. Dans le panneau Éditeur de métriques, définissez les champs suivants :

   1. Name (Nom) : choisissez un nom unique parmi les métriques basées sur les journaux de votre projet, par exemple liveness-logs-cnt.
   2. Description : ajoutez une description pour la métrique.
   3. Type : sélectionnez Counter (Compteur).

8. Cliquez sur Create Metric (Créer une métrique). La page Métriques basées sur les journaux s'affiche.

Créer la règle d'alerte

1. Sur la page Logs-based metrics (Métriques basées sur les journaux), cochez la métrique pour laquelle vous souhaitez créer une règle. Dans le menu situé à droite, sélectionnez Create alert from metric (Créer une alerte à partir de la métrique). La page Créer une règle d'alerte s'affiche.

   

2. Sur la page Créer une règle d'alerte, dans la section Conditions, cliquez sur Modifier. Une fenêtre préremplie Créer s'affiche pour la métrique.

3. (Facultatif) Saisissez un nom pour la condition.

4. Dans la section Target (Cible), sous Aggregator (Agrégateur), choisissez count.

5. Dans la section Configuration, sous Threshold (Seuil), définissez la valeur, si nécessaire.

   

6. Cliquez sur Enregistrer. Le panneau Créer une règle d'alerte s'affiche avec la condition que vous avez stipulée.

7. Renseignez les sections Notifications, Documentation et Nom de la règle pour la règle d'alerte.

8. Cliquez sur Enregistrer.

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud, accédez à la page Gérer les ressources.

   Accéder à la page Gérer les ressources

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étapes suivantes

Consultez la page Surveiller les environnements et les workflows dans la suite Google Cloud Operations, pour savoir comment utiliser un tableau de bord personnalisé pour afficher les métriques de votre environnement Cloud Composer.