Vérifier l'état de l'environnement Cloud Composer

En raison de l'architecture de microservices de Cloud Composer, la surveillance de l'activité de bout en bout de votre configuration Airflow implique plusieurs métriques. Ce tutoriel explique comment utiliser les métriques basées sur les journaux de la suite des opérations Google Cloud pour configurer la surveillance et les alertes en fonction d'une métrique personnalisée.

Objectifs

  • Déployer un DAG simple qui s'exécute toutes les deux ou trois minutes dans l'environnement Cloud Composer
  • Exploiter les journaux générés par la suite des opérations Google Cloud pour Cloud Composer en utilisant les métriques basées sur les journaux pour créer une métrique personnalisée
  • Configurer la surveillance et les alertes en fonction de la métrique personnalisée

Coûts

Cloud Composer est un produit payant. Ce tutoriel entraîne des coûts d'utilisation. Pour plus d'informations, consultez la section Tarifs. Vous pouvez également utiliser le simulateur de coût pour générer une estimation du coût en fonction de l'utilisation prévue. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

  1. Connectez-vous à votre compte Google.

    Si vous n'en possédez pas déjà un, vous devez en créer un.

  2. Dans Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Cloud.

    Accéder à la page de sélection du projet

  3. Vérifiez que la facturation est activée pour votre projet Google Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Créez un environnement Cloud Composer.
  5. Vérifiez que vous disposez des autorisations appropriées. Vous devez disposer des autorisations suivantes pour accéder aux journaux et aux métriques de l'environnement Cloud Composer :
    • Journalisation et surveillance en lecture seule : logging.viewer et monitoring.viewer
    • Journalisation en lecture seule, y compris les journaux privés : logging.privateLogViewer
    • Surveillance en lecture/écriture : monitoring.editor

    Pour en savoir plus, reportez-vous à la section Contrôle des accès Cloud Composer.

Ajouter le DAG à votre environnement

  1. Importez le DAG suivant dans le bucket Cloud Storage de l'environnement :

    import airflow
    from airflow import DAG
    from airflow.operators.bash_operator import BashOperator
    from datetime import timedelta
    
    default_args = {
        'retries': 1,
        'retry_delay': timedelta(minutes=5),
        'start_date': airflow.utils.dates.days_ago(0)
    }
    
    dag = DAG(
        'liveness',
        default_args=default_args,
        description='liveness monitoring dag',
        schedule_interval=timedelta(minutes=1))
    
    t1 = BashOperator(
        task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)
    
  2. Attendez qu'Airflow programme le DAG. Vous pouvez vérifier l'état dans l'interface Web d'Airflow.

    Interface Web Airflow

Créer la métrique de compteur basée sur les journaux dans la suite d'opérations de Google Cloud

  1. Accédez à la visionneuse de journaux.

    Accéder à la visionneuse de journaux

  2. Assurez-vous que le bon projet est sélectionné en haut de la page ou sélectionnez-en un dans le menu déroulant.

  3. Dans le champ des ressources, sélectionnez Environnement Cloud Composer, puis sélectionnez l'emplacement et le nom de l'environnement.

  4. Dans le champ du type de journal, sélectionnez airflow-worker.

  5. Dans la barre de filtre, créez un filtre pour n'afficher que les journaux générés par le DAG d'activité en saisissant le libellé suivant : label:workflow:liveness.

  6. En haut de la page, cliquez sur Create Metric (Créer une métrique). Le panneau Metric Editor (Éditeur de métriques) s'affiche sur le côté droit de la page et le panneau de la visionneuse de journaux sur le côté gauche.

    Créer une métrique

  7. Dans le panneau Éditeur de métriques, définissez les champs suivants :

    1. Name (Nom) : choisissez un nom unique parmi les métriques basées sur les journaux de votre projet, par exemple liveness-logs-cnt.
    2. Description : ajoutez une description pour la métrique.
    3. Type : sélectionnez Counter (Compteur).
  8. Cliquez sur Create Metric (Créer une métrique). La page Métriques basées sur les journaux s'affiche.

Créer la règle d'alerte

  1. Sur la page Logs-based metrics (Métriques basées sur les journaux), cochez la métrique pour laquelle vous souhaitez créer une règle. Dans le menu situé à droite, sélectionnez Create alert from metric (Créer une alerte à partir de la métrique). La page Créer une règle d'alerte s'affiche.

    Créer une alerte

  2. Sur la page Créer une règle d'alerte, dans la section Conditions, cliquez sur Modifier. Une fenêtre préremplie Créer s'affiche pour la métrique.

  3. (Facultatif) Saisissez un nom pour la condition.

  4. Dans la section Target (Cible), sous Aggregator (Agrégateur), choisissez count.

  5. Dans la section Configuration, sous Threshold (Seuil), définissez la valeur, si nécessaire.

    Règle d'alerte

  6. Cliquez sur Save. Le panneau Créer une règle d'alerte s'affiche avec la condition que vous avez stipulée.

  7. Renseignez les sections Notifications, Documentation et Nom de la règle pour la règle d'alerte.

  8. Cliquez sur Save.

Nettoyer

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud Platform :

  1. Dans Cloud Console, accédez à la page Gérer les ressources.

    Accéder à la page Gérer les ressources

  2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer .
  3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étape suivante

Consultez la page Surveiller les environnements et les workflows dans la suite des opérations Google Cloud, pour savoir comment utiliser un tableau de bord personnalisé pour afficher les métriques de votre environnement Cloud Composer.