Configurer les notifications par e-mail

Cloud Composer 1 | Cloud Composer 2

Cette page explique comment configurer des services SMTP pour votre environnement Cloud Composer.

Avant de commencer

Si votre environnement Cloud Composer est configuré pour une adresse IP privée, assurez-vous qu'il dispose d'une connectivité au point de terminaison de l'API pour votre service de messagerie externe (tel que https://api.sendgrid.com ou votre serveur SMTP préféré).

Configurer les services de messagerie SendGrid

Pour recevoir des notifications, configurez vos variables d'environnement pour l'envoi d'e-mails via le service de messagerie SendGrid.

S'inscrire avec SendGrid

Si vous ne l'avez pas déjà fait, inscrivez-vous avec SendGrid dans la console Google Cloud, cliquez sur "Manage On Provider" (Gérer sur le fournisseur) pour accéder au domaine SendGrid, puis cliquez sur "Settings" (Paramètres) pour récupérer votre nom d'utilisateur et créer une clé API. En tant que développeur Google Cloud, vous pouvez démarrer avec 12 000 e-mails gratuits par mois.

Accédez à l'API de messagerie SendGrid

Configurer des variables

SendGrid utilise la clé API et une adresse e-mail d'expéditeur pour envoyer des e-mails. Vous pouvez fournir ces informations à l'aide de l'une des options suivantes:

  • (Recommandé) Stockez les valeurs dans Secret Manager.

  • Stockez les valeurs dans Airflow.

Stocker les valeurs dans Secret Manager

Pour stocker des valeurs dans Secret Manager:

  1. Installez le package PyPI apache-airflow-providers-sendgrid.

  2. Configurez Secret Manager pour votre environnement. Veillez à configurer les autorisations et les options de configuration Airflow pour le backend des secrets.

  3. Ignorez les options de configuration Airflow suivantes :

    Section Clé Valeur
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  4. Créez un secret pour la connexion SendGrid nommé airflow-connections-sendgrid_default. Définissez la valeur du secret sur l'URI de connexion. Exemple :

    sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587

    Pour en savoir plus sur le stockage des connexions dans Secret Manager, consultez la page Gérer les connexions Airflow.

  5. Configurez l'adresse e-mail pour SendGrid:

    • (Airflow 2.2.4 et versions ultérieures) Il n'est pas possible de configurer l'adresse e-mail via un secret. À la place, remplacez l'option de configuration Airflow suivante:

      Section Clé Valeur
      email from_email L'adresse e-mail de l'expéditeur, telle que noreply@example.com.

    • (versions 2.1.4 à 2.1.3 d'Airflow) Définissez la variable d'environnement suivante pour votre environnement:

      Nom Valeur
      SENDGRID_MAIL_FROM L'adresse e-mail de l'expéditeur, telle que noreply@example.com.

Stocker les valeurs dans Airflow

  1. Ignorez les options de configuration Airflow suivantes :

    Section Clé Valeur
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  2. Dans Airflow, configurez la connexion nommée sendgrid_default. Spécifiez la clé API Sendgrid dans l'URI de connexion. Exemple :

    gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
  --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \
  sendgrid_default

    Remplacez les éléments suivants :

    • ENVIRONMENT_NAME : nom de votre environnement
    • LOCATION: région dans laquelle se trouve l'environnement.
    • USERNAME: nom d'utilisateur SendGrid.
    • SENDGRID_API_KEY: clé de l'API SendGrid.

  3. Configurez l'adresse e-mail pour SendGrid:

    • (Airflow 2.2.4 et versions ultérieures) Remplacez l'option de configuration Airflow suivante:

      Section Clé Valeur
      email from_email L'adresse e-mail de l'expéditeur, telle que noreply@example.com.

    • (versions 2.1.4 à 2.1.3 d'Airflow) Définissez la variable d'environnement suivante pour votre environnement:

      Nom Valeur
      SENDGRID_MAIL_FROM L'adresse e-mail de l'expéditeur, telle que noreply@example.com.

Tester votre configuration SendGrid

Pour tester la configuration SendGrid, procédez comme suit :

  1. Créez un DAG de test utilisant EmailOperator. Exemple :

import datetime

import airflow
from airflow.operators.email import EmailOperator

with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="user@example.com",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )
  1. Importez le DAG dans votre environnement et vérifiez que la tâche aboutit.
  2. Connectez-vous à SendGrid à l'aide de vos identifiants SendGrid.
  3. Dans l'interface utilisateur de SendGrid, accédez à la page "Activité".
  4. Cherchez l'e-mail dans la liste. Vous devriez constater que SendGrid a traité et distribué l'e-mail.

  5. Si l'e-mail n'est pas traité, ni distribué, effectuez les opérations suivantes :

    • Vérifiez votre configuration SendGrid.
    • Vérifiez que vous avez activé le backend Secret Manager. Assurez-vous d'avoir accordé des autorisations supplémentaires et de définir des remplacements pour les options de configuration Airflow.
    • Vérifiez le filtre antispam dans votre client de messagerie.

Configurer des services SMTP tiers

Pour envoyer un e-mail via un service SMTP tiers, remplacez l'option de configuration Airflow email_backend et configurez les autres paramètres SMTP.

Pour configurer un service SMTP tiers, remplacez les options de configuration Airflow suivantes :

Section Clé Valeur
email email_backend airflow.utils.email.send_email_smtp
smtp smtp_host Nom d'hôte du serveur SMTP.
smtp smtp_user Nom d'utilisateur sur le serveur SMTP.
smtp smtp_port Port du serveur SMTP. Le port 25 n'est pas disponible. Vous pouvez utiliser d'autres ports, par exemple les ports SMTP standards 465 et 587.
smtp smtp_password La définition d'un mot de passe via smtp_password n'est pas acceptée. Pour définir un mot de passe SMTP, suivez les instructions fournies dans l'article Configurer un mot de passe SMTP.
smtp smtp_mail_from L'adresse e-mail de l'expéditeur, telle que noreply-composer@.
smtp smtp_starttls Pour plus de sécurité, définissez la valeur sur True.
smtp smtp_ssl Pour plus de sécurité, définissez la valeur sur True.

Configurer un mot de passe SMTP pour un service SMTP tiers

Conserver un mot de passe SMTP en texte brut dans le fichier de configuration Airflow constitue une mauvaise pratique de sécurité. C'est pourquoi Cloud Composer n'est pas compatible avec cette méthode. Il est possible d'utiliser deux autres méthodes pour configurer un mot de passe SMTP.

Utiliser une commande pour récupérer un mot de passe SMTP

Vous pouvez utiliser un remplacement de configuration pour spécifier une commande qui obtient le mot de passe SMTP. Lors de la communication avec votre service SMTP, Airflow s'en sert pour obtenir la valeur du mot de passe. Spécifiez une seule commande, sans opérateurs bash tels que les pipes et les redirections.

Pour utiliser cette méthode, remplacez l'option de configuration Airflow suivante:

Section Clé Valeur
smtp smtp_password_cmd Spécifiez une commande qui renvoie le mot de passe SMTP.

Utiliser un secret stocké dans Secret Manager pour récupérer un mot de passe SMTP

Vous pouvez configurer Secret Manager en tant que backend de secrets Airflow.

Une fois que vous avez configuré Secret Manager pour votre environnement Composer, vous pouvez y stocker un mot de passe SMTP :

  1. Créez un secret :

    echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
  airflow-config-smtp-password \
  --data-file=- \
  --replication-policy=automatic

    Remplacez SMTP_PASSWORD par votre mot de passe SMTP.

  2. Configurez Airflow pour obtenir le mot de passe SMTP à partir de Secret Manager. Pour ce faire, remplacez l'option de configuration Airflow suivante :

    Section Clé Valeur
    smtp smtp_password_secret smtp-password

Étapes suivantes