Configurazione delle notifiche via email

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come configurare i servizi SMTP per il tuo ambiente Cloud Composer.

Prima di iniziare

Se il tuo ambiente Cloud Composer è configurato per IP privato, assicurati che disponga di connettività all'endpoint API per il tuo servizio email esterno (come https://api.sendgrid.com o il tuo server SMTP preferito).

Configurare i servizi email SendGrid

Per ricevere le notifiche, configura le variabili di ambiente per inviare email tramite il servizio email SendGrid.

Registrati a SendGrid

Se non l'hai ancora fatto, registrati a SendGrid nella console Google Cloud, fai clic su Gestisci sul provider per accedere al dominio SendGrid, quindi fai clic su Impostazioni per recuperare il nome utente e creare una chiave API. In qualità di sviluppatore Google Cloud, puoi iniziare con 12.000 email gratuite al mese.

Vai all'API SendGrid Email

Configura le variabili

SendGrid utilizza la chiave API e un indirizzo email di mittente per l'invio di email. Tu può fornire queste informazioni con una delle seguenti opzioni:

  • (Consigliato) Memorizza i valori in Secret Manager.

  • Archivia i valori in Airflow.

Archivia i valori in Secret Manager

Per archiviare i valori in Secret Manager:

  1. Configura Secret Manager per il tuo ambiente. Assicurati di impostare le autorizzazioni e le opzioni di configurazione di Airflow per di archiviazione dei secret.

  2. Esegui l'override delle seguenti opzioni di configurazione di Airflow:

    Sezione Chiave Valore
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  3. Crea un secret per la connessione SendGrid denominato airflow-connections-sendgrid_default. Imposta il valore del secret sull'URI di connessione. Ad esempio:

    sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587

    Per ulteriori informazioni sull'archiviazione delle connessioni Secret Manager, consulta Gestisci le connessioni di Airflow.

  4. Configura l'indirizzo email per SendGrid:

    • (Airflow 2.2.4 e versioni successive) Non è possibile configurare l'indirizzo email tramite un secret. Sostituisci la seguente opzione di configurazione di Airflow:

      Sezione Chiave Valore
      email from_email L'indirizzo email del mittente, ad esempio noreply@example.com.

    • (versioni Airflow da 2.1.4 a 2.1.3) Imposta la seguente variabile di ambiente per il tuo ambiente:

      Nome Valore
      SENDGRID_MAIL_FROM L'indirizzo email Da, ad esempio noreply@example.com.

Memorizzare i valori in Airflow

  1. Esegui l'override delle seguenti opzioni di configurazione di Airflow:

    Sezione Chiave Valore
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  2. In Airflow, configura la connessione denominato sendgrid_default. Specifica la chiave API Sendgrid nella connessione URI. Ad esempio:

    gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
  --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \
  sendgrid_default

    Sostituisci quanto segue:

    • ENVIRONMENT_NAME: il nome del tuo ambiente.
    • LOCATION: la regione in cui si trova l'ambiente.
    • USERNAME: il nome utente SendGrid.
    • SENDGRID_API_KEY: la chiave API SendGrid.

  3. Configura l'indirizzo email per SendGrid:

    • (Airflow 2.2.4 e versioni successive) Esegui l'override della seguente opzione di configurazione di Airflow:

      Sezione Chiave Valore
      email from_email L'indirizzo email Da, ad esempio noreply@example.com.

    • (versioni Airflow da 2.1.4 a 2.1.3) Imposta la seguente variabile di ambiente per il tuo ambiente:

      Nome Valore
      SENDGRID_MAIL_FROM L'indirizzo email Da, ad esempio noreply@example.com.

Testare la configurazione di SendGrid

Per testare la configurazione di SendGrid:

  1. Crea un DAG di test che utilizza EmailOperator. Ad esempio:

import datetime

import airflow
from airflow.operators.email import EmailOperator


with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="user@example.com",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )
  1. Carica il DAG nel tuo ambiente e verifica che l'attività viene completata correttamente.
  2. Accedi a SendGrid con le tue credenziali SendGrid.
  3. Nell'interfaccia utente di SendGrid, vai alla pagina Attività.
  4. Cerca l'email nell'elenco. Dovresti vedere che SendGrid ha elaborato e inviato l'email.

  5. Se l'email non viene elaborata e consegnata:

    • Controlla la configurazione di SendGrid.
    • Verifica di aver attivato il backend di Secret Manager. Marca assicurati di aver concesso autorizzazioni aggiuntive e di impostare override per Airflow opzioni di configurazione.
    • Controlla il filtro antispam nel tuo client di posta.

Configurare servizi SMTP di terze parti

Per inviare email tramite un servizio SMTP di terze parti: Esegui l'override dell'opzione di configurazione email_backend Airflow e configurare altri parametri relativi a SMTP.

Per configurare un servizio SMTP di terze parti, esegui l'override delle seguenti opzioni di configurazione di Airflow:

Sezione Chiave Valore
email email_backend airflow.utils.email.send_email_smtp
smtp smtp_host Il nome host del server SMTP.
smtp smtp_user Il nome utente sul server SMTP.
smtp smtp_port La porta del server SMTP. La porta 25 non è disponibile. Puoi utilizzare altre porte, ad esempio le porte SMTP standard 465 e 587.
smtp smtp_password L'impostazione di una password tramite smtp_password non è supportata. Per impostare una password SMTP, segui le istruzioni fornite in Configurare una password SMTP.
smtp smtp_mail_from L'indirizzo email del mittente, ad esempio noreply-composer@.
smtp smtp_starttls Per una maggiore sicurezza, imposta il valore True.
smtp smtp_ssl Per maggiore sicurezza, imposta su True.

Configurare una password SMTP per un servizio SMTP di terze parti

Mantenere una password SMTP in testo normale nel file di configurazione di Airflow è una cattiva prassi di sicurezza. Ecco perché Cloud Composer non supporta questo metodo. In alternativa, puoi utilizzare altri due metodi per configurare una password SMTP.

Utilizzo di un comando per recuperare una password SMTP

Puoi utilizzare una sostituzione di configurazione per specificare un comando che ottenga la password SMTP. Durante la comunicazione con il tuo servizio SMTP, Airflow utilizza questo per ottenere il valore della password. Specifica un singolo comando senza operatori bash come pipe e reindirizzamenti.

Per utilizzare questo metodo, esegui l'override della seguente opzione di configurazione di Airflow:

Sezione Chiave Valore
smtp smtp_password_cmd Specifica un comando che restituisca la password SMTP.

Utilizzo di un secret archiviato in Secret Manager per recuperare una password SMTP

Puoi configurare Secret Manager come backend per i secret di Airflow.

Dopo aver configurato Secret Manager per il tuo ambiente Composer, puoi memorizzare una password SMTP in Secret Manager:

  1. Crea un nuovo secret:

    echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
  airflow-config-smtp-password \
  --data-file=- \
  --replication-policy=automatic

    Sostituisci SMTP_PASSWORD con la tua password SMTP.

  2. Configura Airflow per ottenere la password SMTP da tramite Secret Manager. Per farlo, esegui l'override della seguente opzione di configurazione di Airflow:

    Sezione Chiave Valore
    smtp smtp_password_secret smtp-password

Passaggi successivi