Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina spiega come configurare i servizi SMTP per il tuo ambiente Cloud Composer.
Prima di iniziare
Se il tuo ambiente Cloud Composer è
configurato per IP privato, assicurati che disponga di connettività
all'endpoint API per il tuo servizio email esterno (come
https://api.sendgrid.com
o il tuo server SMTP preferito).
Configurare i servizi email SendGrid
Per ricevere notifiche, configura le variabili di ambiente per inviare email tramite il servizio email SendGrid.
Registrati con SendGrid
Se non l'hai ancora fatto, registrati a SendGrid nella console Google Cloud, fai clic su Gestisci sul provider per accedere al dominio SendGrid e poi su Impostazioni per recuperare il tuo nome utente e creare una chiave API. In qualità di sviluppatore Google Cloud, puoi iniziare con 12.000 email gratuite al mese.
Configura le variabili
SendGrid utilizza la chiave API e un indirizzo email Da per l'invio della posta. Tu può fornire queste informazioni con una delle seguenti opzioni:
(Consigliato) Archivia i valori in Secret Manager.
Archivia i valori in Airflow.
Archivia i valori in Secret Manager
Per archiviare i valori in Secret Manager:
Configura Secret Manager per il tuo ambiente. Assicurati di configurare le autorizzazioni e le opzioni di configurazione di Airflow per il backend dei segreti.
Esegui l'override delle seguenti opzioni di configurazione di Airflow:
Sezione Chiave Valore email
email_conn_id
sendgrid_default
email
email_backend
airflow.providers.sendgrid.utils.emailer.send_email
Crea un secret per la connessione SendGrid denominata
airflow-connections-sendgrid_default
. Imposta il valore del secret sull'URI di connessione. Ad esempio:sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587
Per ulteriori informazioni sull'archiviazione delle connessioni Secret Manager, consulta Gestisci le connessioni di Airflow.
Configura l'indirizzo email per SendGrid:
(Airflow 2.2.4 e versioni successive) Non è possibile configurare tramite un secret. Puoi invece eseguire l'override dei seguente opzione di configurazione di Airflow:
Sezione Chiave Valore email
from_email
L'indirizzo email del mittente, ad esempio noreply@example.com
.(versioni Airflow da 2.1.4 a 2.1.3) Imposta la seguente variabile di ambiente per il tuo ambiente:
Nome Valore SENDGRID_MAIL_FROM
L'indirizzo email del mittente, ad esempio noreply@example.com
.
Memorizzare i valori in Airflow
Esegui l'override delle seguenti opzioni di configurazione di Airflow:
Sezione Chiave Valore email
email_conn_id
sendgrid_default
email
email_backend
airflow.providers.sendgrid.utils.emailer.send_email
In Airflow, configura la connessione chiamata
sendgrid_default
. Specifica la chiave API Sendgrid nella connessione URI. Ad esempio:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ connections add -- \ --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \ sendgrid_default
Sostituisci quanto segue:
ENVIRONMENT_NAME
: il nome dell'ambiente.LOCATION
: la regione in cui si trova l'ambiente.USERNAME
: il nome utente SendGrid.SENDGRID_API_KEY
: la chiave API SendGrid.
Configura l'indirizzo email per SendGrid:
(Airflow 2.2.4 e versioni successive) Esegui l'override della seguente opzione di configurazione di Airflow:
Sezione Chiave Valore email
from_email
L'indirizzo email Da, ad esempio noreply@example.com
.(versioni di Airflow da 2.1.4 a 2.1.3) Imposta la seguente variabile di ambiente per il tuo questo ambiente:
Nome Valore SENDGRID_MAIL_FROM
L'indirizzo email Da, ad esempio noreply@example.com
.
Testa la configurazione di SendGrid
Per testare la configurazione di SendGrid:
- Crea un DAG di test che utilizza
EmailOperator
. Ad esempio:
- Carica il DAG nel tuo ambiente e controlla che l'attività vada a buon fine.
- Accedi a SendGrid con le tue credenziali SendGrid.
- Nella UI di SendGrid, vai alla pagina Attività.
- Cerca l'email nell'elenco. Dovresti vedere che SendGrid ha elaborato e inviato l'email.
Se l'email non viene elaborata e consegnata:
- Controlla la configurazione di SendGrid.
- Verifica di aver attivato il backend di Secret Manager. Marca assicurati di aver concesso autorizzazioni aggiuntive e di impostare override per Airflow opzioni di configurazione.
- Controlla il filtro antispam nel tuo client di posta.
Configurare servizi SMTP di terze parti
Per inviare email tramite un servizio SMTP di terze parti,
sostituisci l'opzione di configurazione di Airflow email_backend
e configura altri parametri relativi a SMTP.
Per configurare un servizio SMTP di terze parti, esegui l'override delle seguenti opzioni di configurazione di Airflow:
Sezione | Chiave | Valore |
---|---|---|
email |
email_backend |
airflow.utils.email.send_email_smtp |
smtp |
smtp_host |
Il nome host del server SMTP. |
smtp |
smtp_user |
Il nome utente sul server SMTP. |
smtp |
smtp_port |
La porta del server SMTP. La porta 25 non è disponibile. Puoi utilizzare altre porte, ad esempio le porte SMTP standard 465 e 587. |
smtp |
smtp_password |
L'impostazione di una password tramite smtp_password non è supportata. Per impostare una password SMTP, segui le istruzioni riportate in Configurazione di una password SMTP. |
smtp |
smtp_mail_from |
L'indirizzo email del mittente, ad esempio noreply-composer@ . |
smtp |
smtp_starttls |
Per maggiore sicurezza, imposta su True . |
smtp |
smtp_ssl |
Per una maggiore sicurezza, imposta il valore True . |
Configurare una password SMTP per un servizio SMTP di terze parti
Mantenere una password SMTP in testo normale nel file di configurazione di Airflow è una cattiva prassi di sicurezza. Ecco perché Cloud Composer non supporta questo metodo. In alternativa, puoi utilizzare altri due metodi per configurare una password SMTP.
Utilizzo di un comando per recuperare una password SMTP
Puoi utilizzare una sostituzione di configurazione per specificare un comando che ottenga la password SMTP. Quando comunica con il servizio SMTP, Airflow utilizza questo comando per ottenere il valore della password. Specifica un singolo comando senza operatori bash come pipe e reindirizzamenti.
Per utilizzare questo metodo, esegui l'override del seguente Airflow di configurazione:
Sezione | Chiave | Valore |
---|---|---|
smtp |
smtp_password_cmd |
Specifica un comando che restituisca la password SMTP. |
Utilizzo di un secret archiviato in Secret Manager per recuperare una password SMTP
Puoi configurare Secret Manager come backend per i secret di Airflow.
Dopo aver configurato Secret Manager per il tuo ambiente Composer, puoi memorizzare una password SMTP in Secret Manager:
Crea un nuovo secret:
echo -n "SMTP_PASSWORD" | gcloud beta secrets create \ airflow-config-smtp-password \ --data-file=- \ --replication-policy=automatic
Sostituisci
SMTP_PASSWORD
con la tua password SMTP.Configura Airflow in modo da ottenere la password SMTP da Secret Manager. Per farlo, esegui l'override la seguente opzione di configurazione di Airflow:
Sezione Chiave Valore smtp
smtp_password_secret
smtp-password