Cloud Composer 1 | Cloud Composer 2
Halaman ini menjelaskan cara mengonfigurasi layanan SMTP untuk lingkungan Cloud Composer Anda.
Sebelum memulai
Jika lingkungan Cloud Composer Anda dikonfigurasi untuk IP Pribadi, pastikan lingkungan tersebut memiliki konektivitas ke endpoint API untuk layanan email eksternal Anda (seperti https://api.sendgrid.com
, atau server SMTP pilihan Anda).
Mengonfigurasi layanan email SendGrid
Untuk menerima notifikasi, konfigurasikan variabel lingkungan Anda untuk mengirim email melalui layanan email SendGrid.
Mendaftar dengan SendGrid
Jika belum melakukannya, daftar dengan SendGrid di konsol Google Cloud, klik Manage On Provider untuk membuka domain SendGrid, lalu klik Settings untuk mengambil nama pengguna Anda dan membuat kunci API. Sebagai developer Google Cloud, Anda dapat memulai dengan 12.000 email gratis per bulan.
Mengonfigurasi variabel
SendGrid menggunakan kunci API dan alamat email Dari untuk mengirim email. Anda dapat memberikan informasi ini dengan salah satu opsi berikut:
(Direkomendasikan) Simpan nilai di Secret Manager.
Simpan nilai di Airflow.
Menyimpan nilai di Secret Manager
Untuk menyimpan nilai di Secret Manager:
Instal paket PyPI
apache-airflow-providers-sendgrid
.Mengonfigurasi Secret Manager untuk lingkungan Anda. Pastikan Anda menyiapkan izin dan opsi konfigurasi Airflow untuk backend secret.
Ganti opsi konfigurasi Airflow berikut:
Bagian Kunci Nilai email
email_conn_id
sendgrid_default
email
email_backend
airflow.providers.sendgrid.utils.emailer.send_email
Buat rahasia untuk koneksi SendGrid bernama
airflow-connections-sendgrid_default
. Tetapkan nilai secret ke URI koneksi. Contoh:sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587
Untuk mengetahui informasi selengkapnya tentang cara menyimpan koneksi di Secret Manager, lihat Mengelola koneksi Airflow.
Konfigurasi alamat email untuk SendGrid:
(Airflow 2.2.4 dan versi yang lebih baru) Alamat email tidak dapat disiapkan melalui secret. Sebagai gantinya, ganti opsi konfigurasi Airflow berikut:
Bagian Kunci Nilai email
from_email
Alamat email Dari, seperti noreply@example.com
.(Airflow versi 2.1.4 hingga 2.1.3) Tetapkan variabel lingkungan berikut untuk lingkungan Anda:
Nama Nilai SENDGRID_MAIL_FROM
Alamat email Dari, seperti noreply@example.com
.
Simpan nilai di Airflow
Ganti opsi konfigurasi Airflow berikut:
Bagian Kunci Nilai email
email_conn_id
sendgrid_default
email
email_backend
airflow.providers.sendgrid.utils.emailer.send_email
Di Airflow, konfigurasi koneksi bernama
sendgrid_default
. Tentukan kunci Sendgrid API di URI koneksi. Contoh:gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ connections add -- \ --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \ sendgrid_default
Ganti kode berikut:
ENVIRONMENT_NAME
: nama lingkungan Anda.LOCATION
: region tempat lingkungan berada.USERNAME
: nama pengguna SendGrid.SENDGRID_API_KEY
: kunci SendGrid API.
Konfigurasi alamat email untuk SendGrid:
(Airflow 2.2.4 dan versi yang lebih baru) Ganti opsi konfigurasi Airflow berikut:
Bagian Kunci Nilai email
from_email
Alamat email Dari, seperti noreply@example.com
.(Airflow versi 2.1.4 hingga 2.1.3) Tetapkan variabel lingkungan berikut untuk lingkungan Anda:
Nama Nilai SENDGRID_MAIL_FROM
Alamat email Dari, seperti noreply@example.com
.
Menguji konfigurasi SendGrid Anda
Untuk menguji konfigurasi SendGrid:
- Buat DAG pengujian yang menggunakan
EmailOperator
. Contoh:
- Upload DAG ke lingkungan Anda dan periksa apakah tugas berhasil.
- Login ke SendGrid dengan kredensial SendGrid Anda.
- Di UI SendGrid, buka halaman Activity.
- Telusuri daftar untuk email. Anda akan melihat bahwa SendGrid memproses dan mengirimkan email.
Jika email tidak diproses dan dikirim:
- Periksa konfigurasi SendGrid Anda.
- Pastikan Anda telah mengaktifkan backend Secret Manager. Pastikan Anda memberikan izin tambahan dan menetapkan penggantian untuk opsi konfigurasi Airflow.
- Periksa filter spam di program email Anda.
Mengonfigurasi layanan SMTP pihak ketiga
Untuk mengirim email melalui layanan SMTP pihak ketiga, ganti opsi konfigurasi Airflow email_backend
dan konfigurasi parameter terkait SMTP lainnya.
Untuk mengonfigurasi layanan SMTP pihak ketiga, ganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai |
---|---|---|
email |
email_backend |
airflow.utils.email.send_email_smtp |
smtp |
smtp_host |
Nama host untuk server SMTP. |
smtp |
smtp_user |
Nama pengguna di server SMTP. |
smtp |
smtp_port |
Port untuk server SMTP. Port 25 tidak tersedia. Anda dapat menggunakan port lain, seperti port SMTP standar 465 dan 587. |
smtp |
smtp_password |
Menyetel sandi melalui smtp_password tidak didukung. Untuk menyetel sandi SMTP, ikuti petunjuk yang diberikan di Mengonfigurasi sandi SMTP. |
smtp |
smtp_mail_from |
Alamat email Dari, seperti noreply-composer@ . |
smtp |
smtp_starttls |
Untuk keamanan yang lebih baik, setel ke True . |
smtp |
smtp_ssl |
Untuk keamanan yang lebih baik, setel ke True . |
Mengonfigurasi sandi SMTP untuk layanan SMTP pihak ketiga
Menyimpan sandi SMTP dalam teks biasa pada file konfigurasi Airflow adalah praktik keamanan yang buruk. Itulah sebabnya Cloud Composer tidak mendukung metode ini. Sebagai gantinya, Anda dapat menggunakan dua metode lain untuk mengonfigurasi sandi SMTP.
Menggunakan perintah untuk mengambil sandi SMTP
Anda dapat menggunakan penggantian konfigurasi untuk menentukan perintah yang mendapatkan sandi SMTP. Saat berkomunikasi dengan layanan SMTP, Airflow menggunakan perintah ini untuk mendapatkan nilai sandi. Tentukan satu perintah, tanpa operator bash seperti pipes dan redirect.
Untuk menggunakan metode ini, ganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai |
---|---|---|
smtp |
smtp_password_cmd |
Tentukan perintah yang menampilkan sandi SMTP. |
Menggunakan secret yang disimpan di Secret Manager untuk mengambil sandi SMTP
Anda dapat mengonfigurasi Secret Manager sebagai backend Airflow secrets.
Setelah mengonfigurasi Secret Manager untuk lingkungan Composer, Anda dapat menyimpan sandi SMTP di Secret Manager:
Buat secret baru:
echo -n "SMTP_PASSWORD" | gcloud beta secrets create \ airflow-config-smtp-password \ --data-file=- \ --replication-policy=automatic
Ganti
SMTP_PASSWORD
dengan sandi SMTP Anda.Konfigurasi Airflow untuk mendapatkan sandi SMTP dari Secret Manager. Untuk melakukannya, ganti opsi konfigurasi Airflow berikut:
Bagian Kunci Nilai smtp
smtp_password_secret
smtp-password