配置电子邮件通知

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页面介绍如何为 Cloud Composer 环境配置 SMTP 服务。

准备工作

• 如果您的 Cloud Composer 环境已配置为使用专用 IP，请确保它已连接到您的外部电子邮件服务（例如 https://api.sendgrid.com 或您的首选 SMTP 服务器）的 API 端点。

• 在公共 IP 环境中，Airflow 组件会通过自动分配的公共 IP 地址和端口建立出站连接，包括发送电子邮件。如果您希望公共 IP 环境通过预先确定的 IP 地址和端口发送电子邮件，可以通过以下方式实现：将 VPC 网络连接到您的环境，然后将其切换为专用 IP。如需详细了解 Cloud Composer 3 中的网络，请参阅更改环境网络类型。

• Cloud Composer 3 中的 Airflow 调度器仅支持以下自定义电子邮件后端：

  • airflow.providers.sendgrid.utils.emailer.send_email
  • airflow.utils.email.send_email_smtp

  如果您配置了其他自定义电子邮件后端，此配置不会传播到调度程序。因此，直接从调度程序发送电子邮件会导致调度程序无响应并反复失败。

  Airflow 工作器和 DAG 处理器支持其他自定义后端，因此您可以从这些组件发送电子邮件。直接从调度程序发送电子邮件的一种常见情况是有关 DAG 失败的电子邮件提醒。作为一种解决方法，您可以改为通过注册的回调发送 DAG 失败提醒。它们将从 DAG 处理器发送。您还可以将其他自定义后端与发送电子邮件的 Airflow 运算符搭配使用。在这种情况下，电子邮件将由处理任务的 Airflow 工作器发送。

配置 SendGrid 电子邮件服务

若想接收通知，请配置相应环境变量，以通过 SendGrid 电子邮件服务发送电子邮件。

注册 SendGrid

如果您尚未注册 SendGrid，请在 Google Cloud 控制台中注册 SendGrid，点击“在提供商处管理”前往 SendGrid 网域，然后点击“设置”以检索您的用户名并创建 API 密钥。作为 Google Cloud 开发者，您每月可免费发送 12,000 封电子邮件。

转到 SendGrid Email API

配置变量

SendGrid 使用 API 密钥和“发件人”电子邮件地址来发送邮件。您可以通过以下任一方式提供此信息：

• （推荐）在 Secret Manager 中存储值

• 在 Airflow 中存储值

  注意： 如果您使用此选项，SendGrid API 密钥的值将存储在 Airflow 连接中。

在 Secret Manager 中存储值

如需在 Secret Manager 中存储值，请执行以下操作：

1. 为您的环境配置 Secret Manager。请务必为 Secret 后端设置权限和 Airflow 配置选项。

2. 替换以下 Airflow 配置选项：

   部分	键	值
   email	email_conn_id	sendgrid_default
   email	email_backend	airflow.providers.sendgrid.utils.emailer.send_email

3. 为 SendGrid 连接创建一个名为 airflow-connections-sendgrid_default 的 Secret。将 Secret 的值设置为连接 URI。例如：

   sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587
   

   如需详细了解如何在 Secret Manager 中存储连接，请参阅管理 Airflow 连接。

4. 为 SendGrid 配置电子邮件地址。无法通过密文设置电子邮件地址。请改为替换以下 Airflow 配置选项：

   部分	键	值
   email	from_email	发件人电子邮件地址，例如 [e-mail]。

在 Airflow 中存储值

1. 替换以下 Airflow 配置选项：

   部分	键	值
   email	email_conn_id	sendgrid_default
   email	email_backend	airflow.providers.sendgrid.utils.emailer.send_email

2. 在 Airflow 中，配置名为 sendgrid_default 的连接。在连接 URI 中指定 Sendgrid API 密钥。例如：

   gcloud composer environments run ENVIRONMENT_NAME \
     --location LOCATION \
     connections add -- \
     --conn-uri "sendgrid://USERNAME:[e-mail]:587" \
     sendgrid_default
   

   替换以下内容：

   • ENVIRONMENT_NAME：您的环境的名称。
   • LOCATION：环境所在的区域。
   • USERNAME：SendGrid 用户名。
   • SENDGRID_API_KEY：SendGrid API 密钥。

3. 为 SendGrid 配置电子邮件地址。无法通过密文设置电子邮件地址。请改为替换以下 Airflow 配置选项：

   部分	键	值
   email	from_email	发件人电子邮件地址，例如 [e-mail]。

测试 SendGrid 配置

如需测试 SendGrid 配置，请执行以下操作：

1. 创建一个使用 EmailOperator 的测试 DAG。例如：

import datetime

import airflow
from airflow.operators.email import EmailOperator


with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="[e-mail]",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )

1. 将 DAG 上传到您的环境，并检查任务是否成功完成。
2. 使用您的 SendGrid 凭据登录 SendGrid。
3. 在 SendGrid 界面中，转到“活动”页面。
4. 在列表中搜索该电子邮件。您应该会看到 SendGrid 已处理并递送该电子邮件。

5. 如果该电子邮件未被处理和递送，请执行以下操作：

   • 检查您的 SendGrid 配置。
   • 验证您是否已启用 Secret Manager 后端。确保您已授予额外权限并为 Airflow 配置选项设置替换项。
   • 检查您的电子邮件客户端的垃圾邮件过滤器。

配置第三方 SMTP 服务

如需通过第三方 SMTP 服务发送电子邮件，请替换 email_backend Airflow 配置选项并配置其他与 SMTP 相关的参数。

注意：使用第三方 SMTP 服务需要设置 SMTP 密码。Cloud Composer 不支持配置 smtp_password，因为该值以纯文本格式存储在 airflow.cfg 中，这被认为是不安全的。请参阅配置 SMTP 密码，了解如何以更安全的方式设置 SMTP 密码。

如需配置第三方 SMTP 服务，请替换以下 Airflow 配置选项：

部分	键	值
email	email_backend	airflow.utils.email.send_email_smtp
smtp	smtp_host	SMTP 服务器的主机名。
smtp	smtp_user	SMTP 服务器上的用户名。
smtp	smtp_port	SMTP 服务器的端口。端口 25 不可用。您可以使用其他端口，例如标准 SMTP 端口 465 和 587。
smtp	smtp_password	不支持通过 smtp_password 设置密码。要设置 SMTP 密码，请按照配置 SMTP 密码中的说明操作。
smtp	smtp_mail_from	发件人电子邮件地址，例如 noreply-composer@。
smtp	smtp_starttls	为增强安全性，请将其设置为 True。
smtp	smtp_ssl	为增强安全性，请将其设置为 True。

为第三方 SMTP 服务配置 SMTP 密码

将 SMTP 密码以纯文本形式保存在 Airflow 配置文件中是一种不好的安全做法。因此，Cloud Composer 不支持此方法。您可以使用其他两种方法来配置 SMTP 密码。

使用命令检索 SMTP 密码

您可以使用配置替换来指定用于获取 SMTP 密码的命令。与 SMTP 服务通信时，Airflow 使用此命令来获取密码的值。指定单个命令，不含管道和重定向等 Bash 运算符。

如需使用此方法，请替换以下 Airflow 配置选项：

部分	键	值
smtp	smtp_password_cmd	指定用于返回 SMTP 密码的命令。

使用存储在 Secret Manager 中的密文来检索 SMTP 密码

您可以将 Secret Manager 配置为您的 Airflow Secret 后端。

注意： 如果您的环境将 smtp_ssl Airflow 配置选项设置为 True，则在遇到 SSL_WRONG_VERSION_NUMBER 错误时停用此替换。

为 Composer 环境配置 Secret Manager 后，您可以将 SMTP 密码存储在 Secret Manager 中：

1. 创建新 Secret ：

   echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
     airflow-config-smtp-password \
     --data-file=- \
     --replication-policy=automatic
   

   将 SMTP_PASSWORD 替换为您的 SMTP 密码。

2. 配置 Airflow 以从 Secret Manager 获取 SMTP 密码。为此，请替换以下 Airflow 配置选项：

   部分	键	值
   smtp	smtp_password_secret	smtp-password

后续步骤

• 替换 Airflow 配置选项
• 设置环境变量