Cloud Composer 1 | Cloud Composer 2

注: このページは Cloud Composer 3 用にはまだ修正されていません。Cloud Composer 2 の内容が表示されます。

このページでは、Cloud Composer 環境の SMTP サービスを構成する方法について説明します。

始める前に

Cloud Composer 環境がプライベート IP 用に構成されている場合は、外部メールサービス（https://api.sendgrid.com、任意の SMTP サーバーなど）用の API エンドポイントに接続できることを確認してください。

SendGrid メールサービスを構成する

通知を受け取るには、SendGrid メールサービスを介してメールを送信するように環境変数を構成します。

SendGrid に登録する

まだ登録していない場合は、Google Cloud コンソールで SendGrid に登録し、[Manage On Provider] をクリックして SendGrid ドメインに移動し、[Settings] をクリックしてユーザー名を取得し、API キーを作成します。Google Cloud デベロッパーは、1 か月あたり 12,000 件の無料メールを利用できます。

SendGrid Email API に移動

変数の設定

SendGrid では、API キーと From のメールアドレスを使用してメールを送信します。この情報は、次のいずれかのオプションで指定します。

• （推奨）Secret Manager に値を保存します。

  注: このオプションは Airflow 2.1.4 以降のバージョンで使用できます。Airflow バージョン 2.1.4～2.2.3 では、引き続き環境変数を使用してメールアドレスを設定する必要がありますが、SendGrid API キーはシークレットに保存できます。

• 値を Airflow に保存します。

  注意: このオプションを使用する場合、SendGrid API キーの値は Airflow 接続に保存されます。

Secret Manager に値を保存する

Secret Manager に値を保存するには:

1. apache-airflow-providers-sendgrid PyPI パッケージをインストールします。

2. 環境に Secret Manager を構成するシークレット バックエンドの権限と Airflow 構成オプションを設定してください。

3. 次の Airflow 構成オプションをオーバーライドします。

   セクション	キー	値
   email	email_conn_id	sendgrid_default
   email	email_backend	airflow.providers.sendgrid.utils.emailer.send_email

4. airflow-connections-sendgrid_default という名前の SendGrid 接続にシークレットを作成します。シークレットの値を接続 URI に設定します。次に例を示します。

   sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587
   

   Secret Manager での接続の保存の詳細については、Airflow 接続を管理するをご覧ください。

5. SendGrid のメールアドレスを構成します。

   • （Airflow 2.2.4 以降のバージョン）シークレットを使用してメールアドレスを設定することはできません。代わりに、次の Airflow 構成オプションをオーバーライドします。

     セクション	キー	値
     email	from_email	From: に指定するメールアドレス（[e-mail] など）。

   • （Airflow バージョン 2.1.4 ～ 2.1.3）環境に次の環境変数を設定します。

     名前	値
     SENDGRID_MAIL_FROM	From: に指定するメールアドレス（[e-mail] など）。

値を Airflow に保存する

1. 次の Airflow 構成オプションをオーバーライドします。

   セクション	キー	値
   email	email_conn_id	sendgrid_default
   email	email_backend	airflow.providers.sendgrid.utils.emailer.send_email

2. Airflow で、sendgrid_default という名前の接続を構成します。接続 URI で SendGrid API キーを指定します。次に例を示します。

   gcloud composer environments run ENVIRONMENT_NAME \
     --location LOCATION \
     connections add -- \
     --conn-uri "sendgrid://USERNAME:[e-mail]:587" \
     sendgrid_default
   

   以下を置き換えます。

   • ENVIRONMENT_NAME: 環境の名前。
   • LOCATION: 環境が配置されているリージョン。
   • USERNAME: SendGrid ユーザー名。
   • SENDGRID_API_KEY: SendGrid API キー。

3. SendGrid のメールアドレスを構成します。

   • （Airflow 2.2.4 以降のバージョン）次の Airflow 構成のオプションをオーバーライドします。

     セクション	キー	値
     email	from_email	From: に指定するメールアドレス（[e-mail] など）。

   • （Airflow バージョン 2.1.4 ～ 2.1.3）環境に次の環境変数を設定します。

     名前	値
     SENDGRID_MAIL_FROM	From: に指定するメールアドレス（[e-mail] など）。

SendGrid 構成をテストする

SendGrid 構成をテストする手順は次のとおりです。

1. EmailOperator を使用するテスト DAG を作成します。次に例を示します。

import datetime

import airflow
from airflow.operators.email import EmailOperator

with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="[e-mail]",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )

1. 環境に DAG をアップロードし、EmailOperator タスクが成功することを確認します。
2. SendGrid の認証情報を使用して SendGrid にログインします。
3. SendGrid UI で、[Activity] ページに移動します。
4. メールのリストを検索します。SendGrid がメールを処理して配信したことを確認します。

5. メールが処理、配信されていない場合は、次の手順を行います。

   • SendGrid の構成を確認します。
   • Secret Manager バックエンドが有効になっていることを確認します。追加の権限が付与され、Airflow 構成オプションのオーバーライドが設定されていることを確認します。
   • メール クライアントのスパムフィルタを確認します。

サードパーティの SMTP サービスを構成する

サードパーティの SMTP サービスを介してメールを送信するには、email_backend Airflow 構成オプションをオーバーライドして、他の SMTP 関連パラメータを構成します。

注: サードパーティの SMTP サービスを使用するには、SMTP パスワードを設定する必要があります。Cloud Composer では smtp_password の構成はサポートされていません。これは、値が書式なしテキストとして airflow.cfg に保存され、安全性が低いと考えられるためです。より安全な方法で SMTP パスワードを設定する方法については、SMTP パスワードを構成するをご覧ください。

サードパーティの SMTP サービスを構成するには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
email	email_backend	airflow.utils.email.send_email_smtp
smtp	smtp_host	SMTP サーバーのホスト名。
smtp	smtp_user	SMTP サーバーのユーザー名。
smtp	smtp_port	SMTP サーバーのポート。ポート 25 は使用できません。標準の SMTP ポート 465 や 587 など、他のポートを使用することもできます。
smtp	smtp_password	smtp_password を介したパスワードの設定はサポートされていません。SMTP パスワードを設定するには、SMTP パスワードを構成するの手順に従ってください。
smtp	smtp_mail_from	From: に指定するメールアドレス（noreply-composer@ など）。
smtp	smtp_starttls	セキュリティを強化するには、True に設定します。
smtp	smtp_ssl	セキュリティを強化するには、True に設定します。

サードパーティの SMTP サービスの SMTP パスワードを構成する

Airflow 構成ファイルに書式なしテキストで SMTP パスワードを保存することは、セキュリティ対策として不適切です。そのため、Cloud Composer ではこのメソッドをサポートしていません。代わりに、他の 2 つの方法を使用して SMTP パスワードを構成できます。

コマンドを使って SMTP パスワードを取得する

構成のオーバーライドを使用して、SMTP パスワードを取得するコマンドを指定できます。SMTP サービスと通信するとき、Airflow はこのコマンドを使用してパスワードの値を取得します。パイプやリダイレクトなどの bash の演算子を使用せずに、1 つのコマンドを指定します。

この方法を使用するには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
smtp	smtp_password_cmd	SMTP パスワードを返すコマンドを指定します。

Secret Manager に保存されているシークレットを使用して SMTP パスワードを取得する

Airflow シークレット バックエンドとして Secret Manager を構成できます。

注: 環境で smtp_ssl Airflow 構成オプションが True に設定されている場合に、SSL_WRONG_VERSION_NUMBER エラーが発生したら、このオーバーライドを無効にします。

Composer 環境の Secret Manager を構成すると、SMTP パスワードを Secret Manager に保存できます。

1. 新しいシークレットを作成します。

   echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
     airflow-config-smtp-password \
     --data-file=- \
     --replication-policy=automatic
   

   SMTP_PASSWORD を SMTP パスワードに置き換えます。

2. Secret Manager から SMTP パスワードを取得するように Airflow を構成します。これを行うには、次の Airflow 構成オプションをオーバーライドします。

   セクション	キー	値
   smtp	smtp_password_secret	smtp-password

次のステップ

• Airflow 構成オプションをオーバーライドする
• 環境変数を設定する