Batch で Secret Manager を使用してセンシティブデータを保護する

このドキュメントでは、Secret Manager の Secret を使用して Batch ジョブに指定するセンシティブデータを保護する方法について説明します。

Secret Manager の Secret は、暗号化によってセンシティブデータを保護します。 Batch ジョブでは、1 つ以上の既存の Secret を指定して、そこに含まれるセンシティブデータを安全に渡すことができます。これを使用すると、次のことを行えます。

センシティブデータを含むカスタム環境変数を安全に定義します。
Docker Registry のログイン認証情報を安全に指定すると、ジョブの実行可能ファイルでプライベートコンテナイメージにアクセスできます。

準備

Batch を以前に使用したことがなかった場合は、Batch を使ってみるを確認し、プロジェクトとユーザーの前提条件を完了して Batch を有効にします。
ジョブに対して安全に指定するセンシティブデータの Secret を作成するか Secret を特定します。
ジョブの作成に必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。
- プロジェクトのバッチジョブ編集者（roles/batch.jobsEditor）
- ジョブのサービスアカウントのサービスアカウントユーザー（roles/iam.serviceAccountUser）。これは、デフォルトでは Compute Engine のデフォルトのサービスアカウントです。
ロールの付与の詳細については、アクセスの管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
ジョブのサービスアカウントに Secret へのアクセスに必要な権限が付与されているようにするには、ジョブのサービスアカウントに Secret に対する Secret Manager のシークレットアクセサー（roles/secretmanager.secretAccessor）の IAM ロール付与するよう管理者に依頼してください。

センシティブデータをカスタム環境変数に安全に渡す

Secret Manager の Secret からカスタム環境変数にセンシティブデータを安全に渡すには、環境の Secret 変数（secretVariables）サブフィールドで各環境変数を定義し、値ごとに Secret を指定する必要があります。ジョブで Secret を指定するたびに、Secret のバージョンの形式 projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION にする必要があります。

Secret 変数を定義するジョブを作成するには、gcloud CLI または Batch API を使用します。次の例は、すべての実行可能ファイルの環境（taskSpec の environment サブフィールド）の Secret 変数を定義して使用するジョブの作成方法を示しています。

gcloud

ジョブの構成の詳細を指定する JSON ファイルを作成し、1 つ以上の環境の secretVariables サブフィールドを含めます。

たとえば、環境ですべての実行可能ファイルに対して Secret 変数を使用する基本的なスクリプトジョブを作成するには、次の内容の JSON ファイルを作成します。

警告: 次のサンプルスクリプトは、学習目的のために、指定された Secret の内容を標準出力ストリームに出力します。ただし、このようなスクリプトでは、Secret の暗号化されていないコンテンツが Cloud Logging などの未承認の場所に記録される可能性があるため、実際のセンシティブデータに対してこのようなスクリプトはおすすめしません。
```
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo This is the secret: ${SECRET_VARIABLE_NAME}"
            }
          }
        ],
        "environment": {
          "secretVariables": {
            "{SECRET_VARIABLE_NAME}": "projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION"
          }
        }
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}
```
次のように置き換えます。
- SECRET_VARIABLE_NAME: Secret 変数の名前。慣例により、環境変数名は大文字です。
  
  変数の Secret Manager の Secret からセンシティブデータに安全にアクセスするには、このジョブの実行可能ファイルでこの変数名を指定します。Secret 変数には、Secret 変数を定義しているのと同じ環境にあるすべての実行可能ファイルからアクセスできます。
- PROJECT_ID: プロジェクトのプロジェクト ID。
- SECRET_NAME: 既存の Secret Manager の Secret の名前。
- VERSION: ジョブに渡すデータを含む指定した Secret のバージョン。バージョン番号または latest を指定できます。
ジョブを作成して実行するには、gcloud batch jobs submit コマンドを使用します。
```
gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE
```
以下を置き換えます。
- JOB_NAME: ジョブの名前。
- LOCATION: ジョブのロケーション。
- JSON_CONFIGURATION_FILE: ジョブの構成の詳細を含む JSON ファイルへのパス。

API

jobs.create メソッドに POST リクエストを送ります。これにより、1 つ以上の環境の secretVariables サブフィールドを指定します。

たとえば、環境ですべての実行可能ファイルに対して Secret 変数を使用する基本的なスクリプトジョブを作成するには、次のリクエストを行います。

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo This is the secret: ${SECRET_VARIABLE_NAME}"
            }
          }
        ],
        "environment": {
          "secretVariables": {
            "{SECRET_VARIABLE_NAME}": "projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION"
          }
        }
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

次のように置き換えます。

PROJECT_ID: プロジェクトのプロジェクト ID。
LOCATION: ジョブのロケーション。
JOB_NAME: ジョブの名前。
SECRET_VARIABLE_NAME: Secret 変数の名前。慣例により、環境変数名は大文字です。

変数の Secret Manager の Secret からセンシティブデータに安全にアクセスするには、このジョブの実行可能ファイルでこの変数名を指定します。Secret 変数には、Secret 変数を定義しているのと同じ環境にあるすべての実行可能ファイルからアクセスできます。
SECRET_NAME: 既存の Secret Manager の Secret の名前。
VERSION: ジョブに渡すデータを含む指定した Secret のバージョン。バージョン番号または latest を指定できます。

Docker レジストリ認証情報を必要とするコンテナイメージに安全にアクセスする

非公開 Docker レジストリのコンテナイメージを使用するには、実行可能ファイルで Docker レジストリへのアクセスを許可するログイン認証情報を指定する必要があります。具体的には、イメージ URI（imageUri）フィールドでコンテナの実行可能ファイルが非公開 Docker レジストリのイメージに設定されているの場合は、ユーザー名（username）フィールドとパスワード（password）フィールドを使用して、その Docker レジストリにアクセスするために必要な認証情報を指定する必要があります。

これらのフィールドを直接定義するのではなく、情報を含む既存の Secret を指定することで、Docker レジストリの機密性の高い認証情報を保護できます。ジョブで Secret を指定するたびに、Secret のバージョンの形式 projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION にする必要があります。

gcloud CLI または Batch API を使用して、非公開 Docker レジストリのコンテナイメージを使用するジョブを作成できます。次の例は、ユーザー名とパスワードを Secret として直接指定し、非公開 Docker レジストリのコンテナイメージを使用するジョブを作成する方法を示しています。

gcloud

ジョブの構成の詳細を指定する JSON ファイルを作成します。非公開 Docker レジストリのイメージを使用するコンテナ実行可能ファイルの場合は、そのアクセスに必要な認証情報を username フィールドと password フィールドに含めます。

たとえば、非公開 Docker レジストリからイメージを指定する基本的なコンテナジョブを作成するには、次の内容の JSON ファイルを作成します。
```
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "container": {
              "imageUri": "PRIVATE_IMAGE_URI",
              "commands": [
                "-c",
                "echo This runnable uses a private image."
              ],
              "username": "USERNAME",
              "password": "PASSWORD"
            }
          }
        ],
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}
```
次のように置き換えます。
- PRIVATE_IMAGE_URI: 非公開 Docker レジストリのコンテナイメージのイメージ URI。このイメージに他のコンテナ設定が必要な場合は、それらも含める必要があります。
- USERNAME: 非公開 Docker レジストリのユーザー名。Secret として、または直接指定できます。
- PASSWORD: 非公開 Docker レジストリのパスワード。Secret として（推奨）、または直接指定できます。
  
  たとえば、パスワードを Secret として指定するには、PASSWORD を次のように設定します。
```
projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION
```
  次のように置き換えます。
  - PROJECT_ID: プロジェクトのプロジェクト ID。
  - SECRET_NAME: 既存の Secret Manager の Secret の名前。
  - VERSION: ジョブに渡すデータを含む指定した Secret のバージョン。バージョン番号または latest を指定できます。
ジョブを作成して実行するには、gcloud batch jobs submit コマンドを使用します。
```
gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE
```
以下を置き換えます。
- JOB_NAME: ジョブの名前。
- LOCATION: ジョブのロケーション。
- JSON_CONFIGURATION_FILE: ジョブの構成の詳細を含む JSON ファイルへのパス。

API

jobs.create メソッドに POST リクエストを送信します。非公開 Docker レジストリのイメージを使用するコンテナ実行可能ファイルの場合は、そのアクセスに必要な認証情報を username フィールドと password フィールドに含めます。

たとえば、非公開 Docker レジストリからイメージを指定する基本的なコンテナジョブを作成するには、次のリクエストを行います。

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "container": {
              "imageUri": "PRIVATE_IMAGE_URI",
                "commands": [
                  "-c",
                  "echo This runnable uses a private image."
                ],
                "username": "USERNAME",
                "password": "PASSWORD"
            }
          }
        ],
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

次のように置き換えます。

PROJECT_ID: プロジェクトのプロジェクト ID。
LOCATION: ジョブのロケーション。
JOB_NAME: ジョブの名前。
PRIVATE_IMAGE_URI: 非公開 Docker レジストリのコンテナイメージのイメージ URI。このイメージに他のコンテナ設定が必要な場合は、それらも含める必要があります。
USERNAME: 非公開 Docker レジストリのユーザー名。Secret として、または直接指定できます。
PASSWORD: 非公開 Docker レジストリのパスワード。Secret として（推奨）、または直接指定できます。

たとえば、パスワードを Secret として指定するには、PASSWORD を次のように設定します。
```
projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION
```
次のように置き換えます。
- PROJECT_ID: プロジェクトのプロジェクト ID。
- SECRET_NAME: 既存の Secret Manager の Secret の名前。
- VERSION: ジョブに渡すデータを含む指定した Secret のバージョン。バージョン番号または latest を指定できます。

次のステップ

ジョブの作成または実行に問題がある場合は、トラブルシューティングをご覧ください。
ジョブとタスクを表示する。
詳しくは、環境変数をご覧ください。
シークレットマネージャーの詳細を確認する。
別のジョブ作成オプションを学習する。

Batch で Secret Manager を使用してセンシティブ データを保護する

準備

センシティブ データをカスタム環境変数に安全に渡す

gcloud

API

Docker レジストリ認証情報を必要とするコンテナ イメージに安全にアクセスする

gcloud

API

次のステップ

Batch で Secret Manager を使用してセンシティブデータを保護する

センシティブデータをカスタム環境変数に安全に渡す

Docker レジストリ認証情報を必要とするコンテナイメージに安全にアクセスする