Melindungi data sensitif menggunakan Secret Manager dengan Batch

Dokumen ini menjelaskan cara melindungi data sensitif yang ingin Anda tentukan untuk tugas Batch menggunakan secret Secret Manager.

Secret Secret Manager melindungi data sensitif melalui enkripsi. Dalam tugas Batch, Anda dapat menentukan satu atau beberapa secret yang ada untuk meneruskan data sensitif yang dikandungnya dengan aman, yang dapat Anda gunakan untuk melakukan hal berikut:

  • Tentukan dengan aman variabel lingkungan kustom yang berisi data sensitif.

  • Tentukan kredensial login untuk Docker Registry secara aman agar tugas yang dapat dijalankan dapat mengakses image container pribadinya.

Sebelum memulai

  1. Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
  2. Buat secret atau identifikasi secret untuk data sensitif yang ingin Anda tentukan dengan aman untuk suatu tugas.

  3. Untuk mendapatkan izin yang diperlukan untuk membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:

    Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  4. Untuk memastikan akun layanan tugas memiliki izin yang diperlukan untuk mengakses secret, minta administrator untuk memberikan akun layanan tugas peran IAM Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) pada secret.

Meneruskan data sensitif dengan aman ke variabel lingkungan kustom

Untuk meneruskan data sensitif dari secret Secret Manager ke variabel lingkungan kustom dengan aman, Anda harus menentukan setiap variabel lingkungan di subkolom variabel secret (secretVariables) untuk lingkungan dan menentukan secret untuk setiap nilai. Setiap kali menentukan secret dalam tugas, Anda harus memformatnya sebagai jalur ke versi secret: projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION.

Anda dapat membuat tugas yang menentukan variabel rahasia menggunakan gcloud CLI, Batch API, Java, Node.js, atau Python. Contoh berikut menjelaskan cara membuat tugas yang menentukan dan menggunakan variabel secret untuk lingkungan semua runnable (subkolom environment dari taskSpec).

gcloud

  1. Buat file JSON yang menentukan detail konfigurasi tugas dan sertakan subkolom secretVariables untuk satu atau beberapa lingkungan.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan variabel secret di lingkungan untuk semua yang dapat dijalankan, buat file JSON dengan konten berikut:

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo This is the secret: ${SECRET_VARIABLE_NAME}"
            }
          }
        ],
        "environment": {
          "secretVariables": {
            "{SECRET_VARIABLE_NAME}": "projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION"
          }
        }
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

    Ganti kode berikut:

    • SECRET_VARIABLE_NAME: nama variabel secret. Sesuai dengan konvensi, nama variabel lingkungan menggunakan huruf besar.

      Untuk mengakses data sensitif dengan aman dari secret Secret Manager variabel, tentukan nama variabel ini dalam runnable tugas ini. Variabel secret dapat diakses oleh semua runnable yang berada di lingkungan yang sama tempat Anda menentukan variabel secret.

    • PROJECT_ID: Project ID project Anda.

    • SECRET_NAME: nama secret Secret Manager yang ada.

    • VERSION: versi secret yang ditentukan yang berisi data yang ingin Anda teruskan ke tugas. Ini dapat berupa nomor versi atau latest.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menentukan subkolom secretVariables untuk satu atau beberapa lingkungan.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan variabel secret di lingkungan untuk semua yang dapat dijalankan, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo This is the secret: ${SECRET_VARIABLE_NAME}"
            }
          }
        ],
        "environment": {
          "secretVariables": {
            "{SECRET_VARIABLE_NAME}": "projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION"
          }
        }
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • SECRET_VARIABLE_NAME: nama variabel secret. Sesuai dengan konvensi, nama variabel lingkungan menggunakan huruf besar.

    Untuk mengakses data sensitif dengan aman dari secret Secret Manager variabel, tentukan nama variabel ini dalam runnable tugas ini. Variabel secret dapat diakses oleh semua runnable yang berada di lingkungan yang sama tempat Anda menentukan variabel secret.

  • SECRET_NAME: nama secret Secret Manager yang ada.

  • VERSION: versi secret yang ditentukan yang berisi data yang ingin Anda teruskan ke tugas. Ini dapat berupa nomor versi atau latest.

Java 


import com.google.cloud.batch.v1.BatchServiceClient;
import com.google.cloud.batch.v1.CreateJobRequest;
import com.google.cloud.batch.v1.Environment;
import com.google.cloud.batch.v1.Job;
import com.google.cloud.batch.v1.LogsPolicy;
import com.google.cloud.batch.v1.LogsPolicy.Destination;
import com.google.cloud.batch.v1.Runnable;
import com.google.cloud.batch.v1.Runnable.Script;
import com.google.cloud.batch.v1.TaskGroup;
import com.google.cloud.batch.v1.TaskSpec;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateBatchUsingSecretManager {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "YOUR_PROJECT_ID";
    // Name of the region you want to use to run the job. Regions that are
    // available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
    String region = "europe-central2";
    // The name of the job that will be created.
    // It needs to be unique for each project and region pair.
    String jobName = "JOB_NAME";
    // The name of the secret variable.
    // This variable name is specified in this job's runnables
    // and is accessible to all of the runnables that are in the same environment.
    String secretVariableName = "VARIABLE_NAME";
    // The name of an existing Secret Manager secret.
    String secretName = "SECRET_NAME";
    // The version of the specified secret that contains the data you want to pass to the job.
    // This can be the version number or latest.
    String version = "VERSION";

    createBatchUsingSecretManager(projectId, region,
            jobName, secretVariableName, secretName, version);
  }

  // Create a basic script job to securely pass sensitive data.
  // The data is obtained from Secret Manager secrets
  // and set as custom environment variables in the job.
  public static Job createBatchUsingSecretManager(String projectId, String region,
                                                  String jobName, String secretVariableName,
                                                  String secretName, String version)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (BatchServiceClient batchServiceClient = BatchServiceClient.create()) {
      // Define what will be done as part of the job.
      Runnable runnable =
          Runnable.newBuilder()
              .setScript(
                  Script.newBuilder()
                      .setText(
                          String.format("echo This is the secret: ${%s}.", secretVariableName))
                      // You can also run a script from a file. Just remember, that needs to be a
                      // script that's already on the VM that will be running the job.
                      // Using setText() and setPath() is mutually exclusive.
                      // .setPath("/tmp/test.sh")
                      .build())
              .build();

      // Construct the resource path to the secret's version.
      String secretValue = String
              .format("projects/%s/secrets/%s/versions/%s", projectId, secretName, version);

      // Set the secret as an environment variable.
      Environment.Builder environmentVariable = Environment.newBuilder()
          .putSecretVariables(secretVariableName, secretValue);

      TaskSpec task = TaskSpec.newBuilder()
          // Jobs can be divided into tasks. In this case, we have only one task.
          .addRunnables(runnable)
          .setEnvironment(environmentVariable)
          .setMaxRetryCount(2)
          .setMaxRunDuration(Duration.newBuilder().setSeconds(3600).build())
          .build();

      // Tasks are grouped inside a job using TaskGroups.
      // Currently, it's possible to have only one task group.
      TaskGroup taskGroup = TaskGroup.newBuilder()
          .setTaskSpec(task)
          .build();

      Job job =
          Job.newBuilder()
              .addTaskGroups(taskGroup)
              .putLabels("env", "testing")
              .putLabels("type", "script")
              // We use Cloud Logging as it's an out of the box available option.
              .setLogsPolicy(
                  LogsPolicy.newBuilder().setDestination(Destination.CLOUD_LOGGING))
              .build();

      CreateJobRequest createJobRequest =
          CreateJobRequest.newBuilder()
              // The job's parent is the region in which the job will run.
              .setParent(String.format("projects/%s/locations/%s", projectId, region))
              .setJob(job)
              .setJobId(jobName)
              .build();

      Job result =
          batchServiceClient
              .createJobCallable()
              .futureCall(createJobRequest)
              .get(5, TimeUnit.MINUTES);

      System.out.printf("Successfully created the job: %s", result.getName());

      return result;
    }
  }
}

Node.js 

// Imports the Batch library
const batchLib = require('@google-cloud/batch');
const batch = batchLib.protos.google.cloud.batch.v1;

// Instantiates a client
const batchClient = new batchLib.v1.BatchServiceClient();

/**
 * TODO(developer): Update these variables before running the sample.
 */
// Project ID or project number of the Google Cloud project you want to use.
const projectId = await batchClient.getProjectId();
// Name of the region you want to use to run the job. Regions that are
// available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
const region = 'europe-central2';
// The name of the job that will be created.
// It needs to be unique for each project and region pair.
const jobName = 'batch-job-secret-manager';
// The name of the secret variable.
// This variable name is specified in this job's runnables
// and is accessible to all of the runnables that are in the same environment.
const secretVariableName = 'secretVariableName';
// The name of an existing Secret Manager secret.
const secretName = 'secretName';
// The version of the specified secret that contains the data you want to pass to the job.
// This can be the version number or latest.
const version = 'version';

// Define what will be done as part of the job.
const runnable = new batch.Runnable({
  script: new batch.Runnable.Script({
    commands: ['-c', `echo This is the secret: ${secretVariableName}`],
  }),
});

// Construct the resource path to the secret's version.
const secretValue = `projects/${projectId}/secrets/${secretName}/versions/${version}`;

// Set the secret as an environment variable.
const environment = new batch.Environment();
environment.secretVariables[secretVariableName] = secretValue;

const task = new batch.TaskSpec({
  runnables: [runnable],
  environment,
  maxRetryCount: 2,
  maxRunDuration: {seconds: 3600},
});

// Tasks are grouped inside a job using TaskGroups.
const group = new batch.TaskGroup({
  taskCount: 3,
  taskSpec: task,
});

const job = new batch.Job({
  name: jobName,
  taskGroups: [group],
  labels: {env: 'testing', type: 'script'},
  // We use Cloud Logging as it's an option available out of the box
  logsPolicy: new batch.LogsPolicy({
    destination: batch.LogsPolicy.Destination.CLOUD_LOGGING,
  }),
});

// The job's parent is the project and region in which the job will run
const parent = `projects/${projectId}/locations/${region}`;

async function callCreateUsingSecretManager() {
  // Construct request
  const request = {
    parent,
    jobId: jobName,
    job,
  };

  // Run request
  const [response] = await batchClient.createJob(request);
  console.log(JSON.stringify(response));
}

await callCreateUsingSecretManager();

Python 

from typing import Dict, Optional

from google.cloud import batch_v1


def create_with_secret_manager(
    project_id: str,
    region: str,
    job_name: str,
    secrets: Dict[str, str],
    service_account_email: Optional[str] = None,
) -> batch_v1.Job:
    """
    This method shows how to create a sample Batch Job that will run
    a simple command on Cloud Compute instances with passing secrets from secret manager.
    Note: Job's service account should have the permissions to access secrets.
        - Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) IAM role.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        region: name of the region you want to use to run the job. Regions that are
            available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
        job_name: the name of the job that will be created.
            It needs to be unique for each project and region pair.
        secrets: secrets, which should be passed to the job. Environment variables should be capitalized
        by convention https://google.github.io/styleguide/shellguide.html#constants-and-environment-variable-names
            The format should look like:
                - {'SECRET_NAME': 'projects/{project_id}/secrets/{SECRET_NAME}/versions/{version}'}
            version can be set to 'latest'.
        service_account_email (optional): custom service account email

    Returns:
        A job object representing the job created.
    """
    client = batch_v1.BatchServiceClient()

    # Define what will be done as part of the job.
    task = batch_v1.TaskSpec()
    runnable = batch_v1.Runnable()
    runnable.script = batch_v1.Runnable.Script()
    runnable.script.text = (
        "echo Hello world! from task ${BATCH_TASK_INDEX}."
        + f" ${next(iter(secrets.keys()))} is the value of the secret."
    )
    task.runnables = [runnable]
    task.max_retry_count = 2
    task.max_run_duration = "3600s"

    envable = batch_v1.Environment()
    envable.secret_variables = secrets
    task.environment = envable

    # Tasks are grouped inside a job using TaskGroups.
    # Currently, it's possible to have only one task group.
    group = batch_v1.TaskGroup()
    group.task_count = 4
    group.task_spec = task

    # Policies are used to define on what kind of virtual machines the tasks will run on.
    # Read more about local disks here: https://cloud.google.com/compute/docs/disks/persistent-disks
    policy = batch_v1.AllocationPolicy.InstancePolicy()
    policy.machine_type = "e2-standard-4"
    instances = batch_v1.AllocationPolicy.InstancePolicyOrTemplate()
    instances.policy = policy
    allocation_policy = batch_v1.AllocationPolicy()
    allocation_policy.instances = [instances]

    service_account = batch_v1.ServiceAccount()
    service_account.email = service_account_email
    allocation_policy.service_account = service_account

    job = batch_v1.Job()
    job.task_groups = [group]
    job.allocation_policy = allocation_policy
    job.labels = {"env": "testing", "type": "script"}
    # We use Cloud Logging as it's an out of the box available option
    job.logs_policy = batch_v1.LogsPolicy()
    job.logs_policy.destination = batch_v1.LogsPolicy.Destination.CLOUD_LOGGING

    create_request = batch_v1.CreateJobRequest()
    create_request.job = job
    create_request.job_id = job_name
    # The job's parent is the region in which the job will run
    create_request.parent = f"projects/{project_id}/locations/{region}"

    return client.create_job(create_request)

Mengakses image container yang memerlukan kredensial registry Docker dengan aman

Untuk menggunakan image container dari registry Docker pribadi, aplikasi yang dapat dijalankan harus menentukan kredensial login yang memungkinkannya mengakses registry Docker tersebut. Secara khusus, untuk setiap penampung yang dapat dijalankan dengan kolom URI image (imageUri) yang ditetapkan ke image dari registry Docker pribadi, Anda harus menentukan kredensial yang diperlukan untuk mengakses registry Docker tersebut menggunakan kolom nama pengguna (username) dan kolom sandi (password).

Anda dapat melindungi kredensial sensitif apa pun untuk registry Docker dengan menentukan secret yang ada yang berisi informasi, bukan menentukan kolom ini secara langsung. Setiap kali menentukan secret dalam tugas, Anda harus memformatnya sebagai jalur ke versi secret: projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION.

Anda dapat membuat tugas yang menggunakan image container dari registry Docker pribadi menggunakan gcloud CLI atau Batch API. Contoh berikut menjelaskan cara membuat tugas yang menggunakan image penampung dari registry Docker pribadi dengan menentukan nama pengguna secara langsung dan sandi sebagai secret.

gcloud

  1. Buat file JSON yang menentukan detail konfigurasi tugas. Untuk setiap runnable container yang menggunakan image dari registry Docker pribadi, sertakan kredensial yang diperlukan untuk mengaksesnya di kolom username dan password.

    Misalnya, untuk membuat tugas penampung dasar yang menentukan image dari registry Docker pribadi, buat file JSON dengan konten berikut:

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "container": {
              "imageUri": "PRIVATE_IMAGE_URI",
              "commands": [
                "-c",
                "echo This runnable uses a private image."
              ],
              "username": "USERNAME",
              "password": "PASSWORD"
            }
          }
        ],
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

    Ganti kode berikut:

    • PRIVATE_IMAGE_URI: URI image untuk image container dari registry Docker pribadi. Jika image ini memerlukan setelan penampung lainnya, Anda juga harus menyertakannya.

    • USERNAME: nama pengguna untuk registry Docker pribadi, yang dapat ditentukan sebagai secret atau langsung.

    • PASSWORD: sandi untuk registry Docker pribadi, yang dapat ditentukan sebagai secret (direkomendasikan) atau secara langsung.

      Misalnya, untuk menentukan sandi sebagai secret, tetapkan PASSWORD ke hal berikut:

      projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION

      Ganti kode berikut:

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create. Untuk setiap runnable container yang menggunakan image dari registry Docker pribadi, sertakan kredensial yang diperlukan untuk mengaksesnya di kolom username dan password.

Misalnya, untuk membuat tugas penampung dasar yang menentukan image dari registry Docker pribadi, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "container": {
              "imageUri": "PRIVATE_IMAGE_URI",
                "commands": [
                  "-c",
                  "echo This runnable uses a private image."
                ],
                "username": "USERNAME",
                "password": "PASSWORD"
            }
          }
        ],
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • PRIVATE_IMAGE_URI: URI image untuk image container dari registry Docker pribadi. Jika image ini memerlukan setelan penampung lainnya, Anda juga harus menyertakannya.

  • USERNAME: nama pengguna untuk registry Docker pribadi, yang dapat ditentukan sebagai secret atau langsung.

  • PASSWORD: sandi untuk registry Docker pribadi, yang dapat ditentukan sebagai secret (direkomendasikan) atau secara langsung.

    Misalnya, untuk menentukan sandi sebagai secret, tetapkan PASSWORD ke hal berikut:

    projects/PROJECT_ID/secrets/SECRET_ID/versions/VERSION

    Ganti kode berikut:

Langkah selanjutnya