创建和管理批量操作作业

本页面介绍了如何创建、查看、列出、取消和删除 存储批量操作作业。本文档还介绍了如何将 Cloud Audit Logs 与存储批量操作作业搭配使用。

准备工作

如需创建和管理存储批量操作作业，请完成以下部分中的步骤。

配置 Storage Intelligence

如需创建和管理存储批量操作作业，请在要运行作业的存储桶上配置Storage Intelligence。

设置 Google Cloud CLI

您必须使用 Google Cloud CLI 516.0.0 或更高版本。

设置默认项目

设置要在其中创建存储批量操作作业的项目。

gcloud config set project PROJECT_ID

其中，PROJECT_ID 是项目 ID。

启用 API

启用存储批量操作 API。

gcloud services enable storagebatchoperations.googleapis.com

创建清单

如需使用清单进行对象选择，请创建清单。

创建存储批量操作作业

本部分介绍了如何创建存储批量操作作业。

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs create 命令。

    gcloud storage batch-operations jobs create JOB_NAME --bucket=BUCKET_NAME OBJECT_SELECTION_FLAG JOB_TYPE_FLAG

    其中：

    • JOB_NAME 是存储批量操作作业的名称。

    • BUCKET_NAME 是包含一个或多个待处理对象的存储桶的名称。

    • OBJECT_SELECTION_FLAG 是以下标志之一：

      • --included-object-prefixes：指定一个或多个对象前缀。例如：

        • 如需匹配单个前缀，请使用：--included-object-prefixes='prefix1'。
        • 如需匹配多个前缀，请使用以英文逗号分隔的前缀列表：--included-object-prefixes='prefix1,prefix2'。
        • 如需包含所有对象，请使用空前缀：--included-object-prefixes=''。

      • --manifest-location：指定清单位置。例如 gs://bucket_name/path/object_name.csv。

    • JOB_TYPE_FLAG 是以下标志之一，具体取决于作业类型。

      • --delete-object：删除一个或多个对象。

        • 如果为存储桶启用了对象版本控制，则当前对象会转换为非当前状态，而非当前对象会被跳过。

        • 如果存储桶停用了对象版本控制，则删除操作会永久删除对象并跳过非当前对象。

      • --enable-permanent-object-deletion：永久删除对象。结合使用此标志和 --delete-object 标志可永久删除存储桶中的实时对象和非当前对象，无论存储桶的对象版本控制配置如何。

      • --put-metadata：更新对象元数据。对象元数据以键值对的形式存储。指定要修改的元数据的键值对。您可以将一个或多个键值对指定为一个列表。您还可以使用 --put-metadata 标志设置对象保留配置。为此，请使用 Retain-Until 和 Retention-Mode 字段指定保留参数。例如，

        gcloud storage batch-operations jobs create my-job --bucket=my-bucket --manifest=manifest.csv --put-metadata=Retain-Until=RETAIN_UNTIL_TIME, Retention-Mode=RETENTION_MODE

        其中：

        • RETAIN_UNTIL_TIME 是日期和时间，采用 RFC 3339 格式，表示对象保留期限的截止时间。例如 2025-10-09T10:30:00Z。如需为对象设置保留配置，您需要在包含该对象的存储桶中启用保留功能。

        • RETENTION_MODE 是保留模式（Unlocked 或 Locked）。

          当您发送更新 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段的请求时，请考虑以下事项：

          • 如需更新对象保留配置，您必须为 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段提供非空值；仅设置其中一个字段会导致出现 INVALID_ARGUMENT 错误。
          • 您可以延长 RETAIN_UNTIL_TIME 值，以用于 Unlocked 或 Locked 模式下的对象。
          • 如果您想执行以下操作，对象保留必须处于 Unlocked 模式：
            • 减小 RETAIN_UNTIL_TIME 值。
            • 移除保留配置。如需移除配置，您需要为 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段提供空值。
          • 如果您同时省略 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段，则保留配置将保持不变。

        • --rewrite-object：更新一个或多个对象的客户管理的加密密钥。

        • --put-object-event-based-hold：启用基于事件的对象保全。

        • --no-put-object-event-based-hold：停用基于事件的对象保全。

        • --put-object-temporary-hold：启用临时对象保全。

        • --no-put-object-temporary-hold：停用临时对象保全。

      • 客户端库

      C++

      如需了解详情，请参阅 Cloud Storage C++ API 参考文档。

      如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

      [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id,
   std::string const& target_bucket_name, std::string const& object_prefix) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  namespace sbo = google::cloud::storagebatchoperations::v1;
  sbo::Job job;
  sbo::BucketList* bucket_list = job.mutable_bucket_list();
  sbo::BucketList::Bucket* bucket_config = bucket_list->add_buckets();
  bucket_config->set_bucket(target_bucket_name);
  sbo::PrefixList* prefix_list_config = bucket_config->mutable_prefix_list();
  prefix_list_config->add_included_object_prefixes(object_prefix);
  sbo::DeleteObject* delete_object_config = job.mutable_delete_object();
  delete_object_config->set_permanent_object_deletion_enabled(false);
  auto result = client.CreateJob(parent, job, job_id).get();
  if (!result) throw result.status();
  std::cout << "Created job: " << result->name() << "\n";
}

      PHP

      如需了解详情，请参阅 Cloud Storage PHP API 参考文档。

      如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

      use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\CreateJobRequest;
use Google\Cloud\StorageBatchOperations\V1\Job;
use Google\Cloud\StorageBatchOperations\V1\BucketList;
use Google\Cloud\StorageBatchOperations\V1\BucketList\Bucket;
use Google\Cloud\StorageBatchOperations\V1\PrefixList;
use Google\Cloud\StorageBatchOperations\V1\DeleteObject;

/**
 * Create a new batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 * @param string $bucketName The name of your Cloud Storage bucket to operate on.
 *        (e.g. 'my-bucket')
 * @param string $objectPrefix The prefix of objects to include in the operation.
 *        (e.g. 'prefix1')
 */
function create_job(string $projectId, string $jobId, string $bucketName, string $objectPrefix): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');

    $prefixListConfig = new PrefixList(['included_object_prefixes' => [$objectPrefix]]);
    $bucket = new Bucket(['bucket' => $bucketName, 'prefix_list' => $prefixListConfig]);
    $bucketList = new BucketList(['buckets' => [$bucket]]);

    $deleteObject = new DeleteObject(['permanent_object_deletion_enabled' => false]);

    $job = new Job(['bucket_list' => $bucketList, 'delete_object' => $deleteObject]);

    $request = new CreateJobRequest([
        'parent' => $parent,
        'job_id' => $jobId,
        'job' => $job,
    ]);
    $response = $storageBatchOperationsClient->createJob($request);

    printf('Created job: %s', $response->getName());
}

      REST API

      JSON API

      1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

      2. 创建一个包含 存储批量操作作业设置的 JSON 文件。以下是一些常用的设置，包括：

        {
    "Description": "JOB_DESCRIPTION",
    "BucketList":
    {
    "Buckets":
    [
     {
       "Bucket": "BUCKET_NAME",
       "Manifest": {
          "manifest_location": "MANIFEST_LOCATION"
           }
       "PrefixList": {
          "include_object_prefixes": "OBJECT_PREFIXES"
           }
     }
    ]
    },
    "DeleteObject":
    {
    "permanent_object_deletion_enabled": OBJECT_DELETION_VALUE
     }
    "RewriteObject": {
      "kms_key":"KMS_KEY_VALUE"
      }
    "PutMetadata":{
      "METADATA_KEY": "METADATA_VALUE",
      ...,
      "objectRetention": {
          "retainUntilTime": "RETAIN_UNTIL_TIME",
          "mode": "RETENTION_MODE"
         }
       }
    "PutObjectHold": {
      "temporary_hold": TEMPORARY_HOLD_VALUE,
      "event_based_hold": EVENT_BASED_HOLD_VALUE
    }
    }

        其中：

        • JOB_NAME 是存储批量操作作业的名称。

        • JOB_DESCRIPTION 是存储批量操作作业的说明。

        • BUCKET_NAME 是包含一个或多个待处理对象的存储桶的名称。

        • 如需指定要处理的对象，请在 JSON 文件中使用以下任一属性：

          • MANIFEST_LOCATION 是清单位置。例如 gs://bucket_name/path/object_name.csv。

          • OBJECT_PREFIXES 是一个以英文逗号分隔的列表，包含一个或多个对象前缀。如需匹配所有对象，请使用空列表。

        • 根据要处理的作业，指定以下任一选项：

          • 删除对象：

            "DeleteObject":
{
"permanent_object_deletion_enabled": OBJECT_DELETION_VALUE
}

            其中，OBJECT_DELETION_VALUE 是 TRUE，用于删除对象。

          • 更新对象的客户管理的加密密钥：

            "RewriteObject":
{
"kms_key": KMS_KEY_VALUE
}

            其中，KMS_KEY_VALUE 是您要更新的对象的 KMS 密钥的值。

          • 更新对象元数据：

            "PutMetadata": {
 "METADATA_KEY": "METADATA_VALUE",
 ...,
"objectRetention": {
   "retainUntilTime": "RETAIN_UNTIL_TIME",
   "mode": "RETENTION_MODE"
 }
}

            其中：

            • METADATA_KEY/VALUE 是对象的元数据键值对。您可以指定一对或多对。
            • RETAIN_UNTIL_TIME 是日期和时间，采用 RFC 3339 格式，表示对象保留期限的截止时间。例如 2025-10-09T10:30:00Z。如需为对象设置保留配置，您需要在包含该对象的存储桶中启用保留功能。
            • RETENTION_MODE 是保留模式，即 Unlocked 或 Locked。

              当您发送更新 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段的请求时，请考虑以下事项：

              • 如需更新对象保留配置，您必须为 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段提供非空值；仅设置其中一个字段会导致出现 INVALID_ARGUMENT 错误。
              • 您可以延长 RETAIN_UNTIL_TIME 值，以用于 Unlocked 或 Locked 模式下的对象。
              • 如果您想执行以下操作，对象保留必须处于 Unlocked 模式：
                • 减小 RETAIN_UNTIL_TIME 值。
                • 移除保留配置。如需移除配置，您需要为 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段提供空值。
              • 如果您同时省略 RETENTION_MODE 和 RETAIN_UNTIL_TIME 字段，则保留配置将保持不变。

            • 更新对象保全：

              "PutObjectHold": {
"temporary_hold": TEMPORARY_HOLD_VALUE,
"event_based_hold": EVENT_BASED_HOLD_VALUE
}

              其中：

              • TEMPORARY_HOLD_VALUE 用于启用或停用临时对象保全。值为 1 表示启用保全，值为 2 表示停用保全。

              • EVENT_BASED_HOLD_VALUE 用于启用或停用基于事件的对象保全。值为 1 表示启用保全，值为 2 表示停用保全。

        • 使用 cURL，通过 POST 存储批量操作作业 请求调用 JSON API：

          curl -X POST --data-binary @JSON_FILE_NAME \
 -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json" \
 "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs?job_id=JOB_ID"

          其中：

          • JSON_FILE_NAME 是 JSON 文件的名称。
          • PROJECT_ID 是项目的 ID 或编号。例如 my-project。
          • JOB_ID 是存储批量操作作业的名称。

获取存储批量操作作业的详细信息

本部分介绍了如何获取存储批量操作作业的详细信息。

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs describe 命令。

    gcloud storage batch-operations jobs describe JOB_ID

    其中：

    JOB_ID 是存储批量操作作业的名称。

    3. 客户端库

    C++

    如需了解详情，请参阅 Cloud Storage C++ API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto job = client.GetJob(name);
  if (!job) throw job.status();
  std::cout << "Got job: " << job->name() << "\n";
}

    PHP

    如需了解详情，请参阅 Cloud Storage PHP API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\GetJobRequest;

/**
 * Gets a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function get_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new GetJobRequest([
        'name' => $formattedName,
    ]);

    $response = $storageBatchOperationsClient->getJob($request);

    printf('Got job: %s', $response->getName());
}

    REST API

    JSON API

    1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

    2. 使用 cURL，通过 GET 存储批量操作作业请求调用 JSON API：

      curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      其中：

      • PROJECT_ID 是项目的 ID 或编号。例如 my-project。
      • JOB_ID 是存储批量操作作业的名称。

列出存储批量操作作业

本部分介绍如何列出项目中的存储批量操作作业。

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs list 命令。

    gcloud storage batch-operations jobs list

    3. 客户端库

    C++

    如需了解详情，请参阅 Cloud Storage C++ API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  for (auto const& job : client.ListJobs(parent)) {
    if (!job) throw job.status();
    std::cout << job->name() << "\n";
  }
}

    PHP

    如需了解详情，请参阅 Cloud Storage PHP API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\ListJobsRequest;

/**
 * List Jobs in a given project.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 */
function list_jobs(string $projectId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');

    $request = new ListJobsRequest([
        'parent' => $parent,
    ]);

    $jobs = $storageBatchOperationsClient->listJobs($request);

    foreach ($jobs as $job) {
        printf('Job name: %s' . PHP_EOL, $job->getName());
    }
}

    REST API

    JSON API

    1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

    2. 使用 cURL，通过 LIST 存储批量操作作业请求调用 JSON API：

      curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs"

      其中：

      PROJECT_ID 是项目的 ID 或编号。例如 my-project。

取消存储批量操作作业

本部分介绍如何取消项目中的存储批量操作作业。

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs cancel 命令。

    gcloud storage batch-operations jobs cancel JOB_ID

    其中：

    JOB_ID 是存储批量操作作业的名称。

    3. 客户端库

    C++

    如需了解详情，请参阅 Cloud Storage C++ API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto response = client.CancelJob(name);
  if (!response) throw response.status();
  std::cout << "Cancelled job: " << name << "\n";
}

    PHP

    如需了解详情，请参阅 Cloud Storage PHP API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\CancelJobRequest;

/**
 * Cancel a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function cancel_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new CancelJobRequest([
        'name' => $formattedName,
    ]);

    $storageBatchOperationsClient->cancelJob($request);

    printf('Cancelled job: %s', $formattedName);
}

    REST API

    JSON API

    1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

    2. 使用 cURL，通过 CANCEL 存储批量操作作业请求调用 JSON API：

      curl -X CANCEL \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      其中：

      • PROJECT_ID 是项目的 ID 或编号。例如 my-project。

      • JOB_ID 是存储批量操作作业的名称。

删除存储批量操作作业

本部分介绍了如何删除存储批量操作作业。

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs delete 命令。

    gcloud storage batch-operations jobs delete JOB_ID

    其中：

    JOB_ID 是存储批量操作作业的名称。

    3. 客户端库

    C++

    如需了解详情，请参阅 Cloud Storage C++ API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto status = client.DeleteJob(name);
  if (!status.ok()) throw status;
  std::cout << "Deleted job: " << name << "\n";
}

    PHP

    如需了解详情，请参阅 Cloud Storage PHP API 参考文档。

    如需向 Cloud Storage 进行身份验证，请设置应用默认凭证。如需了解详情，请参阅为客户端库设置身份验证。 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\DeleteJobRequest;

/**
 * Delete a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function delete_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new DeleteJobRequest([
        'name' => $formattedName,
    ]);

    $storageBatchOperationsClient->deleteJob($request);

    printf('Deleted job: %s', $formattedName);
}

    REST API

    JSON API

    1. 安装并初始化 gcloud CLI，以便为 Authorization 标头生成访问令牌。

    2. 使用 cURL，通过 DELETE 存储批量操作作业请求调用 JSON API：

      curl -X DELETE \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      其中：

      • PROJECT_ID 是项目的 ID 或编号。例如 my-project。

      • JOB_ID 是存储批量操作作业的名称。

使用存储空间分析数据集创建存储空间批量操作作业

如需使用存储空间分析数据集创建存储批量操作作业，请完成以下部分中的步骤。

使用存储空间分析数据集创建清单

您可以通过从 BigQuery 中提取数据来为存储批量操作作业创建清单。为此，您需要查询关联的数据集，将生成的数据导出为 CSV 文件，然后将其保存到 Cloud Storage 存储桶。然后，存储批量操作作业可以使用此 CSV 文件作为其清单。

在 BigQuery 中对存储空间分析数据集视图运行以下 SQL 查询，可检索名称为 Temp_Training 且大于 1 KiB 的对象：

  EXPORT DATA OPTIONS(
   uri=`URI`,
   format=`CSV`,
   overwrite=OVERWRITE_VALUE,
   field_delimiter=',') AS
  SELECT bucket, name, generation
  FROM DATASET_VIEW_NAME
  WHERE bucket = BUCKET_NAME
  AND name LIKE (`Temp_Training%`)
  AND size > 1024 * 1024
  AND snapshotTime = SNAPSHOT_TIME

其中：

  • URI 是包含清单的存储桶的 URI。例如 gs://bucket_name/path_to_csv_file/*.csv。使用 *.csv 通配符时，BigQuery 会将结果导出到多个 CSV 文件。
  • OVERWRITE_VALUE 是一个布尔值。如果设置为 true，则导出操作会覆盖指定位置的现有文件。

  • DATASET_VIEW_NAME 是存储空间分析数据集视图的完全限定名称，格式为 PROJECT_ID.DATASET_ID.VIEW_NAME。如需查找数据集的名称，请查看关联的数据集。

    其中：

    • PROJECT_ID 是项目的 ID 或编号。例如 my-project。
    • DATASET_ID 是数据集的名称。 例如 objects-deletion-dataset。
    • VIEW_NAME 是数据集视图的名称。例如 bucket_attributes_view。

  • BUCKET_NAME 是存储桶的名称。例如 my-bucket。

  • SNAPSHOT_TIME 是存储空间分析数据集视图的快照时间。例如 2024-09-10T00:00:00Z。

创建存储批量操作作业

如需创建存储批量操作作业来处理清单中包含的对象，请完成以下步骤：

命令行

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 在开发环境中，运行 gcloud storage batch-operations jobs create 命令：

    gcloud storage batch-operations jobs create \
JOB_ID \
--bucket=SOURCE_BUCKET_NAME \
--manifest-location=URI \
--JOB_TYPE_FLAG

    其中：

    • JOB_ID 是存储批量操作作业的名称。

    • SOURCE_BUCKET_NAME 是包含一个或多个待处理对象的存储桶。例如 my-bucket。

    • URI 是包含清单的存储桶的 URI。例如 gs://bucket_name/path_to_csv_file/*.csv。使用 *.csv 通配符时，BigQuery 会将结果导出到多个 CSV 文件。

    • JOB_TYPE_FLAG 是以下标志之一，具体取决于作业类型。

      • --delete-object：删除一个或多个对象。

      • --put-metadata：更新对象元数据。对象元数据以键值对的形式存储。指定要修改的元数据的键值对。您可以将一个或多个键值对指定为一个列表。您还可以使用 --put-metadata 标志提供对象保留配置。

      • --rewrite-object：更新一个或多个对象的客户管理的加密密钥。

      • --put-object-event-based-hold：启用基于事件的对象保全。

      • --no-put-object-event-based-hold：停用基于事件的对象保全。

      • --put-object-temporary-hold：启用临时对象保全。

      • --no-put-object-temporary-hold：停用临时对象保全。

与 VPC Service Controls 集成

您可以使用 VPC Service Controls 为存储空间批量操作资源提供一层额外的安全保障。在使用 VPC Service Controls 时，您可以将项目添加到服务边界，从而防止资源和服务受到源自边界外部的请求的影响。如需详细了解存储批量操作的 VPC Service Controls 服务边界详情，请参阅支持的产品和限制。

将 Cloud Audit Logs 用于存储空间批量操作作业

存储批量操作作业会在 Cloud Storage Cloud Audit Logs 中记录对 Cloud Storage 对象的转换。您可以将 Cloud Audit Logs 与 Cloud Storage 搭配使用，以跟踪存储批量操作作业执行的对象转换。如需了解如何启用审核日志，请参阅启用审核日志。在审核日志条目中，值为 StorageBatchOperations 的 callUserAgent 元数据字段表示存储批量操作转换。

后续步骤