Crie e faça a gestão de tarefas de operações em lote

Esta página descreve como criar, ver, listar, cancelar e eliminar tarefas de operações em lote de armazenamento. Também descreve como usar os registos de auditoria do Cloud com tarefas de operações em lote de armazenamento.

Antes de começar

Para criar e gerir tarefas de operações em lote de armazenamento, conclua os passos nas secções seguintes.

Configure a inteligência de armazenamento

Para criar e gerir tarefas de operações em lote de armazenamento, configure o Storage Intelligence no contentor onde quer executar a tarefa.

Configure a CLI do Google Cloud

Tem de usar a versão 516.0.0 ou posterior da CLI gcloud.

Defina o projeto predefinido

Defina o projeto no qual quer criar a tarefa de operações em lote de armazenamento.

gcloud config set project PROJECT_ID

onde PROJECT_ID é o ID do seu projeto.

Ativar API

Ative a API de operações em lote de armazenamento.

gcloud services enable storagebatchoperations.googleapis.com

Crie um manifesto

Para usar um manifesto para a seleção de objetos, crie um manifesto.

Crie uma tarefa de operações em lote de armazenamento

Esta secção descreve como criar uma tarefa de operações em lote de armazenamento.

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs create.

    gcloud storage batch-operations jobs create JOB_NAME --bucket=BUCKET_NAME OBJECT_SELECTION_FLAG JOB_TYPE_FLAG

    Onde:

    • JOB_NAME é o nome da tarefa de operações em lote de armazenamento.
    • BUCKET_NAME é o nome do contentor que contém um ou mais objetos que quer processar.

    • OBJECT_SELECTION_FLAG é uma das seguintes flags:

      • --included-object-prefixes: especifique um ou mais prefixos de objetos. Por exemplo:

        • Para corresponder a um único prefixo, use: --included-object-prefixes='prefix1'.
        • Para fazer corresponder vários prefixos, use uma lista de prefixos separados por vírgulas: --included-object-prefixes='prefix1,prefix2'.
        • Para incluir todos os objetos, use um prefixo vazio: --included-object-prefixes=''.

      • --manifest-location: especifique a localização do manifesto. Por exemplo, gs://bucket_name/path/object_name.csv.

    • JOB_TYPE_FLAG é um dos seguintes indicadores, consoante o tipo de tarefa.

    3. Bibliotecas cliente

    C++

    Para mais informações, consulte a documentação de referência da API C++ do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id,
   std::string const& target_bucket_name, std::string const& object_prefix) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  namespace sbo = google::cloud::storagebatchoperations::v1;
  sbo::Job job;
  sbo::BucketList* bucket_list = job.mutable_bucket_list();
  sbo::BucketList::Bucket* bucket_config = bucket_list->add_buckets();
  bucket_config->set_bucket(target_bucket_name);
  sbo::PrefixList* prefix_list_config = bucket_config->mutable_prefix_list();
  prefix_list_config->add_included_object_prefixes(object_prefix);
  sbo::DeleteObject* delete_object_config = job.mutable_delete_object();
  delete_object_config->set_permanent_object_deletion_enabled(false);
  auto result = client.CreateJob(parent, job, job_id).get();
  if (!result) throw result.status();
  std::cout << "Created job: " << result->name() << "\n";
}

    PHP

    Para mais informações, consulte a documentação de referência da API PHP do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\CreateJobRequest;
use Google\Cloud\StorageBatchOperations\V1\Job;
use Google\Cloud\StorageBatchOperations\V1\BucketList;
use Google\Cloud\StorageBatchOperations\V1\BucketList\Bucket;
use Google\Cloud\StorageBatchOperations\V1\PrefixList;
use Google\Cloud\StorageBatchOperations\V1\DeleteObject;

/**
 * Create a new batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 * @param string $bucketName The name of your Cloud Storage bucket to operate on.
 *        (e.g. 'my-bucket')
 * @param string $objectPrefix The prefix of objects to include in the operation.
 *        (e.g. 'prefix1')
 */
function create_job(string $projectId, string $jobId, string $bucketName, string $objectPrefix): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');

    $prefixListConfig = new PrefixList(['included_object_prefixes' => [$objectPrefix]]);
    $bucket = new Bucket(['bucket' => $bucketName, 'prefix_list' => $prefixListConfig]);
    $bucketList = new BucketList(['buckets' => [$bucket]]);

    $deleteObject = new DeleteObject(['permanent_object_deletion_enabled' => false]);

    $job = new Job(['bucket_list' => $bucketList, 'delete_object' => $deleteObject]);

    $request = new CreateJobRequest([
        'parent' => $parent,
        'job_id' => $jobId,
        'job' => $job,
    ]);
    $response = $storageBatchOperationsClient->createJob($request);

    printf('Created job: %s', $response->getName());
}

    APIs REST

    API JSON

    1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

    2. Crie um ficheiro JSON que contenha as definições para a tarefa de operações em lote de armazenamento. Seguem-se as definições comuns a incluir:

      {
    "Description": "JOB_DESCRIPTION",
    "BucketList":
    {
    "Buckets":
    [
     {
       "Bucket": "BUCKET_NAME",
       "Manifest": {
          "manifest_location": "MANIFEST_LOCATION"
           }
       "PrefixList": {
          "include_object_prefixes": "OBJECT_PREFIXES"
           }
     }
    ]
    },
    "DeleteObject":
    {
    "permanent_object_deletion_enabled": OBJECT_DELETION_VALUE
     }
    "RewriteObject": {
      "kms_key":"KMS_KEY_VALUE"
      }
    "PutMetadata": {
      METADATA_KEY= METADATA_VALUE,
      ...,
      }
    "PutObjectHold": {
      "temporary_hold": TEMPORARY_HOLD_VALUE,
      "event_based_hold": EVENT_BASED_HOLD_VALUE
    }
 }

      Onde:

      • JOB_NAME é o nome da tarefa de operações em lote de armazenamento.

      • JOB_DESCRIPTION é a descrição da tarefa de operações em lote de armazenamento.

      • BUCKET_NAME é o nome do contentor que contém um ou mais objetos que quer processar.

      • Para especificar os objetos que quer processar, use qualquer um dos seguintes atributos no ficheiro JSON:

        • MANIFEST_LOCATION é a localização do manifesto. Por exemplo, gs://bucket_name/path/object_name.csv.

        • OBJECT_PREFIXES é a lista separada por vírgulas que contém um ou mais prefixos de objetos. Para fazer corresponder todos os objetos, use uma lista vazia.

      • Consoante a tarefa que quer processar, especifique qualquer uma das seguintes opções:

        • Elimine objetos:

          "DeleteObject":
{
"permanent_object_deletion_enabled": OBJECT_DELETION_VALUE
}

          Onde OBJECT_DELETION_VALUE é TRUE para eliminar objetos.

        • Atualize a chave de encriptação gerida pelo cliente para objetos:

          "RewriteObject":
{
"kms_key": KMS_KEY_VALUE
}

          Onde KMS_KEY_VALUE é o valor da chave do KMS do objeto que quer atualizar.

        • Atualize os metadados do objeto:

          "PutMetadata": {
METADATA_KEY= METADATA_VALUE,
...,
}

          Em que METADATA_VALUE é o valor da chave dos metadados do objeto. Pode especificar um ou mais pares de chave-valor como uma lista.

        • Atualize as retenções de objetos:

          "PutObjectHold": {
"temporary_hold": TEMPORARY_HOLD_VALUE,
"event_based_hold": EVENT_BASED_HOLD_VALUE
}

          Onde:

          • TEMPORARY_HOLD_VALUE é usado para ativar ou desativar a retenção temporária de objetos. Um valor de 1 ativa a retenção e um valor de 2 desativa a retenção.

          • EVENT_BASED_HOLD_VALUE é usado para ativar ou desativar a retenção de objetos baseada em eventos. Um valor de 1 ativa a retenção e um valor de 2 desativa a retenção.

    3. Use cURL para chamar a API JSON com um pedido de POST tarefa de operações em lote de armazenamento:

      curl -X POST --data-binary @JSON_FILE_NAME \
 -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json" \
 "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs?job_id=JOB_ID"

      Onde:

      • JSON_FILE_NAME é o nome do ficheiro JSON.
      • PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.
      • JOB_ID é o nome da tarefa de operações em lote de armazenamento.

Obtenha detalhes da tarefa de operações em lote de armazenamento

Esta secção descreve como obter os detalhes da tarefa de operações em lote de armazenamento.

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs describe.

    gcloud storage batch-operations jobs describe JOB_ID

    Onde:

    JOB_ID é o nome da tarefa de operações em lote de armazenamento.

    3. Bibliotecas cliente

    C++

    Para mais informações, consulte a documentação de referência da API C++ do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto job = client.GetJob(name);
  if (!job) throw job.status();
  std::cout << "Got job: " << job->name() << "\n";
}

    PHP

    Para mais informações, consulte a documentação de referência da API PHP do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\GetJobRequest;

/**
 * Gets a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function get_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new GetJobRequest([
        'name' => $formattedName,
    ]);

    $response = $storageBatchOperationsClient->getJob($request);

    printf('Got job: %s', $response->getName());
}

    APIs REST

    API JSON

    1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

    2. Use cURL para chamar a API JSON com um pedido de GET tarefa de operações em lote de armazenamento:

      curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      Onde:

      • PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.
      • JOB_ID é o nome da tarefa de operações em lote de armazenamento.

Apresente trabalhos de operações em lote de armazenamento

Esta secção descreve como listar as tarefas de operações em lote de armazenamento num projeto.

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs list.

    gcloud storage batch-operations jobs list

    3. Bibliotecas cliente

    C++

    Para mais informações, consulte a documentação de referência da API C++ do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  for (auto const& job : client.ListJobs(parent)) {
    if (!job) throw job.status();
    std::cout << job->name() << "\n";
  }
}

    PHP

    Para mais informações, consulte a documentação de referência da API PHP do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\ListJobsRequest;

/**
 * List Jobs in a given project.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 */
function list_jobs(string $projectId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');

    $request = new ListJobsRequest([
        'parent' => $parent,
    ]);

    $jobs = $storageBatchOperationsClient->listJobs($request);

    foreach ($jobs as $job) {
        printf('Job name: %s' . PHP_EOL, $job->getName());
    }
}

    APIs REST

    API JSON

    1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

    2. Use cURL para chamar a API JSON com um pedido de LIST tarefas de operações em lote de armazenamento:

      curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs"

      Onde:

      PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.

Cancele uma tarefa de operações em lote de armazenamento

Esta secção descreve como cancelar uma tarefa de operações em lote de armazenamento num projeto.

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs cancel.

    gcloud storage batch-operations jobs cancel JOB_ID

    Onde:

    JOB_ID é o nome da tarefa de operações em lote de armazenamento.

    3. Bibliotecas cliente

    C++

    Para mais informações, consulte a documentação de referência da API C++ do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto response = client.CancelJob(name);
  if (!response) throw response.status();
  std::cout << "Cancelled job: " << name << "\n";
}

    PHP

    Para mais informações, consulte a documentação de referência da API PHP do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\CancelJobRequest;

/**
 * Cancel a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function cancel_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new CancelJobRequest([
        'name' => $formattedName,
    ]);

    $storageBatchOperationsClient->cancelJob($request);

    printf('Cancelled job: %s', $formattedName);
}

    APIs REST

    API JSON

    1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

    2. Use cURL para chamar a API JSON com um pedido CANCEL de uma tarefa de operações em lote de armazenamento:

      curl -X CANCEL \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      Onde:

      • PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.

      • JOB_ID é o nome da tarefa de operações em lote de armazenamento.

Elimine uma tarefa de operações em lote de armazenamento

Esta secção descreve como eliminar uma tarefa de operações em lote de armazenamento.

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs delete.

    gcloud storage batch-operations jobs delete JOB_ID

    Onde:

    JOB_ID é o nome da tarefa de operações em lote de armazenamento.

    3. Bibliotecas cliente

    C++

    Para mais informações, consulte a documentação de referência da API C++ do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    [](google::cloud::storagebatchoperations_v1::StorageBatchOperationsClient
       client,
   std::string const& project_id, std::string const& job_id) {
  auto const parent =
      std::string{"projects/"} + project_id + "/locations/global";
  auto const name = parent + "/jobs/" + job_id;
  auto status = client.DeleteJob(name);
  if (!status.ok()) throw status;
  std::cout << "Deleted job: " << name << "\n";
}

    PHP

    Para mais informações, consulte a documentação de referência da API PHP do Cloud Storage.

    Para se autenticar no Cloud Storage, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para bibliotecas de cliente. 

    use Google\Cloud\StorageBatchOperations\V1\Client\StorageBatchOperationsClient;
use Google\Cloud\StorageBatchOperations\V1\DeleteJobRequest;

/**
 * Delete a batch job.
 *
 * @param string $projectId Your Google Cloud project ID.
 *        (e.g. 'my-project-id')
 * @param string $jobId A unique identifier for this job.
 *        (e.g. '94d60cc1-2d95-41c5-b6e3-ff66cd3532d5')
 */
function delete_job(string $projectId, string $jobId): void
{
    // Create a client.
    $storageBatchOperationsClient = new StorageBatchOperationsClient();

    $parent = $storageBatchOperationsClient->locationName($projectId, 'global');
    $formattedName = $parent . '/jobs/' . $jobId;

    $request = new DeleteJobRequest([
        'name' => $formattedName,
    ]);

    $storageBatchOperationsClient->deleteJob($request);

    printf('Deleted job: %s', $formattedName);
}

    APIs REST

    API JSON

    1. Ter a CLI gcloud instalada e inicializada, o que lhe permite gerar um token de acesso para o cabeçalho Authorization.

    2. Use cURL para chamar a API JSON com um pedido DELETE de uma tarefa de operações em lote de armazenamento:

      curl -X DELETE \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://storagebatchoperations.googleapis.com/v1/projects/PROJECT_ID/locations/global/jobs/JOB_ID"

      Onde:

      • PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.

      • JOB_ID é o nome da tarefa de operações em lote de armazenamento.

Crie uma tarefa de operações em lote de armazenamento com conjuntos de dados do Storage Insights

Para criar uma tarefa de operações em lote de armazenamento com conjuntos de dados do Storage Insights, conclua os passos nas secções seguintes.

Crie um manifesto com conjuntos de dados do Storage Insights

Pode criar o manifesto para a tarefa de operações em lote de armazenamento extraindo dados do BigQuery. Para o fazer, tem de consultar o conjunto de dados associado, exportar os dados resultantes como um ficheiro CSV e guardá-los num contentor do Cloud Storage. Em seguida, a tarefa de operações em lote de armazenamento pode usar este ficheiro CSV como manifesto.

A execução da seguinte consulta SQL no BigQuery numa visualização de propriedade do conjunto de dados do Storage Insights obtém objetos com mais de 1 KiB denominados Temp_Training:

  EXPORT DATA OPTIONS(
   uri=`URI`,
   format=`CSV`,
   overwrite=OVERWRITE_VALUE,
   field_delimiter=',') AS
  SELECT bucket, name, generation
  FROM DATASET_VIEW_NAME
  WHERE bucket = BUCKET_NAME
  AND name LIKE (`Temp_Training%`)
  AND size > 1024 * 1024
  AND snapshotTime = SNAPSHOT_TIME

Onde:

  • URI é o URI do contentor que contém o manifesto. Por exemplo, gs://bucket_name/path_to_csv_file/*.csv. Quando usa o caráter universal *.csv, o BigQuery exporta o resultado para vários ficheiros CSV.
  • OVERWRITE_VALUE é um valor booleano. Se estiver definida como true, a operação de exportação substitui os ficheiros existentes na localização especificada.

  • DATASET_VIEW_NAME é o nome totalmente qualificado da vista do conjunto de dados do Storage Insights no formato PROJECT_ID.DATASET_ID.VIEW_NAME. Para encontrar o nome do conjunto de dados, veja o conjunto de dados associado.

    Onde:

    • PROJECT_ID é o ID ou o número do projeto. Por exemplo, my-project.
    • DATASET_ID é o nome do conjunto de dados. Por exemplo, objects-deletion-dataset.
    • VIEW_NAME é o nome da visualização do conjunto de dados. Por exemplo, bucket_attributes_view.

  • BUCKET_NAME é o nome do contentor. Por exemplo, my-bucket.

  • SNAPSHOT_TIME é a hora do instantâneo da vista do conjunto de dados do Storage Insights. Por exemplo, 2024-09-10T00:00:00Z.

Crie uma tarefa de operações em lote de armazenamento

Para criar uma tarefa de operações em lote de armazenamento para processar objetos contidos no manifesto, conclua os seguintes passos:

Linha de comandos

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. No seu ambiente de programação, execute o comando gcloud storage batch-operations jobs create:

    gcloud storage batch-operations jobs create \
JOB_ID \
--bucket=SOURCE_BUCKET_NAME \
--manifest-location=URI \
--JOB_TYPE_FLAG

    Onde:

    • JOB_ID é o nome da tarefa de operações em lote de armazenamento.

    • SOURCE_BUCKET_NAME é o contentor que contém um ou mais objetos que quer processar. Por exemplo, my-bucket.

    • URI é o URI do contentor que contém o manifesto. Por exemplo, gs://bucket_name/path_to_csv_file/*.csv. Quando usa o caráter universal *.csv, o BigQuery exporta o resultado para vários ficheiros CSV.

    • JOB_TYPE_FLAG é um dos seguintes indicadores, consoante o tipo de tarefa.

Integração com o VPC Service Controls

Pode fornecer uma camada adicional de segurança para os recursos de operações em lote de armazenamento através dos VPC Service Controls. Quando usa os VPC Service Controls, adiciona projetos a perímetros de serviço que protegem recursos e serviços de pedidos originados fora do perímetro. Para saber mais acerca dos detalhes do perímetro de serviço do VPC Service Controls para operações em lote de armazenamento, consulte o artigo Produtos suportados e limitações.

Use os registos de auditoria do Cloud para tarefas de operações em lote de armazenamento

As tarefas de operações em lote de armazenamento registam transformações em objetos do Cloud Storage nos registos de auditoria do Cloud do Cloud Storage. Pode usar os registos de auditoria do Cloud com o Cloud Storage para acompanhar as transformações de objetos que as tarefas de operações em lote de armazenamento realizam. Para obter informações sobre como ativar os registos de auditoria, consulte o artigo Ativar registos de auditoria. Na entrada do registo de auditoria, o campo de metadados callUserAgent com o valor StorageBatchOperations indica uma transformação de operações em lote de armazenamento.

Passos seguintes