Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
En este documento, se describen las operaciones por lotes de almacenamiento, una capacidad de Cloud Storage que te permite realizar operaciones en miles de millones de objetos de forma sin servidores. Con las operaciones por lotes de almacenamiento, puedes automatizar operaciones de API a gran escala en miles de millones de objetos, lo que reduce el tiempo de desarrollo necesario para escribir y mantener secuencias de comandos para cada solicitud.
Las operaciones por lotes de Storage te permiten ejecutar una de las cuatro transformaciones en varios objetos a la vez: colocar una conservación de objeto, borrar un objeto, actualizar los metadatos del objeto y reescribir objetos. Para usar las operaciones por lotes de almacenamiento, debes crear una configuración de trabajo que defina qué transformaciones se deben aplicar a qué objetos.
La creación de una operación por lotes devuelve una operación de larga duración (LRO) que indica el estado de tu solicitud: si la transformación se aplicó a todos los objetos especificados en tu solicitud.
Beneficios
Escalabilidad: Realiza transformaciones en millones de objetos con un solo trabajo de operaciones por lotes de almacenamiento.
Ejecución sin servidores: Ejecuta trabajos por lotes en un entorno sin servidores, lo que elimina la necesidad de administrar la infraestructura.
Automatización: Automatiza tareas complejas y repetitivas para mejorar la eficiencia operativa.
Reducción del tiempo de desarrollo: Evita escribir y mantener secuencias de comandos personalizadas complejas.
Rendimiento: Completa las operaciones urgentes dentro del tiempo requerido. Con varios trabajos por lotes ejecutándose de forma simultánea en un bucket, puedes procesar hasta mil millones de objetos en tres horas.
Reintentos automáticos: Reintentos automáticos para las operaciones fallidas.
Supervisión de trabajos: Seguimiento detallado del progreso para supervisar el estado y la finalización de todos los trabajos.
Establece claves de encriptación en varios objetos con el método rewrite object.
Aplica o quita conservaciones de objetos para controlar la inmutabilidad de los objetos.
Cumplimiento:
Usa la retención de objetos para cumplir con los requisitos de retención de datos para el cumplimiento normativo.
Borra datos entre períodos específicos para cumplir con los requisitos de cumplimiento de eliminación.
Transformación de datos: Realiza actualizaciones masivas de los metadatos de los objetos.
Optimización de costos: Borra objetos de forma masiva en buckets de Cloud Storage para reducir los costos de almacenamiento.
Configuración de trabajos
Para crear un trabajo de operaciones por lotes de almacenamiento, deberás establecer las siguientes configuraciones del trabajo.
Los parámetros de configuración del trabajo son parámetros que controlan cómo se define el trabajo para diferentes requisitos de procesamiento.
Nombre del trabajo: Es un nombre único para identificar el trabajo de operaciones por lotes de almacenamiento. Se usa para hacer un seguimiento del trabajo, supervisarlo y hacer referencia a él. Los nombres de los trabajos son alfanuméricos, por ejemplo, job-01.
Descripción del trabajo (opcional): Es una breve descripción del propósito del trabajo. Esto ayuda a comprender y documentar los detalles del trabajo. Por ejemplo, Deletes all objects in a bucket.
Nombre del bucket: Es el nombre del bucket de almacenamiento que contiene los objetos que se procesarán. Esto es fundamental para ubicar los datos de entrada. Por ejemplo, my-bucket. Solo puedes especificar un nombre de bucket para un trabajo.
Selección de objetos: Son los criterios de selección que definen qué objetos se procesarán. Puedes especificar los criterios con cualquiera de las siguientes opciones:
Manifiesto: Crea un manifiesto y especifica su ubicación cuando crees el trabajo de operaciones por lotes de almacenamiento. El manifiesto es un archivo CSV que se sube a Google Cloudy que contiene un objeto o una lista de objetos que deseas procesar. Cada fila del manifiesto debe incluir el bucket y el name del objeto. De manera opcional, puedes especificar el generation del objeto. Si no especificas generation, se usa la versión actual del objeto.
El archivo debe incluir una fila de encabezado con el siguiente formato:
bucket,name,generation
A continuación, se muestra un ejemplo del manifiesto:
Prefijos de objeto: Especifica una lista de prefijos para filtrar objetos dentro del bucket. Solo se procesan los objetos con estos prefijos. Si está vacío, se procesarán todos los objetos del bucket.
Tipo de trabajo: Las operaciones por lotes de Storage admiten los siguientes tipos de trabajos, con un solo trabajo por operación por lotes.
Borrado de objetos: Puedes borrar objetos dentro de un bucket. Esto es fundamental para la optimización de costos, la administración del ciclo de vida de los datos y el cumplimiento de las políticas de eliminación de datos.
Actualizaciones de metadatos: Puedes modificar los metadatos del objeto. Esto incluye la actualización de metadatos personalizados, la clase de almacenamiento y otras propiedades del objeto.
Actualizaciones de conservaciones de objetos: Puedes habilitar o inhabilitar las conservaciones de objetos. Las conservaciones de objetos impiden que los objetos se borren o modifiquen, lo que es fundamental para el cumplimiento y la retención de datos.
Las operaciones por lotes de almacenamiento tienen las siguientes limitaciones:
Los trabajos de operaciones por lotes de Storage tienen una vida útil máxima de 14 días. Cualquier trabajo en curso que no se complete en un plazo de 14 días a partir de su creación se cancelará automáticamente.
No recomendamos ejecutar más de 20 trabajos de operaciones por lotes simultáneos en el mismo bucket.
Las operaciones por lotes de almacenamiento no se admiten en los siguientes buckets:
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[],[],null,["# Storage batch operations\n\n| Storage batch operations is available only if you've configured [Storage Intelligence](/storage/docs/storage-intelligence/overview).\n\nThis document describes storage batch operations, a\nCloud Storage capability that lets you perform operations on billions of\nobjects in a serverless manner. Using\nstorage batch operations, you can automate large-scale API\noperations on billions of objects, reducing the development time required to\nwrite and maintain scripts for each request.\n\nTo learn how to create storage batch operations jobs, see\n[Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs).\n\nOverview\n--------\n\nStorage batch operations let you run one of four transformations on\nmultiple objects at once: placing an object hold, deleting an object,\nupdating object metadata, and rewriting objects. To use\nstorage batch operations, you create a [job configuration](#job-configurations) that\ndefines what transformations should be applied to which objects.\n\nCreating a batch operation returns a long-running operation\n(LRO) that indicates the status of your request: whether the transformation has\nbeen applied to all specified objects in your request.\n\n### Benefits\n\n- **Scalability**: Perform transformations on millions of objects with a single storage batch operations job.\n- **Serverless execution**: Run batch jobs in a serverless environment, eliminating the need to manage infrastructure.\n- **Automation**: Automate complex and repetitive tasks, improving operational efficiency.\n- **Reduced development time**: Avoid writing and maintaining complex custom scripts.\n- **Performance**: Complete time-sensitive operations within the required time. With multiple batch jobs running concurrently on a bucket, you can process up to one billion objects within three hours.\n- **Automatic retries**: Automatic retries for failed operations.\n- **Job monitoring**: Detailed progress tracking to monitor the status and completion of all jobs.\n\n### Use cases\n\nWhen used with [Storage Insights datasets](/storage/docs/insights/datasets),\nstorage batch operations allow you to accomplish the following\ntasks:\n\n- **Security management**:\n\n - Set encryption keys on multiple objects using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n - Apply or remove object holds to control object immutability.\n- **Compliance**:\n\n - Use object holds to meet data retention requirements for regulatory compliance.\n - Delete data between specific timeframes, to meet wipeout compliance requirements.\n- **Data transformation**: Perform bulk updates to object metadata.\n\n- **Cost optimization**: Bulk delete objects in Cloud Storage buckets to\n reduce storage costs.\n\nJob configurations\n------------------\n\nTo [create a storage batch operations job](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-batch-operation-job), you'll need to set the following job configurations.\nJob configurations are parameters that control how the job is defined for\ndifferent processing requirements.\n\n- **Job name** : A unique name to identify the storage batch operations job. This is used for tracking, monitoring, and referencing the job. Job names are alphanumeric, for example, `job-01`.\n\n- **Job Description** (Optional): A brief description of the job's purpose. This helps with understanding and documenting the job details. For example, `Deletes all objects in a bucket`.\n\n- **Bucket name** : The name of the storage bucket containing the objects to be processed. This is essential for locating the input data. For example, `my-bucket`. You can specify only one bucket name for a job.\n\n- **Object selection**: The selection criteria that defines which objects to process. You can specify the criteria using any one of the following options:\n\n - **Manifest** : Create a manifest and specify its location when you create the storage batch operations job. The manifest is a CSV file, uploaded to Google Cloud, that contains one object or a list of objects that you want to process. Each row in the manifest must include the `bucket` and `name` of the object. You can optionally specify the `generation` of the object. If you don't specify the `generation`, the current version of the object is used.\n\n The file must include a header row of the following format:\n\n `bucket,name,generation`\n\n The following is an example of the manifest: \n\n ```\n bucket,name,generation\n bucket_1,object_1,generation_1\n bucket_1,object_2,generation_2\n bucket_1,object_3,generation_3\n ```\n | **Caution:** Ensure the manifest only includes objects from the bucket provided in the storage batch operations job. Rows referencing other buckets are ignored.\n\n You can also create a manifest using Storage Insights datasets. For details, see [Create a manifest using Storage Insights datasets](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-manifest-using-insights-datasets).\n - **Object prefixes**: Specify a list of prefixes to filter objects within the bucket. Only objects with these prefixes are processed. If empty, all objects in the bucket are processed.\n\n- **Job type:** Storage batch operations supports the following job types, running a single job per batch operation.\n\n - **Object deletion** : You can [delete objects](/storage/docs/deleting-objects) within a bucket. This is crucial for cost optimization, data lifecycle management, and compliance with data deletion policies.\n\n | **Caution:** By default, Cloud Storage retains soft-deleted objects for a duration of seven days. If you have accidentally deleted the objects, you can restore these soft-deleted objects during this duration. However, if you have disabled [soft delete](/storage/docs/soft-delete) for your bucket, you cannot recover deleted objects.\n - **Metadata updates** : You can modify the [object metadata](/storage/docs/metadata#editable). This includes updating custom metadata, storage class, and other object properties.\n\n - **Object hold updates** : You can enable or disable [object holds](/storage/docs/object-holds). Object holds prevent objects from being deleted or modified, which is essential for compliance and data retention purposes.\n\n - **Object encryption key updates** : You can manage the [customer-managed encryption keys](/storage/docs/encryption/customer-managed-keys) for one or more objects. This includes applying or changing encryption keys using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n\nLimitations\n-----------\n\nStorage batch operations has the following limitations:\n\n- Storage batch operations jobs have a maximum lifetime of 14 days. Any\n ongoing job that doesn't complete within 14 days of its creation is\n automatically cancelled.\n\n- We don't recommend running more than 20 concurrent batch operations jobs on\n the same bucket.\n\n- Storage batch operations is not supported on the following\n buckets:\n\n - Buckets that have [Requestor Pays](/storage/docs/requester-pays) enabled.\n\n - Buckets located in the `us-west8` region.\n\nWhat's next\n-----------\n\n- [Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs)"]]
