Operaciones por lotes de almacenamiento

En este documento se describen las operaciones por lotes de almacenamiento, una función de Cloud Storage que te permite realizar operaciones en miles de millones de objetos de forma sin servidor. Con las operaciones por lotes de almacenamiento, puedes automatizar operaciones de API a gran escala en miles de millones de objetos, lo que reduce el tiempo de desarrollo necesario para escribir y mantener las secuencias de comandos de cada solicitud.

Para saber cómo crear tareas de operaciones por lotes de almacenamiento, consulta Crear y gestionar tareas de operaciones por lotes de almacenamiento.

Información general

Las operaciones por lotes de Storage te permiten ejecutar una de las cuatro transformaciones en varios objetos a la vez: colocar una retención en un objeto, eliminar un objeto, actualizar los metadatos de un objeto y reescribir objetos. Para usar las operaciones por lotes de almacenamiento, debes crear una configuración de trabajo que defina qué transformaciones se deben aplicar a qué objetos.

Al crear una operación por lotes, se devuelve una operación de larga duración (LRO) que indica el estado de tu solicitud: si la transformación se ha aplicado a todos los objetos especificados en tu solicitud.

Ventajas

  • Escalabilidad: realiza transformaciones en millones de objetos con un solo trabajo de operaciones por lotes de almacenamiento.
  • Ejecución sin servidor: ejecuta tareas por lotes en un entorno sin servidor, lo que elimina la necesidad de gestionar la infraestructura.
  • Automatización: automatiza tareas complejas y repetitivas para mejorar la eficiencia operativa.
  • Reducción del tiempo de desarrollo: no es necesario escribir ni mantener secuencias de comandos personalizadas complejas.
  • Rendimiento: completa las operaciones urgentes en el plazo requerido. Si se ejecutan varios trabajos por lotes simultáneamente en un mismo contenedor, puede procesar hasta mil millones de objetos en tres horas.
  • Reintentos automáticos: reintentos automáticos de las operaciones fallidas.
  • Monitorización de tareas: seguimiento detallado del progreso para monitorizar el estado y la finalización de todas las tareas.

Casos prácticos

Cuando se usan con conjuntos de datos de Estadísticas de almacenamiento, las operaciones por lotes de almacenamiento te permiten llevar a cabo las siguientes tareas:

  • Gestión de la seguridad:

    • Define claves de cifrado en varios objetos con el método rewrite object.
    • Aplica o quita retenciones de objetos para controlar la inmutabilidad de los objetos.

  • Cumplimiento:

    • Usa bloqueos de objetos para cumplir los requisitos de conservación de datos de cumplimiento normativo.
    • Eliminar datos de periodos específicos para cumplir los requisitos de eliminación total.

  • Transformación de datos: realiza actualizaciones masivas de los metadatos de los objetos.

  • Optimización de costes: elimina en bloque objetos de segmentos de Cloud Storage para reducir los costes de almacenamiento.

Configuraciones de tareas

Para crear un trabajo de operaciones por lotes de almacenamiento, debes definir las siguientes configuraciones de trabajo. Las configuraciones de tareas son parámetros que controlan cómo se define una tarea para diferentes requisitos de procesamiento.

  • Nombre de la tarea: nombre único para identificar la tarea de operaciones por lotes de almacenamiento. Se usa para monitorizar, hacer un seguimiento y hacer referencia al trabajo. Los nombres de los trabajos son alfanuméricos. Por ejemplo, job-01.

  • Descripción del trabajo (opcional): una breve descripción del objetivo del trabajo. Esto ayuda a entender y documentar los detalles del trabajo. Por ejemplo, Deletes all objects in a bucket.

  • Nombre del segmento: nombre del segmento de almacenamiento que contiene los objetos que se van a procesar. Es esencial para localizar los datos de entrada. Por ejemplo, my-bucket. Solo puedes especificar un nombre de contenedor por trabajo.

  • Selección de objetos: los criterios de selección que definen qué objetos se van a procesar. Puede especificar los criterios mediante una de las siguientes opciones:

    • Manifiesto: crea un manifiesto y especifica su ubicación al crear el trabajo de operaciones por lotes de almacenamiento. El manifiesto es un archivo CSV que se sube a Google Cloudy que contiene un objeto o una lista de objetos que quiere procesar. Cada fila del manifiesto debe incluir el bucket y el name del objeto. También puedes especificar el generation del objeto. Si no especifica el generation, se usará la versión actual del objeto.

      El archivo debe incluir una fila de encabezado con el siguiente formato:

      bucket,name,generation

      Este es un ejemplo del manifiesto:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      También puede crear un manifiesto con conjuntos de datos de Estadísticas de almacenamiento. Para obtener más información, consulta Crear un manifiesto con conjuntos de datos de Estadísticas de almacenamiento.

    • Prefijos de objeto: especifica una lista de prefijos para filtrar objetos en el segmento. Solo se procesan los objetos con estos prefijos. Si está vacío, se procesarán todos los objetos del segmento.

  • Tipo de trabajo: las operaciones por lotes de almacenamiento admiten los siguientes tipos de trabajos, que ejecutan un solo trabajo por operación por lotes.

    • Eliminación de objetos: puedes eliminar objetos de un segmento. Esto es fundamental para optimizar los costes, gestionar el ciclo de vida de los datos y cumplir las políticas de eliminación de datos.

    • Actualizaciones de metadatos: puede modificar los metadatos de los objetos. Esto incluye la actualización de metadatos personalizados, la clase de almacenamiento y otras propiedades de los objetos.

    • Actualizaciones de retenciones de objetos: puedes habilitar o inhabilitar las retenciones de objetos. Las retenciones de objetos evitan que se eliminen o modifiquen objetos, lo que es esencial para cumplir los requisitos y conservar los datos.

    • Actualizaciones de claves de cifrado de objetos: puedes gestionar las claves de cifrado gestionadas por el cliente de uno o varios objetos. Esto incluye aplicar o cambiar claves de cifrado mediante el método reescribir objeto.

Limitaciones

Las operaciones por lotes de almacenamiento tienen las siguientes limitaciones:

  • Los trabajos de operaciones por lotes de Storage tienen un tiempo de vida máximo de 14 días. Los trabajos en curso que no se completen en un plazo de 14 días desde su creación se cancelarán automáticamente.

  • No recomendamos ejecutar más de 20 trabajos de operaciones por lotes simultáneos en el mismo contenedor.

  • Las operaciones por lotes de almacenamiento no se admiten en los siguientes contenedores:

    • Segmentos que tengan habilitada la función Pagos del solicitante.

    • Segmentos ubicados en la región us-west8.

Siguientes pasos