Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Ce document décrit les opérations par lot de stockage, une fonctionnalité Cloud Storage qui vous permet d'effectuer des opérations sur des milliards d'objets de manière serverless. Les opérations par lot de stockage vous permettent d'automatiser les opérations d'API à grande échelle sur des milliards d'objets, ce qui réduit le temps de développement nécessaire pour écrire et gérer des scripts pour chaque requête.
Les opérations par lot Storage vous permettent d'exécuter l'une des quatre transformations suivantes sur plusieurs objets à la fois : placer une obligation de conservation sur un objet, supprimer un objet, mettre à jour les métadonnées d'un objet et réécrire des objets. Pour utiliser les opérations par lot de stockage, vous devez créer une configuration de job qui définit les transformations à appliquer aux objets.
La création d'une opération par lot renvoie une opération de longue durée (OLD) qui indique l'état de votre requête : si la transformation a été appliquée à tous les objets spécifiés dans votre requête.
Avantages
Évolutivité : effectuez des transformations sur des millions d'objets avec une seule tâche d'opérations par lots de stockage.
Exécution sans serveur : exécutez des jobs par lot dans un environnement sans serveur, ce qui élimine la nécessité de gérer l'infrastructure.
Automatisation : automatisez les tâches complexes et répétitives pour améliorer l'efficacité opérationnelle.
Réduire le temps de développement : évitez d'écrire et de gérer des scripts personnalisés complexes.
Performances : effectuez les opérations urgentes dans le délai requis. Si plusieurs jobs par lot s'exécutent simultanément sur un bucket, vous pouvez traiter jusqu'à un milliard d'objets en trois heures.
Nouvelles tentatives automatiques : nouvelles tentatives automatiques pour les opérations ayant échoué.
Surveillance des jobs : suivi détaillé de la progression pour surveiller l'état et l'achèvement de tous les jobs.
Cas d'utilisation
Lorsqu'elles sont utilisées avec des ensembles de données Storage Insights, les opérations par lot de stockage vous permettent d'effectuer les tâches suivantes :
Gestion de la sécurité :
Définissez des clés de chiffrement sur plusieurs objets à l'aide de la méthode rewrite object.
Appliquez ou supprimez des obligations de conservation d'objets pour contrôler leur immuabilité.
Conformité :
Utilisez des préservations d'objets pour répondre aux exigences de conservation des données à des fins de conformité réglementaire.
Supprimez les données entre des périodes spécifiques pour répondre aux exigences de conformité en matière d'effacement.
Transformation des données : effectuez des mises à jour groupées des métadonnées d'objet.
Optimisation des coûts : supprimez des objets par lot dans les buckets Cloud Storage pour réduire les coûts de stockage.
Configurations des jobs
Pour créer un job d'opérations par lot Storage, vous devez définir les configurations de job suivantes.
Les configurations de job sont des paramètres qui contrôlent la façon dont le job est défini pour différentes exigences de traitement.
Nom du job : nom unique permettant d'identifier le job d'opérations par lot Storage. Il est utilisé pour suivre, surveiller et référencer le job. Les noms de jobs sont alphanumériques, par exemple job-01.
Description du job (facultatif) : brève description de l'objectif du job. Cela permet de comprendre et de documenter les détails du poste. Par exemple, Deletes all objects in a bucket.
Nom du bucket : nom du bucket de stockage contenant les objets à traiter. C'est essentiel pour localiser les données d'entrée. Par exemple, my-bucket. Vous ne pouvez spécifier qu'un seul nom de bucket pour un job.
Sélection d'objets : critères de sélection qui définissent les objets à traiter. Vous pouvez spécifier les critères à l'aide de l'une des options suivantes :
Fichier manifeste : créez un fichier manifeste et spécifiez son emplacement lorsque vous créez la tâche d'opérations par lot Storage. Le fichier manifeste est un fichier CSV importé dans Google Cloud. Il contient un ou plusieurs objets que vous souhaitez traiter. Chaque ligne du fichier manifeste doit inclure les valeurs bucket et name de l'objet. Vous pouvez éventuellement spécifier le generation de l'objet. Si vous ne spécifiez pas generation, la version actuelle de l'objet est utilisée.
Le fichier doit inclure une ligne d'en-tête au format suivant :
Préfixes d'objet : spécifiez une liste de préfixes pour filtrer les objets dans le bucket. Seuls les objets ayant ces préfixes sont traités. Si ce champ est vide, tous les objets du bucket sont traités.
Type de job : les opérations par lot Storage sont compatibles avec les types de jobs suivants, qui exécutent un seul job par opération par lot.
Suppression d'objets : vous pouvez supprimer des objets dans un bucket. Cela est essentiel pour optimiser les coûts, gérer le cycle de vie des données et respecter les règles de suppression des données.
Mises à jour des métadonnées : vous pouvez modifier les métadonnées des objets. Cela inclut la mise à jour des métadonnées personnalisées, de la classe de stockage et d'autres propriétés des objets.
Mises à jour des préservations d'objets : vous pouvez activer ou désactiver les préservations d'objets. Les obligations de conservation des objets empêchent la suppression ou la modification des objets, ce qui est essentiel à des fins de conformité et de conservation des données.
Mises à jour des clés de chiffrement des objets : vous pouvez gérer les clés de chiffrement gérées par le client pour un ou plusieurs objets. Cela inclut l'application ou la modification de clés de chiffrement à l'aide de la méthode rewrite object.
Limites
Les opérations par lot de stockage sont soumises aux limites suivantes :
La durée de vie maximale des opérations par lot de stockage est de 14 jours. Toute tâche en cours qui n'est pas terminée dans les 14 jours suivant sa création est automatiquement annulée.
Nous vous déconseillons d'exécuter plus de 20 jobs d'opérations par lot simultanément sur le même bucket.
Les opérations par lot de stockage ne sont pas compatibles avec les buckets suivants :
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[],[],null,["# Storage batch operations\n\n| Storage batch operations is available only if you've configured [Storage Intelligence](/storage/docs/storage-intelligence/overview).\n\nThis document describes storage batch operations, a\nCloud Storage capability that lets you perform operations on billions of\nobjects in a serverless manner. Using\nstorage batch operations, you can automate large-scale API\noperations on billions of objects, reducing the development time required to\nwrite and maintain scripts for each request.\n\nTo learn how to create storage batch operations jobs, see\n[Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs).\n\nOverview\n--------\n\nStorage batch operations let you run one of four transformations on\nmultiple objects at once: placing an object hold, deleting an object,\nupdating object metadata, and rewriting objects. To use\nstorage batch operations, you create a [job configuration](#job-configurations) that\ndefines what transformations should be applied to which objects.\n\nCreating a batch operation returns a long-running operation\n(LRO) that indicates the status of your request: whether the transformation has\nbeen applied to all specified objects in your request.\n\n### Benefits\n\n- **Scalability**: Perform transformations on millions of objects with a single storage batch operations job.\n- **Serverless execution**: Run batch jobs in a serverless environment, eliminating the need to manage infrastructure.\n- **Automation**: Automate complex and repetitive tasks, improving operational efficiency.\n- **Reduced development time**: Avoid writing and maintaining complex custom scripts.\n- **Performance**: Complete time-sensitive operations within the required time. With multiple batch jobs running concurrently on a bucket, you can process up to one billion objects within three hours.\n- **Automatic retries**: Automatic retries for failed operations.\n- **Job monitoring**: Detailed progress tracking to monitor the status and completion of all jobs.\n\n### Use cases\n\nWhen used with [Storage Insights datasets](/storage/docs/insights/datasets),\nstorage batch operations allow you to accomplish the following\ntasks:\n\n- **Security management**:\n\n - Set encryption keys on multiple objects using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n - Apply or remove object holds to control object immutability.\n- **Compliance**:\n\n - Use object holds to meet data retention requirements for regulatory compliance.\n - Delete data between specific timeframes, to meet wipeout compliance requirements.\n- **Data transformation**: Perform bulk updates to object metadata.\n\n- **Cost optimization**: Bulk delete objects in Cloud Storage buckets to\n reduce storage costs.\n\nJob configurations\n------------------\n\nTo [create a storage batch operations job](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-batch-operation-job), you'll need to set the following job configurations.\nJob configurations are parameters that control how the job is defined for\ndifferent processing requirements.\n\n- **Job name** : A unique name to identify the storage batch operations job. This is used for tracking, monitoring, and referencing the job. Job names are alphanumeric, for example, `job-01`.\n\n- **Job Description** (Optional): A brief description of the job's purpose. This helps with understanding and documenting the job details. For example, `Deletes all objects in a bucket`.\n\n- **Bucket name** : The name of the storage bucket containing the objects to be processed. This is essential for locating the input data. For example, `my-bucket`. You can specify only one bucket name for a job.\n\n- **Object selection**: The selection criteria that defines which objects to process. You can specify the criteria using any one of the following options:\n\n - **Manifest** : Create a manifest and specify its location when you create the storage batch operations job. The manifest is a CSV file, uploaded to Google Cloud, that contains one object or a list of objects that you want to process. Each row in the manifest must include the `bucket` and `name` of the object. You can optionally specify the `generation` of the object. If you don't specify the `generation`, the current version of the object is used.\n\n The file must include a header row of the following format:\n\n `bucket,name,generation`\n\n The following is an example of the manifest: \n\n ```\n bucket,name,generation\n bucket_1,object_1,generation_1\n bucket_1,object_2,generation_2\n bucket_1,object_3,generation_3\n ```\n | **Caution:** Ensure the manifest only includes objects from the bucket provided in the storage batch operations job. Rows referencing other buckets are ignored.\n\n You can also create a manifest using Storage Insights datasets. For details, see [Create a manifest using Storage Insights datasets](/storage/docs/batch-operations/create-manage-batch-operation-jobs#create-manifest-using-insights-datasets).\n - **Object prefixes**: Specify a list of prefixes to filter objects within the bucket. Only objects with these prefixes are processed. If empty, all objects in the bucket are processed.\n\n- **Job type:** Storage batch operations supports the following job types, running a single job per batch operation.\n\n - **Object deletion** : You can [delete objects](/storage/docs/deleting-objects) within a bucket. This is crucial for cost optimization, data lifecycle management, and compliance with data deletion policies.\n\n | **Caution:** By default, Cloud Storage retains soft-deleted objects for a duration of seven days. If you have accidentally deleted the objects, you can restore these soft-deleted objects during this duration. However, if you have disabled [soft delete](/storage/docs/soft-delete) for your bucket, you cannot recover deleted objects.\n - **Metadata updates** : You can modify the [object metadata](/storage/docs/metadata#editable). This includes updating custom metadata, storage class, and other object properties.\n\n - **Object hold updates** : You can enable or disable [object holds](/storage/docs/object-holds). Object holds prevent objects from being deleted or modified, which is essential for compliance and data retention purposes.\n\n - **Object encryption key updates** : You can manage the [customer-managed encryption keys](/storage/docs/encryption/customer-managed-keys) for one or more objects. This includes applying or changing encryption keys using the [rewrite object](/storage/docs/json_api/v1/objects/rewrite) method.\n\nLimitations\n-----------\n\nStorage batch operations has the following limitations:\n\n- Storage batch operations jobs have a maximum lifetime of 14 days. Any\n ongoing job that doesn't complete within 14 days of its creation is\n automatically cancelled.\n\n- We don't recommend running more than 20 concurrent batch operations jobs on\n the same bucket.\n\n- Storage batch operations is not supported on the following\n buckets:\n\n - Buckets that have [Requestor Pays](/storage/docs/requester-pays) enabled.\n\n - Buckets located in the `us-west8` region.\n\nWhat's next\n-----------\n\n- [Create and manage storage batch operations jobs](/storage/docs/batch-operations/create-manage-batch-operation-jobs)"]]
