Cette page traite des importations en plusieurs parties dans Cloud Storage avec l'API XML. Cette méthode d'importation transfère les fichiers en plusieurs parties, puis les assemble en un seul objet à l'aide d'une requête finale. Les importations en plusieurs parties avec l'API XML sont compatibles avec les importations Amazon S3 en plusieurs parties.
Présentation
Une importation en plusieurs parties avec l'API XML vous permet d'importer des données en plusieurs parties, puis de les assembler en un objet final. Ce comportement présente plusieurs avantages, en particulier pour les fichiers volumineux :
Vous pouvez importer simultanément différentes parties, ce qui réduit le temps nécessaire à l'importation de l'ensemble des données.
Si l'une des opérations d'importation échoue, il vous suffit d'importer à nouveau cette partie de l'objet global, au lieu de redémarrer depuis le début.
Comme la taille totale du fichier n'est pas spécifiée à l'avance, vous pouvez effectuer des importations en plusieurs parties avec l'API XML pour transférer des données en flux continu ou pour compresser des données à la volée pendant l'importation.
L'importation en plusieurs parties avec l'API XML s'effectue en trois étapes :
Le lancement de l'importation à l'aide d'une requête
POST
, qui inclut la spécification de toutes les métadonnées que doit posséder l'objet une fois terminé. La réponse renvoie un objetUploadId
que vous utilisez dans toutes les requêtes suivantes associées à l'importation.L'importation des données à l'aide d'une ou plusieurs requêtes
PUT
.La finalisation de l'importation à l'aide d'une requête
POST
. Cette requête écrase tout objet existant dans le bucket et portant le même nom.
Il n'existe aucune limite à la durée d'une importation en plusieurs parties, et les parties importées peuvent être inachevées ou inactives dans un bucket.
- Les pièces importées avec succès sont comptabilisées dans votre utilisation de l'espace de stockage mensuel.
- Vous pouvez éviter la compilation d'importations en plusieurs parties abandonnées en utilisant la gestion du cycle de vie des objets pour supprimer automatiquement les importations en plusieurs parties lorsqu'elles atteignent un âge spécifié.
Remarques
Les limites suivantes s'appliquent à l'utilisation des importations en plusieurs parties avec l'API XML :
- Des limites s'appliquent à la taille minimale d'une partie, à sa taille maximale et au nombre de parties utilisées pour assembler l'importation terminée.
- Les conditions préalables ne sont pas autorisées dans les requêtes.
- Les hachages MD5 n'existent pas pour les objets importés à l'aide de cette méthode.
- Cette méthode d'importation n'est pas compatible avec la console Google Cloud ni avec la Google Cloud CLI.
Tenez compte des points suivants lorsque vous utilisez les importations en plusieurs parties avec l'API XML :
Les importations en plusieurs parties avec l'API XML disposent d'autorisations IAM spécifiques. Si vous utilisez des rôles IAM personnalisés, vous devez vous assurer que ces rôles disposent des autorisations nécessaires.
Bien que vous puissiez lancer une importation et importer plusieurs parties, la requête de finalisation de l'importation échoue si elle conduirait à écraser un objet soumis à une obligation de conservation ou une durée de conservation non remplie.
Vous pouvez répertorier les importations en cours dans un bucket, mais seule une importation terminée apparaît dans la liste normale des objets du bucket.
Une partie importée peut être soumise à des frais de suppression anticipée si elle n'est jamais utilisée.
Comment les bibliothèques clientes utilisent les importations en plusieurs parties avec l'API XML
Cette section fournit des informations sur l'exécution d'importations en plusieurs parties avec l'API XML avec des bibliothèques clientes compatibles.
Bibliothèques clientes
Java
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Java.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
La bibliothèque cliente Java n'est pas compatible avec les importations en plusieurs parties avec l'API XML. Utilisez plutôt des importations composites parallèles.
Node.js
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Node.js.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Vous pouvez effectuer des importations en plusieurs parties avec l'API XML à l'aide de la méthode uploadFileInChunks
. Exemple :
Python
Pour en savoir plus, consultez la documentation de référence de l'API Cloud Storage en langage Python.
Pour vous authentifier auprès de Cloud Storage, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Vous pouvez effectuer des importations en plusieurs parties avec l'API XML à l'aide de la méthode upload_chunks_concurrently
. Exemple :
Étapes suivantes
- Découvrez d'autres méthodes d'importation pour Cloud Storage.
- Découvrez comment fonctionne l'intervalle exponentiel entre les tentatives tronqué et quand relancer les requêtes.