Présentation du service de transfert de stockage

Cette page décrit le service de transfert de stockage, que vous pouvez utiliser pour importer rapidement des données en ligne dans Cloud Storage ou transférer des données d'un bucket Cloud Storage vers un autre.

Pour apprendre à configurer un transfert dans la console GCP, suivez les instructions de la page Créer et gérer des transferts de données à l'aide de la console.

Qu'est-ce que le service de transfert de stockage ?

Ce service permet de transférer les données d'une source de données en ligne vers un récepteur de données. La source de données peut être un bucket Amazon S3 (Amazon Simple Storage Service), un emplacement HTTP/HTTPS ou un bucket Cloud Storage. Le récepteur de données (la destination) est toujours un bucket Cloud Storage.

Vous pouvez utiliser le service de transfert de stockage pour :

  • sauvegarder des données sur un bucket Cloud Storage appartenant à d'autres fournisseurs de stockage ;

  • déplacer des données d'un bucket Cloud Storage vers un autre, afin qu'elles soient mises à la disposition de différents groupes d'utilisateurs ou d'applications ;

  • déplacer périodiquement des données dans le cadre d'un pipeline de traitement de données ou d'un workflow d'analyse.

Le service de transfert de stockage transfère des données au moyen d'une opération de transfert. Ces opérations sont planifiées et configurées via une tâche de transfert. Le service de transfert de stockage propose des options facilitant les transferts de données, et la synchronisation entre les sources et les récepteurs de données. Par exemple, vous pouvez :

  • planifier des opérations de transfert ponctuelles ou récurrentes ;

  • supprimer des objets existants du bucket de destination s'ils ne possèdent pas d'objets correspondant dans la source ;

  • supprimer les objets sources une fois leur transfert terminé ;

  • planifier la synchronisation périodique depuis la source de données vers le récepteur de données à l'aide de filtres avancés basés sur les dates de création des fichiers, les noms de fichiers et les heures de la journée pendant lesquelles vous préférez importer des données.

Par défaut, le service de transfert de stockage copie un fichier de la source de données si celui-ci n'existe pas dans le récepteur ou si la version de la source diffère de celle du récepteur. Toujours par défaut, les fichiers sont conservés dans la source après le transfert.

Qui peut utiliser le service de transfert de stockage ?

Pour utiliser le service de transfert de stockage, vous devez disposer de l'un des rôles suivants, en fonction des tâches à exécuter :

  • Pour un accès complet : storagetransfer.admin.
  • Pour lancer des transferts : storagetransfer.user.
  • Pour afficher ou répertorier les tâches et opérations de transfert : storagetransfer.viewer.

Pour en savoir plus sur les rôles et les autorisations, consultez la documentation sur le Contrôle des accès.

Le projet où la tâche de transfert est créée ne doit pas nécessairement être associé aux buckets qui agissent en tant que source ou récepteur, mais des autorisations supplémentaires sont obligatoires pour configurer et utiliser les sources et les récepteurs. Consultez la page Configurer l'accès aux sources et aux récepteurs de données pour en savoir plus sur la marche à suivre.

Interfaces disponibles

Vous pouvez travailler avec le service de transfert de stockage de différentes manières :

Faut-il utiliser gsutil ou le service de transfert de stockage ?

L'outil de ligne de commande gsutil vous permet également de transférer des données depuis Cloud Storage vers d'autres emplacements. Bien que gsutil soit compatible avec les buckets Amazon S3, et qu'il soit possible de transférer des données d'Amazon S3 vers Cloud Storage, le service de transfert de stockage est recommandé pour ce cas d'utilisation.

Pour décider si vous devez utiliser gsutil ou le service de transfert de stockage, suivez ces règles de base :

  • Lorsque vous transférez des données depuis un emplacement sur site, utilisez gsutil.

  • Lorsque vous transférez des données depuis l'emplacement d'un autre fournisseur de stockage dans le cloud, utilisez le service de transfert de stockage.

  • Sinon, évaluez les deux outils en fonction de votre scénario spécifique.

Utilisez ce guide comme point de départ. Les détails spécifiques de votre scénario de transfert vous aideront également à déterminer l'outil le plus approprié.

Contrat de niveau de service

Actuellement, le service de transfert de stockage ne fournit aucun contrat de niveau de service et certaines fluctuations de performances sont à prévoir. Par exemple, nous ne fournissons pas de contrat de niveau de service en ce qui concerne les performances ou la latence des transferts.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Documentation sur le service de transfert de stockage Cloud Storage