Aperçu

Cette page décrit le service de transfert de stockage.

D'autres options de transfert Google Cloud sont disponibles :

Qu'est-ce que le service de transfert de stockage ?

Le service de transfert de stockage est un produit qui vous permet de :

  • déplacer ou sauvegarder des données vers un bucket Cloud Storage depuis d'autres fournisseurs de stockage cloud ou depuis votre espace de stockage sur site ;

  • déplacer des données d'un bucket Cloud Storage vers un autre afin qu'elles soient disponibles pour différents groupes d'utilisateurs ou d'applications ;

  • déplacer périodiquement des données dans le cadre d'un pipeline de traitement de données ou d'un workflow d'analyse.

Le service de transfert de stockage fournit des options qui facilitent les transferts et la synchronisation des données. Par exemple, vous pouvez :

  • planifier des opérations de transfert ponctuelles ou récurrentes ;

  • supprimer les objets existants dans le bucket de destination s'il n'existe pas d'objets correspondants dans la source ;

  • Supprimer les objets sources de données après les avoir transférés.

  • planifier la synchronisation périodique d'une source de données vers un récepteur de données avec des filtres avancés basés sur les dates de création des fichiers, les noms de fichiers et les heures de la journée auxquelles vous préférez importer les données.

Par défaut, le service de transfert de stockage effectue les opérations suivantes :

  • Il copie un fichier de la source de données si celui-ci n'existe pas dans le récepteur de données, ou s'il existe des différences entre la version présente dans la source et celle présente dans le récepteur.

  • Il conserve les fichiers dans la source après le transfert.

  • Il utilise le chiffrement TLS pour les connexions HTTPS. La seule exception est si vous spécifiez une URL HTTP pour un transfert de liste d'URL.

Autorisations et rôles requis pour le service de transfert de stockage

Le service de transfert de stockage utilise Identity and Access Management pour contrôler et gérer les accès. Pour en savoir plus sur IAM, consultez la page Présentation d'IAM.

Pour utiliser le service de transfert de stockage, vous devez disposer d'au moins un des rôles IAM suivants, en fonction des types de tâches que vous effectuez :

Type d'accès Rôles IAM
Accès total Administrateur du transfert de stockage
Envoyer des transferts Utilisateur du transfert de stockage
Afficher ou répertorier des tâches et des opérations de transfert Lecteur du transfert de stockage

Le projet que vous utilisez pour créer une tâche de transfert n'a pas besoin d'être associé aux buckets agissant en tant que source de données ou récepteur de données, mais des autorisations supplémentaires sont nécessaires pour configurer et utiliser des sources et des récepteurs de données.

Pour en savoir plus sur les rôles et les autorisations du service de transfert de stockage, consultez la page Configurer l'accès aux sources et aux récepteurs de données.

Interfaces disponibles

Vous pouvez utiliser le service de transfert de stockage de plusieurs façons :

  • Utilisez Google Cloud Console pour créer et gérer des tâches de transfert. Il s'agit souvent du moyen le plus simple et le plus rapide pour commencer à utiliser le service de transfert de stockage. Pour plus d'informations, consultez la page Créer et gérer des transferts avec la console.

  • Utilisez les API REST pour travailler directement avec l'API du service de transfert de stockage. Consultez la page Créer un client de service de transfert de stockage pour obtenir plus d'informations sur l'activation de l'API et l'obtention de jetons d'authentification pour utiliser vos requêtes.

Intégrité des données

Le service de transfert de stockage utilise les métadonnées disponibles dans le système de stockage source, telles que les sommes de contrôle et les tailles de fichiers, pour garantir que les données écrites dans Cloud Storage sont les mêmes que celles lues à partir de la source.

Les métadonnées de somme de contrôle sont disponibles

Si les métadonnées de somme de contrôle situées sur le système de stockage source indiquent que les données reçues par le service de transfert de stockage ne correspondent pas aux données sources, le service de transfert de stockage enregistre un échec pour l'opération de transfert. Voici des exemples de systèmes de stockage qui incluent des métadonnées de somme de contrôle : la plupart des objets Amazon Simple Storage Service (Amazon S3) et Microsoft Azure Blob Storage (à quelques exceptions près), et les transferts HTTP (les métadonnées de somme de contrôle sont fournies par l'utilisateur).

Les métadonnées de somme de contrôle ne sont pas disponibles, mais les agents peuvent s'exécuter près de la source

Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent, mais que des agents peuvent être exécutés localement à proximité du système de stockage source, le service de transfert de stockage tente de lire les données sources et de calculer la somme de contrôle avant d'envoyer les données à Cloud Storage. Cela se produit pour les données de service de transfert sur site lors du transfert de données des systèmes de fichiers vers Cloud Storage.

Les métadonnées de somme de contrôle ne sont pas disponibles et les agents ne peuvent pas s'exécuter près de la source

Si les métadonnées de somme de contrôle ne sont pas disponibles dans le système de stockage source sous-jacent et que les agents ne peuvent pas être exécutés localement à proximité du système de stockage source, le service de transfert de stockage ne peut pas calculer de somme de contrôle tant que les données n'apparaissent pas dans Cloud Storage. Dans ce scénario, le service de transfert de stockage copie les données, mais ne peut pas effectuer de vérifications de l'intégrité de bout en bout pour confirmer que les données reçues sont identiques aux données sources. À la place, le service de transfert de stockage tente une approche "la plus optimale possible" en utilisant les métadonnées disponibles, telles que la taille du fichier, pour vérifier que le fichier copié dans Cloud Storage correspond au fichier source.

Par exemple, le service de transfert de stockage utilise la taille des fichiers pour valider les données pour les éléments suivants :

Après les vérifications de transfert

Une fois le transfert terminé, nous vous recommandons d'effectuer des vérifications supplémentaires d'intégrité des données pour vérifier les éléments suivants :

  • La version correcte des fichiers est copiée, pour ceux qui changent au niveau de la source.
  • L'ensemble et le nombre correct de fichiers sont copiés pour vérifier que vous avez correctement configuré les tâches de transfert.
  • Les fichiers ont été correctement copiés, en vérifiant les métadonnées des fichiers, telles que les sommes de contrôle des fichiers, la taille des fichiers, etc.

Faut-il utiliser gsutil ou le service de transfert de stockage ?

L'outil de ligne de commande gsutil vous permet également de transférer des données depuis Cloud Storage vers d'autres emplacements. Bien que vous puissiez utiliser l'outil gsutil pour transférer des données depuis un autre fournisseur de stockage cloud vers Cloud Storage, le service de transfert de stockage est recommandé pour ce cas d'utilisation. Vous pouvez également utiliser gsutil pour effectuer des transferts entre des buckets Cloud Storage. Cela peut être utile pour déplacer des données entre des emplacements de buckets.

Pour décider si vous devez utiliser gsutil ou le service de transfert de stockage, suivez ces règles de base :

Scénario de transfert Recommandation
Transfert depuis un autre fournisseur de stockage cloud Utilisez le service de transfert de stockage.
Transfert de moins de 1 To sur site Utilisez gsutil.
Transfert de plus de 1 To sur site Utilisez le service de transfert des données sur site.
Transfert de moins de 1 To depuis une autre région Cloud Storage Utilisez gsutil.
Transfert de plus de 1 To depuis une autre région Cloud Storage Utilisez le service de transfert de stockage.

Utilisez ce guide comme point de départ. Les détails spécifiques de votre scénario de transfert vous aideront également à déterminer l'outil le plus approprié.

Contrat de niveau de service

Actuellement, le service de transfert de stockage ne fournit aucun contrat de niveau de service et certaines fluctuations de performances sont à prévoir. Par exemple, nous ne fournissons pas de contrat de niveau de service en ce qui concerne les performances ou la latence des transferts.