Les vitesses de transfert sont affectées par des facteurs tels que l'emplacement et le fournisseur de la source, la taille des fichiers et le nombre de fichiers.
Si votre transfert progresse plus lentement que prévu, consultez les informations de cette page pour connaître les raisons possibles et les solutions.
Transferts sans agent
Pour les transferts vers Cloud Storage depuis Amazon S3, Microsoft Azure, des listes d'URL ou Cloud Storage, le service de transfert de stockage gère le transfert sans avoir besoin d'agents de transfert hébergés.
Créer plusieurs transferts parallèles
Le service de transfert de stockage limite le nombre maximal de requêtes par seconde (RPS) autorisées par tâche de transfert. Si votre tâche implique un grand nombre de fichiers relativement petits, sa vitesse de transfert est limitée par cette limite de RPS. Le transfert d'un objet peut déclencher des opérations de liste, de lecture et d'écriture, chacune d'entre elles étant comptabilisée dans le RPS maximal.
Pour contourner la limite de RPS, divisez votre grand transfert en plusieurs tâches de transfert. Utilisez des préfixes d'inclusion et d'exclusion pour créer des tâches de transfert contenant moins de fichiers. Vous pouvez créer:
- jusqu'à 5 000 tâches par jour ;
- avec 200 tâches en cours d'exécution à tout moment
Par exemple, pour ne transférer que les fichiers dont le nom ou le chemin d'accès commencent par les lettres a à e:
CLI gcloud
gcloud transfer jobs create SOURCE DESTINATION \
--include-prefixes="a,b,c,d,e"
REST
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
},
"objectConditions": {
"includePrefixes": [
"a","b","c","d","e"
],
"excludePrefixes": [
"path_1/subpath_2/object_5"
]
}
}
}
Transferts basés sur des agents
Pour obtenir des conseils pour accélérer les transferts basés sur des agents, consultez la section Bonnes pratiques pour les transferts de système de fichiers.