La vitesse de transfert dépend de facteurs tels que l'emplacement et le fournisseur source, la taille et le nombre de fichiers.
Si votre transfert progresse plus lentement que prévu, consultez les informations de cette page pour connaître les raisons possibles et leur résolution.
Transferts sans agent
Pour les transferts vers Cloud Storage depuis Amazon S3, Microsoft Azure, des listes d'URL ou Cloud Storage, le service de transfert de stockage gère le transfert sans avoir à utiliser d'agents de transfert hébergés.
Créer plusieurs transferts parallèles
Le service de transfert de stockage impose un nombre maximal de requêtes autorisées par seconde (RPS) par tâche de transfert. Si votre tâche implique un grand nombre de fichiers relativement petits, sa vitesse de transfert est limitée par cette limite de RPS. Le transfert d'un objet peut déclencher des opérations de liste, de lecture et d'écriture, chacune étant comptabilisée dans le nombre maximal de RPS.
Pour contourner la limite de RPS, divisez votre transfert volumineux en plusieurs tâches de transfert.
Utilisez des préfixes d'inclusion et d'exclusion pour créer des tâches de transfert contenant moins de fichiers. Vous pouvez créer jusqu'à 1 000 tâches de transfert par jour, dont 200 tâches actives à tout moment. Les tâches supplémentaires démarrent automatiquement lorsque le nombre de tâches actives passe en dessous de 200.
Par exemple, pour transférer uniquement les fichiers dont le nom de fichier ou le chemin d'accès commence par les lettres a à e:
gcloud CLI
gcloud transfer jobs create SOURCE DESTINATION \
--include-prefixes="a,b,c,d,e"
REST
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
},
"objectConditions": {
"includePrefixes": [
"a","b","c","d","e"
],
"excludePrefixes": [
"path_1/subpath_2/object_5"
]
}
}
}
Transferts basés sur des agents
Pour obtenir des conseils pour accélérer les transferts basés sur des agents, consultez les bonnes pratiques pour les transferts de système de fichiers.