提高转移速度

转移速度受以下因素的影响:来源位置和服务提供商、文件大小和文件数量。

如果转移进度比预期要慢,请参阅此页面上的信息,了解可能的原因和解决方法。

无代理转移

对于从 Amazon S3、Microsoft Azure、网址列表或 Cloud Storage 到 Cloud Storage 的转移,Storage Transfer Service 会管理转移作业,不需要托管转移代理。

创建多个并行转移作业

Storage Transfer Service 限制每个转移作业的每秒查询次数 (QPS)。如果您的作业涉及大量相对较小的文件,则其转移速度受此 QPS 上限的限制。转移对象可以触发列出、读取和写入操作,每个操作都会计入最大 QPS。

如需避免 QPS 限制,请将大型转移作业拆分为多个转移作业。使用包含和排除前缀创建包含以下内容的转移作业 更少的文件。您可以创建以下字段:

例如,如需仅转移文件名或路径以字母 ae 开头的文件,请运行以下命令:

gcloud CLI

gcloud transfer jobs create SOURCE DESTINATION \
  --include-prefixes="a,b,c,d,e"

REST

{
    "description": "YOUR DESCRIPTION",
    "status": "ENABLED",
    "projectId": "PROJECT_ID",
    "schedule": {
        "scheduleStartDate": {
            "day": 1,
            "month": 1,
            "year": 2015
        },
        "startTimeOfDay": {
            "hours": 1,
            "minutes": 1
        }
    },
    "transferSpec": {
        "gcsDataSource": {
            "bucketName": "GCS_SOURCE_NAME"
        },
        "gcsDataSink": {
            "bucketName": "GCS_SINK_NAME"
        },
        "transferOptions": {
            "deleteObjectsFromSourceAfterTransfer": true
        },
        "objectConditions": {
            "includePrefixes": [
                "a","b","c","d","e"
            ],
            "excludePrefixes": [
                "path_1/subpath_2/object_5"
            ]
        }
    }
}

基于代理的转移

有关加快基于代理的转移速度的建议,请参阅文件系统转移最佳实践