Übertragungsgeschwindigkeiten verbessern

Die Übertragungsgeschwindigkeit wird von Faktoren wie dem Speicherort und Anbieter der Quelle, der Dateigröße und der Anzahl der Dateien beeinflusst.

Wenn die Übertragung langsamer als erwartet voranschreitet, finden Sie auf dieser Seite mögliche Gründe und Lösungen.

Übertragung ohne Agent

Bei Übertragungen von Amazon S3, Microsoft Azure, URL-Listen oder Cloud Storage zu Cloud Storage verwaltet Storage Transfer Service die Übertragung, ohne dass gehostete Übertragungs-Agents erforderlich sind.

Mehrere parallele Übertragungen erstellen

Storage Transfer Service hat eine maximale Anzahl zulässiger Abfragen pro Sekunde (Queries per Second, QPS) pro Übertragungsjob. Wenn Ihr Job eine große Anzahl von relativ kleinen Dateien umfasst, wird die Übertragungsgeschwindigkeit durch diese Obergrenze für Abfragen pro Sekunde begrenzt. Durch die Übertragung eines Objekts können Listen-, Lese- und Schreibvorgänge ausgelöst werden, die jeweils auf die maximale Anzahl von Abfragen pro Sekunde angerechnet werden.

Teilen Sie eine große Übertragung in mehrere Übertragungsjobs auf, um das Limit für die Abfragen pro Sekunde zu umgehen. Verwenden Sie Präfixe ein- und ausschließen, um Übertragungsjobs mit weniger Dateien zu erstellen. Sie können Folgendes erstellen:

So übertragen Sie beispielsweise nur Dateien, deren Dateiname oder Pfad mit den Buchstaben a bis e beginnt:

gcloud-CLI 

gcloud transfer jobs create SOURCE DESTINATION \
  --include-prefixes="a,b,c,d,e"

REST 

{
    "description": "YOUR DESCRIPTION",
    "status": "ENABLED",
    "projectId": "PROJECT_ID",
    "schedule": {
        "scheduleStartDate": {
            "day": 1,
            "month": 1,
            "year": 2015
        },
        "startTimeOfDay": {
            "hours": 1,
            "minutes": 1
        }
    },
    "transferSpec": {
        "gcsDataSource": {
            "bucketName": "GCS_SOURCE_NAME"
        },
        "gcsDataSink": {
            "bucketName": "GCS_SINK_NAME"
        },
        "transferOptions": {
            "deleteObjectsFromSourceAfterTransfer": true
        },
        "objectConditions": {
            "includePrefixes": [
                "a","b","c","d","e"
            ],
            "excludePrefixes": [
                "path_1/subpath_2/object_5"
            ]
        }
    }
}

Agent-basierte Übertragungen

Tipps zum Beschleunigen von agentenbasierten Übertragungen finden Sie unter Best Practices für Dateisystemübertragungen.