Auf dieser Seite wird beschrieben, wie Sie Übertragungsjobs zwischen einem lokalen oder cloudbasierten Dateisystem und Cloud Storage erstellen.
Übertragungen von Dateisystemen zu Cloud Storage sind agentenbasierte Übertragungen. Das bedeutet, dass Sie Software-Agents auf einem Computer mit Zugriff auf Ihr Dateisystem installieren, um die Übertragung zu orchestrieren.
Berechtigungen konfigurieren
Bevor Sie eine Übertragung erstellen, müssen Sie Berechtigungen für die folgenden Entitäten konfigurieren:
Das Nutzerkonto, das für die Übertragung verwendet wird. Dies ist das Konto, das in der Google Cloud Console angemeldet ist, oder das Konto, das bei der Authentifizierung bei der gcloud CLI angegeben wird. Das Nutzerkonto kann ein reguläres Nutzerkonto oder ein vom Nutzer verwaltetes Dienstkonto sein. | |
Das von Google verwaltete Dienstkonto, auch als Dienst-Agent bezeichnet, das von Storage Transfer Service verwendet wird. Dieses Konto wird in der Regel anhand seiner E-Mail-Adresse identifiziert, die das Format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com hat.
|
|
![]() |
Das Übertragungs-Agent-Konto, das Google Cloud-Berechtigungen für Übertragungs-Agents gewährt. Transfer Agent-Konten verwenden zur Authentifizierung die Anmeldedaten des Nutzers, der sie installiert, oder die Anmeldedaten eines nutzerverwalteten Dienstkontos. |
Eine Anleitung finden Sie unter Agent-basierte Übertragungsberechtigungen.
Agents in einem Agent-Pool installieren
Agent-basierte Übertragungen verwenden Software-Agents, um Übertragungen zu orchestrieren. Diese Agents müssen auf einem Computer mit Zugriff auf das an der Übertragung beteiligte Dateisystem installiert werden.
- Erstellen Sie einen Agent-Pool. Verwenden Sie für diese Aktion Ihr Nutzerkonto
.
- Installieren Sie Agents im Agent-Pool. Verwenden Sie für diese Aktion Ihr Übertragungs-Agent-Konto
.
Wir empfehlen, mit 3 Agents im Quell-Agent-Pool zu beginnen. Überwachen Sie die Übertragungsgeschwindigkeit, sobald die Übertragung läuft. Sie können dem Pool während der Übertragung weitere Agents hinzufügen.
Wir empfehlen eine VM pro Agent mit jeweils mindestens 4 CPU und 8 GiB RAM.
Übertragungsoptionen
Die folgenden Storage Transfer Service-Features sind für Übertragungen von Dateisystemen zu Cloud Storage verfügbar.
- Bestimmte Dateien mithilfe eines Manifests übertragen
- Sie können eine Liste von Dateien übergeben, auf die der Storage Transfer Service reagieren soll. Weitere Informationen finden Sie unter Bestimmte Dateien oder Objekte mit einem Manifest übertragen.
- Speicherklasse angeben
- Sie können die
Cloud Storage-Speicherklasse angeben, die für Ihre Daten im Ziel-Bucket verwendet werden soll. Weitere Informationen zu den REST-Details finden Sie unter
StorageClass
. Alternativ können Sie das Flag--custom-storage-class
mit der Google Cloud CLI verwenden.Beachten Sie, dass alle Einstellungen der Speicherklasse ignoriert werden, wenn Autoclass für den Ziel-Bucket aktiviert ist. Wenn Autoclass aktiviert ist, werden Objekte, die in den Bucket übertragen werden, anfangs auf Standard Storage gesetzt.
- Metadaten beibehalten
-
Beim Übertragen von Dateien aus Dateisystemen kann Storage Transfer Service optional bestimmte Attribute als benutzerdefinierte Metadaten beibehalten. Wenn diese Dateien später in ein Dateisystem zurückgeschrieben werden, kann der Storage Transfer Service die beibehaltenen Metadaten zurück in POSIX-Attribute konvertieren.
Im Abschnitt Übertragungen des POSIX-Dateisystems des Artikels Beibehalten von Metadaten finden Sie Informationen dazu, welche Metadaten beibehalten werden können und wie Sie die Übertragung konfigurieren.
- Netzwerkbandbreite verwalten
- Storage Transfer Service verwendet standardmäßig so viel Bandbreite, wie ihm zur Verfügung steht, um Dateien aus Ihrem Dateisystem zu übertragen. Sie können ein Bandbreitenlimit festlegen, um zu verhindern, dass sich eine Übertragung auf den anderen Netzwerkverkehr auswirkt. Bandbreitenlimits werden auf Agent-Poolebene angewendet.
Weitere Informationen finden Sie unter Netzwerkbandbreite verwalten.
Ihr Nutzerkonto benötigt die Rolle Storage Transfer Admin (
roles/storagetransfer.admin
), um Bandbreitenlimits festzulegen oder zu ändern. - Logging
- Storage Transfer Service unterstützt Cloud Logging for Storage Transfer Service (empfohlen) sowie agent-basierte Übertragungslogs.
Übertragung erstellen
Der Name des Übertragungsjobs darf keine vertraulichen Informationen wie personenidentifizierbare Informationen oder Sicherheitsdaten enthalten. Ressourcennamen können an die Namen anderer Google Cloud-Ressourcen weitergegeben und für Google-interne Systeme außerhalb Ihres Projekts bereitgestellt werden.
Storage Transfer Service bietet mehrere Schnittstellen, über die Übertragungen erstellt werden können.
Google Cloud Console
Rufen Sie in der Google Cloud Console die Seite Storage Transfer Service auf.
Klicken Sie auf Übertragung erstellen. Die Seite Übertragungsjob erstellen wird angezeigt.
Wählen Sie als Quelle POSIX-Dateisystem aus.
Wählen Sie als Zieltyp Cloud Storage aus und klicken Sie auf Nächster Schritt.
Wählen Sie einen vorhandenen Agent-Pool aus oder wählen Sie Agent-Pool erstellen aus und folgen Sie der Anleitung zum Erstellen eines neuen Pools.
Geben Sie den vollständig qualifizierten Pfad des Dateisystemverzeichnisses an.
Klicken Sie auf Next step (Nächster Schritt).
Geben Sie im Feld Bucket oder Ordner den Ziel-Bucket und optional den Ordnernamen ein. Sie können auch auf Durchsuchen klicken, um einen Bucket aus einer Liste der vorhandenen Buckets im aktuellen Projekt auszuwählen. Klicken Sie zum Erstellen eines neuen Buckets auf
Neuen Bucket erstellen.
Klicken Sie auf Next step (Nächster Schritt).
Wählen Sie die gewünschten Optionen aus.
Klicken Sie auf Next step (Nächster Schritt).
Wählen Sie die Einstellungen für den Übertragungsjob aus.
Geben Sie im Feld Beschreibung eine Beschreibung der Übertragung ein. Es hat sich bewährt, eine aussagekräftige und eindeutige Beschreibung einzugeben, mit der sich Jobs voneinander unterscheiden lassen.
Verwenden Sie unter Metadatenoptionen die Standardoptionen oder aktualisieren Sie einen oder mehrere Werte. Weitere Informationen finden Sie unter Metadaten beibehalten.
Wählen Sie unter Wann überschreiben? eine der folgenden Optionen aus:
Nie: Der Storage Transfer Service überspringt die Übertragung aller Dateien aus der Quelle, die denselben Namen wie eine im Ziel vorhandene Datei haben.
Falls unterschiedlich: Überschreibt Zieldateien, wenn die Quelldatei mit demselben Namen unterschiedliche ETags oder Prüfsummenwerte hat.
Immer: Zieldateien werden immer geschrieben, wenn die Quelldatei denselben Namen hat, auch wenn sie identisch sind.
Wählen Sie unter Löschzeitpunkt eine der folgenden Optionen aus:
Nie: Dateien werden niemals aus der Quelle oder dem Ziel gelöscht.
Datei nach der Übertragung aus der Quelle löschen: Dateien werden aus der Quelle gelöscht, nachdem sie an das Ziel übertragen wurden.
Dateien aus dem Ziel löschen, wenn sie nicht auch in der Quelle sind: Wenn sich Dateien im Cloud Storage-Ziel-Bucket nicht auch in der Quelle befinden, löschen Sie die Dateien aus dem Cloud Storage-Bucket.
Mit dieser Option wird sichergestellt, dass der Cloud Storage-Ziel-Bucket genau mit Ihrer Quelle übereinstimmt.
Wählen Sie Logging in Cloud Storage aktivieren und/oder Logging in Cloud Logging aktivieren aus. Weitere Informationen finden Sie unter Übertragungslogs des Dateisystems und Cloud Logging für Storage Transfer Service.
Klicken Sie zum Erstellen des Übertragungsjobs auf Erstellen.
gcloud
Bevor Sie gcloud
-Befehle verwenden, installieren Sie die Google Cloud CLI.
Verwenden Sie zum Erstellen eines neuen Übertragungsjobs den Befehl gcloud transfer jobs create
. Das Erstellen eines neuen Jobs initiiert die angegebene Übertragung, sofern weder ein Zeitplan noch --do-not-run
angegeben ist.
gcloud transfer jobs create \ posix:///SOURCE \ gs://DESTINATION/ \ --source-agent-pool=SOURCE_POOL_NAME
Wobei:
SOURCE ist ein absoluter Pfad vom Stammverzeichnis des Dateisystems. Das Präfix
posix://
wird vorangestellt, sodass der endgültige Wert drei Schrägstriche enthält. Beispiel:posix:///tmp/data/
DESTINATION ist einer der Namen eines Cloud Storage-Bucket und optional ein Ordnerpfad, gefolgt von einem Schrägstrich. Beispiel:
gs://example-bucket/data/
--source-agent-pool
gibt den für diese Übertragung zu verwendenden Quell-Agent-Pool an.
Weitere Optionen:
--do-not-run
verhindert, dass Storage Transfer Service nach dem Senden des Befehls den Job ausführt. Aktualisieren Sie den Job, um einen Zeitplan hinzuzufügen, oder verwenden Siejobs run
, um ihn manuell zu starten.--manifest-file
gibt den Pfad zu einer CSV-Datei in Cloud Storage an, die eine Liste der Dateien enthält, die von Ihrer Quelle übertragen werden sollen. Informationen zur Formatierung von Manifestdateien finden Sie unter Bestimmte Dateien oder Objekte mithilfe eines Manifests übertragen.Jobinformationen: Sie können
--name
und--description
angeben.Zeitplan: Geben Sie
--schedule-starts
,--schedule-repeats-every
und--schedule-repeats-until
oder--do-not-run
an.Übertragungsoptionen: Bestimmen Sie, ob Zieldateien überschrieben werden sollen (
--overwrite-when=different
oderalways
) und ob bestimmte Dateien während oder nach der Übertragung gelöscht werden sollen (--delete-from=destination-if-unique
odersource-after-transfer
); welche Metadatenwerte beibehalten werden (--preserve-metadata
); und legen Sie optional eine Speicherklasse für übertragene Objekte fest (--custom-storage-class
).
Führen Sie gcloud transfer jobs create --help
aus oder sehen Sie sich die gcloud
-Referenzdokumentation an, um alle Optionen aufzurufen.
Beachten Sie, dass nicht alle Optionen für agent-basierte Übertragungen unterstützt werden. Nicht unterstützte Optionen enthalten im Hilfetext einen entsprechenden Hinweis.
REST
Das folgende Beispiel zeigt, wie Sie Storage Transfer Service über die REST API verwenden.
Wenn Sie Übertragungsjobs mit der Storage Transfer Service API konfigurieren oder bearbeiten, muss die Zeit in UTC angegeben werden. Weitere Informationen zum Angeben des Zeitplans für einen Übertragungsjob finden Sie unter Zeitplan.
Verwenden Sie transferJobs.create mit einem posixDataSource
, um Dateien aus einem POSIX-Dateisystem in einen Cloud Storage-Bucket zu verschieben:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "name":"transferJobs/sample_transfer", "description": "My First Transfer", "status": "ENABLED", "projectId": "my_transfer_project_id", "schedule": { "scheduleStartDate": { "year": 2022, "month": 5, "day": 2 }, "startTimeOfDay": { "hours": 22, "minutes": 30, "seconds": 0, "nanos": 0 } "scheduleEndDate": { "year": 2022, "month": 12, "day": 31 }, "repeatInterval": { "259200s" }, }, "transferSpec": { "posixDataSource": { "rootDirectory": "/bar/", }, "sourceAgentPoolName": "my_example_pool", "gcsDataSink": { "bucketName": "destination_bucket" "path": "foo/bar/" }, } }
Das Feld schedule
ist optional. Ist dies nicht der Fall, muss der Übertragungsjob mit einer transferJobs.run
-Anfrage gestartet werden.
Mit transferJobs.get
können Sie den Status Ihrer Übertragung nach dem Erstellen eines Jobs prüfen:
GET https://storagetransfer.googleapis.com/v1/transferJobs/sample_transfer?project_id=my_transfer_project_id
Clientbibliotheken
In den folgenden Beispielen wird gezeigt, wie Sie Storage Transfer Service programmatisch mit Go, Java, Node.js und Python verwenden.
Wenn Sie Übertragungsjobs programmatisch konfigurieren oder bearbeiten, muss die Zeit in UTC angegeben werden. Weitere Informationen zum Angeben des Zeitplans für einen Übertragungsjob finden Sie unter Zeitplan.
Weitere Informationen zu den Storage Transfer Service-Clientbibliotheken finden Sie unter Erste Schritte mit Storage Transfer Service-Clientbibliotheken.
So verschieben Sie Dateien aus einem POSIX-Dateisystem in einen Cloud Storage-Bucket: