Auf dieser Seite erfahren Sie, wie Sie Übertragungsjobs erstellen und starten.
Informationen, ob Ihre Quelle und Ihr Ziel (auch als Senke bezeichnet) von Storage Transfer Service unterstützt werden, finden Sie unter Unterstützte Quellen und Senken.
Agents und Agent-Pools
Je nach Quelle und Ziel müssen Sie möglicherweise einen Agent-Pool erstellen und konfigurieren und Agents auf einem Computer mit Zugriff auf Ihre Quelle oder Ziel installieren.
Für Übertragungen von Amazon S3, Microsoft Azure, URL-Listen oder Cloud Storage zu Cloud Storage sind Agents und Agent-Pools nicht erforderlich.
Für Übertragungen, deren Quelle und/oder Ziel ein Dateisystem oder ein S3-kompatibler Speicher ist, sind Agents und Agent-Pools erforderlich. Eine Anleitung finden Sie unter Agent-Pools verwalten.
Hinweise
Bevor Sie die Übertragungen konfigurieren, müssen Sie den Zugriff konfiguriert haben:
- Für Nutzer und Dienstkonten:
- Zu Ihren Quelldaten und zum Ziel.
Wenn Sie gcloud-Befehle verwenden, installieren Sie die gcloud CLI.
Übertragung erstellen
Der Name des Übertragungsjobs darf keine vertraulichen Informationen wie personenidentifizierbare Informationen oder Sicherheitsdaten enthalten. Ressourcennamen können an die Namen anderer Google Cloud-Ressourcen weitergegeben und für Google-interne Systeme außerhalb Ihres Projekts bereitgestellt werden.
Google Cloud Console
Rufen Sie in der Google Cloud Console die Seite Storage Transfer Service auf.
Klicken Sie auf Übertragung erstellen. Die Seite Übertragungsjob erstellen wird angezeigt.
Wählen Sie eine Quelle aus:
Cloud Storage
Ihr Nutzerkonto muss die Berechtigung storage.buckets.get haben, um Quell- und Ziel-Buckets auszuwählen. Alternativ können Sie den Namen des Buckets direkt eingeben. Weitere Informationen finden Sie unter Zugriff auf die Fehlerbehebung.
Wählen Sie unter Quelltyp die Option Cloud Storage aus.
Wählen Sie den Zieltyp aus.
Wenn Ihr Ziel Cloud Storage ist, wählen Sie den Planungsmodus aus. Batchübertragungen werden einmalig oder geplant ausgeführt. Bei ereignisgesteuerten Übertragungen wird die Quelle kontinuierlich überwacht und Daten übertragen, wenn sie hinzugefügt oder geändert werden.
Eine Anleitung zum Konfigurieren einer ereignisgesteuerten Übertragung finden Sie unter Ereignisgesteuerte Übertragungen.
Klicken Sie auf Next step (Nächster Schritt).
Wählen Sie einen Bucket und optional einen Ordner in diesem Bucket aus, indem Sie einen der folgenden Schritte ausführen:
Geben Sie im Feld Bucket oder Ordner einen vorhandenen Cloud Storage-Bucket-Namen und -Pfad ohne das Präfix
gs://ein. Beispiel:my-test-bucket/path/to/filesGeben Sie den Namen in der exakten Schreibweise in das Feld Bucket-Name ein, wenn Sie einen Cloud Storage-Bucket aus einem anderen Projekt festlegen möchten.Wählen Sie eine Liste der vorhandenen Buckets in Ihren Projekten aus. Klicken Sie dazu auf Durchsuchen und wählen Sie einen Bucket aus.
Wenn Sie auf Durchsuchen klicken, können Sie Buckets in anderen Projekten auswählen. Klicken Sie dazu auf Projekt-ID, dann wählen Sie die neue Projekt-ID und den Bucket aus.
Zum Erstellen eines neuen Buckets klicken Sie auf
Neuen Bucket erstellen.
Für eine ereignisgesteuerte Übertragung geben Sie den Namen des Pub/Sub-Abos im folgenden Format ein:
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
- Optional können Sie Objekte nach Präfix oder nach dem Datum der letzten Änderung filtern. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, beziehen sich Präfixfilter auf diesen Ordner. Wenn die Quelle beispielsweise
my-test-bucket/path/ist, umfasst der Einschließen-Filterfilealle Dateien, die mitmy-test-bucket/path/filebeginnen. Klicken Sie auf Next step (Nächster Schritt).
Amazon S3
Wählen Sie unter Quelltyp die Option Amazon S3 aus.
Wählen Sie als Zieltyp die Option Google Cloud Storage aus.
Wählen Sie den Planungsmodus aus. Batchübertragungen werden einmalig oder geplant ausgeführt. Bei ereignisgesteuerten Übertragungen wird die Quelle kontinuierlich überwacht und Daten übertragen, wenn sie hinzugefügt oder geändert werden.
Eine Anleitung zum Konfigurieren einer ereignisgesteuerten Übertragung finden Sie unter Ereignisgesteuerte Übertragungen.
Klicken Sie auf Next step (Nächster Schritt).
Geben Sie im Feld Bucket- oder Ordnername den Namen des Quell-Buckets ein.
Der Bucket-Name ist der Name, der in der AWS Management Console angezeigt wird.
Wenn Sie eine CloudFront-Distribution für die Übertragung von S3 verwenden, geben Sie den Namen der Distributionsdomain in das Feld CloudFront-Domain ein. Beispiel:
https://dy1h2n3l4ob56.cloudfront.net. Informationen zum Konfigurieren einer CloudFront-Distribution finden Sie unter Übertragung von S3 über CloudFront.Wählen Sie Ihre AWS-Authentifizierungsmethode (Amazon Web Services) aus. Sie können einen AWS-Zugriffsschlüssel oder einen Amazon-Ressourcennamen (ARN) für die Identitätsföderation angeben:
Zugriffsschlüssel: Geben Sie Ihren Zugriffsschlüssel in das Feld Zugriffsschlüssel-ID und das Secret, das Ihrem Zugriffsschlüssel zu geordnet ist, im Feld Secret-Zugriffsschlüssel ein.
ARN: Geben Sie Ihren ARN in das Feld ARN der AWS-IAM-Rolle mit der folgenden Syntax ein:
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
Wobei:
ACCOUNT: Die AWS-Konto-ID ohne Bindestriche.ROLE-NAME-WITH-PATH: Der Name der AWS-Rolle, einschließlich des Pfads.
Weitere Informationen zu ARNs finden Sie unter IAM-ARNs.
Bei einer ereignisgesteuerten Übertragung geben Sie den ARN der Amazon SQS-Warteschlange ein. Dieser hat das folgende Format:
arn:aws:sqs:us-east-1:1234567890:event-queue
- Optional können Sie Objekte nach Präfix oder nach dem Datum der letzten Änderung filtern. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, beziehen sich Präfixfilter auf diesen Ordner. Wenn die Quelle beispielsweise
my-test-bucket/path/ist, umfasst der Einschließen-Filterfilealle Dateien, die mitmy-test-bucket/path/filebeginnen. Klicken Sie auf Next step (Nächster Schritt).
S3-kompatibler Speicher
Wählen Sie unter Quelltyp die Option S3-kompatibler Objektspeicher aus.
Klicken Sie auf Next step (Nächster Schritt).
Geben Sie die erforderlichen Informationen für diese Übertragung an:
Wählen Sie den Agent-Pool aus, den Sie für diese Übertragung konfiguriert haben.
Geben Sie den Bucket-Namen relativ zum Endpunkt ein. Ihre Daten befinden sich beispielsweise unter:
https://us-east-1.example.com/folder1/bucket_aEingeben:
folder1/bucket_aGeben Sie den Endpunkt ein. Lassen Sie dabei das Protokoll (
http://oderhttps://) weg. Im Beispiel aus dem vorherigen Schritt geben Sie Folgendes ein:us-east-1.example.com
Geben Sie optionale Attribute für diese Übertragung an:
Geben Sie die Signaturregion für das Signieren von Anfragen ein. Lassen Sie dieses Feld leer, wenn Ihre Quelle keine Signaturregion benötigt.
Wählen Sie den Signaturprozess für diese Anfrage aus.
Wählen Sie den Adressierungsstil aus. Dadurch wird bestimmt, ob der Bucket-Name im Pfadstil angegeben wird (z. B.
https://s3.region.example.com/bucket-name/key-name) oder im virtuellen gehosteten Stil (z. B.https://bucket-name.s3.region.example.com/key-name). Weitere Informationen finden Sie in der Amazon-Dokumentation unter [Virtuelles Hosting von Buckets].Wählen Sie das Netzwerkprotokoll aus.
Wählen Sie die zu verwendende API-Eintragsversion aus. Weitere Informationen finden Sie in der Dokumentation zu ListObjectsV2 und ListObjects.
Klicken Sie auf Next step (Nächster Schritt).
Microsoft Azure Blob Storage
Wählen Sie unter Quelltyp die Option Azure Blob Storage oder Data Lake Storage Gen2 aus.
Klicken Sie auf Next step (Nächster Schritt).
Geben Sie Folgendes an:
Storage-Kontoname: der Name des Microsoft Azure Storage-Quellkontos.
Der Name des Storage-Kontos wird im Microsoft Azure Storage-Portal unter Alle Dienste > Speicher > Speicherkonten angezeigt.
Containername: der Name des Microsoft Azure Storage-Containers.
Der Containername wird im Microsoft Azure Storage-Portal unter Speicher Explorer > Blob-Container angezeigt.
Shared Access Signature (SAS): Das Microsoft Azure Storage-SAS-Token, das aus einer gespeicherten Zugriffsrichtlinie erstellt wurde. Weitere Informationen finden Sie unter Gewähren von eingeschränktem Zugriff auf Azure Storage-Ressourcen mithilfe von SAS (Shared Access Signature).
Die Standardablaufzeit für SAS-Tokens beträgt 8 Stunden. Achten Sie bei der Erstellung des SAS-Tokens darauf, eine angemessene Ablaufzeit festzulegen, damit Sie die Übertragung erfolgreich abschließen können.
- Optional können Sie Objekte nach Präfix oder nach dem Datum der letzten Änderung filtern. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, beziehen sich Präfixfilter auf diesen Ordner. Wenn die Quelle beispielsweise
my-test-bucket/path/ist, umfasst der Einschließen-Filterfilealle Dateien, die mitmy-test-bucket/path/filebeginnen. Klicken Sie auf Next step (Nächster Schritt).
Dateisystem
Wählen Sie unter Quelltyp die Option POSIX-Dateisystem aus.
Wählen Sie Ihren Zieltyp aus und klicken Sie auf Nächster Schritt.
Wählen Sie einen vorhandenen Agent-Pool aus oder wählen Sie Agent-Pool erstellen aus und folgen Sie der Anleitung zum Erstellen eines neuen Pools.
Geben Sie den vollständig qualifizierten Pfad des Dateisystemverzeichnisses an.
Klicken Sie auf Next step (Nächster Schritt).
HDFS
Weitere Informationen finden Sie unter Von HDFS zu Cloud Storage übertragen.
URL-Liste
Wählen Sie unter Quelltyp die Option URL-Liste aus und klicken Sie auf Nächster Schritt.
Geben Sie unter URL der TSV-Datei die URL zu einer TSV-Datei (tabulatorgetrennte Werte) ein. Details zum Erstellen der TSV-Datei finden Sie unter URL-Liste erstellen.
- Optional können Sie Objekte nach Präfix oder nach dem Datum der letzten Änderung filtern. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, beziehen sich Präfixfilter auf diesen Ordner. Wenn die Quelle beispielsweise
my-test-bucket/path/ist, umfasst der Einschließen-Filterfilealle Dateien, die mitmy-test-bucket/path/filebeginnen. Klicken Sie auf Next step (Nächster Schritt).
Ziel auswählen:
Cloud Storage
Geben Sie im Feld Bucket oder Ordner den Ziel-Bucket und optional den Ordnernamen ein. Sie können auch auf Durchsuchen klicken, um einen Bucket aus einer Liste der vorhandenen Buckets im aktuellen Projekt auszuwählen. Klicken Sie zum Erstellen eines neuen Buckets auf
Neuen Bucket erstellen.Klicken Sie auf Next step (Nächster Schritt).
Wählen Sie die Einstellungen für den Übertragungsjob aus. Einige Optionen sind nur für bestimmte Kombinationen aus Quelle und Senke verfügbar.
Geben Sie im Feld Beschreibung eine Beschreibung der Übertragung ein. Geben Sie als Best Practice eine aussagekräftige Beschreibung ein, damit Sie die Jobs unterscheiden können.
Wählen Sie unter Metadatenoptionen die Standardoptionen aus oder klicken Sie auf Optionen auswählen und auswählen, um Werte für alle unterstützten Metadaten anzugeben. Weitere Informationen finden Sie unter Metadatenaufbewahrung.
Wählen Sie unter Wann überschreiben? eine der folgenden Optionen aus:
Falls unterschiedlich: Überschreibt Zieldateien, wenn die Quelldatei mit demselben Namen unterschiedliche ETags oder Prüfsummenwerte hat.
Immer: Zieldateien werden immer geschrieben, wenn die Quelldatei denselben Namen hat, auch wenn sie identisch sind.
Wählen Sie unter Löschzeitpunkt eine der folgenden Optionen aus:
Nie: Dateien werden niemals aus der Quelle oder dem Ziel gelöscht.
Datei nach der Übertragung aus der Quelle löschen: Dateien werden aus der Quelle gelöscht, nachdem sie an das Ziel übertragen wurden.
Dateien aus dem Ziel löschen, wenn sie nicht auch in der Quelle sind: Wenn sich Dateien im Cloud Storage-Ziel-Bucket nicht auch in der Quelle befinden, löschen Sie die Dateien aus dem Cloud Storage-Bucket.
Mit dieser Option wird sichergestellt, dass der Cloud Storage-Ziel-Bucket genau mit Ihrer Quelle übereinstimmt.
Wählen Sie unter Benachrichtigungsoptionen Ihr Pub/Sub-Thema und die Ereignisse aus, die Sie benachrichtigen möchten. Weitere Informationen finden Sie unter Pub/Sub-Benachrichtigungen.
Klicken Sie auf Next step (Nächster Schritt).
Dateisystem
Wählen Sie einen vorhandenen Agent-Pool oder Agent-Pool erstellen aus und folgen Sie der Anleitung zum Erstellen eines neuen Pools.
Geben Sie den vollständig qualifizierten Zielverzeichnispfad an.
Klicken Sie auf Next step (Nächster Schritt).
Wählen Sie die gewünschten Zeitplanoptionen aus:
Wählen Sie in der Drop-down-Liste Einmal ausführen eine der folgenden Optionen aus:
Einmal ausführen: Führt eine einzelne Übertragung aus, beginnend zu einem von Ihnen ausgewählten Zeitpunkt.
Täglich ausführen: Führt jeden Tag eine Übertragung zu einem von Ihnen ausgewählten Zeitpunkt aus.
Sie können ein optionales Enddatum eingeben oder das Enddatum leer lassen, um die Übertragung kontinuierlich auszuführen.
Jede Woche ausführen: Die Übertragung wird wöchentlich zu einem von Ihnen festgelegten Zeitpunkt ausgeführt.
Mit benutzerdefinierter Frequenz ausführen: Führt eine Übertragung mit der von Ihnen ausgewählten Häufigkeit wird aus. Sie können die Übertragung in regelmäßigen Abständen gemessen in Stunden, Tagen oder Wochen wiederholen.
Sie können ein optionales Enddatum eingeben oder das Enddatum leer lassen, um die Übertragung kontinuierlich auszuführen.
Wählen Sie in der Drop-down-Liste Jetzt starten eine der folgenden Optionen aus:
Jetzt starten: Damit wird die Übertragung gestartet, nachdem Sie auf Erstellen geklickt haben.
Ab dem: Die Übertragung wird an dem ausgewählten Datum und zur ausgewählten Uhrzeit gestartet. Klicken Sie auf Kalender, um einen Kalender aufzurufen und das Startdatum auszuwählen.
Klicken Sie zum Erstellen des Übertragungsjobs auf Erstellen.
gcloud-CLI
Verwenden Sie zum Erstellen eines neuen Übertragungsjobs den Befehl gcloud transfer jobs create. Das Erstellen eines neuen Jobs initiiert die angegebene Übertragung, sofern weder ein Zeitplan noch --do-not-run angegeben ist.
gcloud transfer jobs create \
SOURCE DESTINATION
Wobei:
SOURCE ist die Datenquelle für diese Übertragung. Das Format für jede Quelle lautet:
- Cloud Storage:
gs://BUCKET_NAME. Geben Sie für die Übertragung aus einem bestimmten Ordnergs://BUCKET_NAME/FOLDER_PATH/an, einschließlich des abschließenden Schrägstrichs. - Amazon S3:
s3://BUCKET_NAME/FOLDER_PATH - S3-kompatibler Speicher:
s3://BUCKET_NAME. Der Bucket-Name bezieht sich auf den Endpunkt. Wenn sich Ihre Daten beispielsweise beihttps://us-east-1.example.com/folder1/bucket_abefinden, geben Sies3://folder1/bucket_aein. - Microsoft Azure Storage:
https://myaccount.blob.core.windows.net/CONTAINER_NAME - URL-Liste:
https://PATH_TO_URL_LISToderhttp://PATH_TO_URL_LIST - POSIX-Dateisystem:
posix:///PATHDies muss ein absoluter Pfad vom Stammverzeichnis des Agent-Hostcomputers sein. - HDFS:
hdfs:///PATH
- Cloud Storage:
Der DESTINATION ist einer der folgenden:
- Cloud Storage:
gs://BUCKET_NAME. Geben Sie zum Übertragen in ein bestimmtes Verzeichnisgs://BUCKET_NAME/FOLDER_PATH/an, einschließlich des abschließenden Schrägstrichs. - POSIX-Dateisystem:
posix:///PATHDies muss ein absoluter Pfad vom Stammverzeichnis des Agent-Hostcomputers sein.
- Cloud Storage:
Wenn für die Übertragung Übertragungs-Agents erforderlich sind, sind die folgenden Optionen verfügbar:
--source-agent-poolgibt den für diese Übertragung zu verwendenden Quell-Agent-Pool an. Erforderlich für Übertragungen, die von einem Dateisystem stammen.--destination-agent-poolgibt den Ziel-Agent-Pool an, der für diese Übertragung verwendet werden soll. Erforderlich für Übertragungen an ein Dateisystem.--intermediate-storage-pathist der Pfad zu einem Cloud Storage-Bucket im Formatgs://my-intermediary-bucket. Erforderlich für Übertragungen zwischen zwei Dateisystemen. Weitere Informationen zum Zwischen-Bucket finden Sie unter Cloud Storage-Bucket als zwischengelagerten Bucket erstellen.
Weitere Optionen:
--source-creds-filegibt den relativen Pfad zu einer lokalen Datei auf Ihrem Rechner an, die AWS- oder Azure-Anmeldedaten für die Übertragungsquelle enthält. Informationen zur Formatierung von Anmeldedatendateien finden Sie in der Referenz zu TransferSpec.--do-not-runverhindert, dass Storage Transfer Service nach dem Senden des Befehls den Job ausführt. Zum Ausführen des Jobs aktualisieren Sie ihn, um einen Zeitplan hinzuzufügen, oder verwendenjobs run, um ihn manuell zu starten.--manifest-filegibt den Pfad zu einer CSV-Datei in Cloud Storage an, die eine Liste der Dateien enthält, die von Ihrer Quelle übertragen werden sollen. Informationen zur Formatierung von Manifestdateien finden Sie unter Bestimmte Dateien oder Objekte mithilfe eines Manifests übertragen.Jobinformationen: Sie können
--name,--descriptionund--source-creds-fileangeben.Zeitplan: Geben Sie
--schedule-starts,--schedule-repeats-everyund--schedule-repeats-untiloder--do-not-runan.Objektbedingungen: Mit Bedingungen können Sie bestimmen, welche Objekte übertragen werden. Dazu gehören
--include-prefixesund--exclude-prefixessowie die zeitbasierten Bedingungen in--include-modified-[before | after]-[absolute | relative]. Wenn Sie einen Ordner mit der Quelle angegeben haben, beziehen sich die Präfixfilter auf diesen Ordner. Weitere Informationen finden Sie unter Quellobjekte nach Präfix filtern.Objektbedingungen werden für Übertragungen mit Dateisystemen nicht unterstützt.
Übertragungsoptionen: Bestimmen Sie, ob Zieldateien überschrieben werden sollen (
--overwrite-when=differentoderalways) und ob bestimmte Dateien während oder nach der Übertragung gelöscht werden sollen (--delete-from=destination-if-uniqueodersource-after-transfer); welche Metadatenwerte beibehalten werden (--preserve-metadata); und legen Sie optional eine Speicherklasse für übertragene Objekte fest (--custom-storage-class).Benachrichtigungen: Konfigurieren Sie Pub/Sub-Benachrichtigungen für Übertragungen mit
--notification-pubsub-topic,--notification-event-typesund--notification-payload-format.Cloud Logging: Aktivieren Sie Cloud Logging für agentenlose Übertragungen oder Übertragungen aus S3-kompatiblen Quellen mit
--log-actionsund--log-action-states. Weitere Informationen finden Sie unter Cloud Logging für Storage Transfer Service.
Für Übertragungen aus S3-kompatiblen Quellen werden auch die folgenden Optionen verwendet:
--source-endpoint(erforderlich): Gibt den Endpunkt Ihres Speichersystems an. Beispiel:s3.example.com. Erkundigen Sie sich bei Ihrem Anbieter nach der korrekten Formatierung. Geben Sie nicht das Protokoll an (http://oderhttps://).--source-signing-regiongibt eine Region für Signieranfragen an. Lassen Sie dieses Flag weg, wenn Ihr Speicheranbieter keine Signaturregion benötigt.--source-auth-methodgibt die zu verwendende Authentifizierungsmethode an. Gültige Werte sindAWS_SIGNATURE_V2oderAWS_SIGNATURE_V4. Weitere Informationen finden Sie in der Dokumentation zu SigV4 und SigV2 von Amazon.--source-request-modelgibt den zu verwendenden Adressierungsstil an. Gültige Werte sindPATH_STYLEoderVIRTUAL_HOSTED_STYLE. Der Pfadstil hat das Formathttps://s3.example.com/BUCKET_NAME/KEY_NAME. Für den Stil „Virtuell gehostet“ wird das Format „https://BUCKET_NAME.s3.beispiel.de/KEY_NAME“ verwendet.--source-network-protocolgibt das Netzwerkprotokoll an, das Agents für diesen Job verwenden sollen. Gültige Werte sindHTTPundHTTPS.--source-list-apigibt die Version der S3 Listing API für die Rückgabe von Objekten aus dem Bucket an. Gültige Werte sindLIST_OBJECTSoderLIST_OBJECTS_V2. Weitere Informationen finden Sie in der Amazon-Dokumentation zu ListObjectsV2 und ListObjects.
Führen Sie gcloud transfer jobs create --help aus oder sehen Sie sich die gcloud-Referenzdokumentation an, um alle Optionen aufzurufen.
Beispiele
Amazon S3 für Cloud Storage
Führen Sie den folgenden Befehl aus, um einen täglichen Übertragungsjob zu erstellen, um am letzten Tag geänderte Daten von s3://my-s3-bucket in einen Cloud Storage-Bucket mit dem Namen my-storage-bucket zu verschieben:
gcloud transfer jobs create \
s3://my-s3-bucket gs://my-storage-bucket \
--source-creds-file=/examplefolder/creds.txt \
--include-modified-after-relative=1d \
--schedule-repeats-every=1d
S3-kompatibler Speicher zu Cloud Storage
So übertragen Sie von einer S3-kompatiblen Quelle in einen Cloud Storage-Bucket:
gcloud transfer jobs create s3://my-s3-compat-bucket gs://my-storage-bucket \
--source-agent-pool=my-source-agent-pool
--source-endpoint=us-east-1.example.com/ \
--source-auth-method=AWS_SIGNATURE_V2 \
--source-request-model=PATH_STYLE \
--source-network-protocol=HTTPS \
--source-list-api=LIST_OBJECTS_V2
Dateisystem in Cloud Storage
Geben Sie Folgendes an, um von einem Dateisystem in einen Cloud Storage-Bucket zu übertragen:
gcloud transfer jobs create \
posix:///tmp/source gs://my-storage-bucket \
--source-agent-pool=my-source-agent-pool
Cloud Storage zum Dateisystem
Geben Sie Folgendes an, um von einem Cloud Storage-Bucket in ein Dateisystem zu übertragen:
gcloud transfer jobs create \
gs://my-storage-bucket posix:///tmp/destination \
--destination-agent-pool=my-destination-agent-pool
Dateisystem zum Dateisystem
Für die Übertragung zwischen zwei Dateisystemen müssen Sie einen Quell-Agent-Pool, einen Ziel-Agent-Pool und einen Cloud Storage-Zwischen-Bucket angeben, über den die Daten übertragen werden.
Weitere Informationen zum Zwischen-Bucket finden Sie unter Cloud Storage-Bucket als Vermittler erstellen.
Geben Sie dann beim Aufrufen von transfer jobs create die folgenden drei Ressourcen an:
gcloud transfer jobs create \
posix:///tmp/source/on/systemA posix:///tmp/destination/on/systemB \
--source-agent-pool=source_agent_pool \
--destination-agent-pool=destination_agent_pool \
--intermediate-storage-path=gs://my-intermediary-bucket
REST
Die folgenden Beispiele zeigen, wie Sie Storage Transfer Service über die REST API verwenden.
Wenn Sie Übertragungsjobs mit der Storage Transfer Service API konfigurieren oder bearbeiten, muss die Zeit in UTC angegeben werden. Weitere Informationen zum Angeben des Zeitplans für einen Übertragungsjob finden Sie unter Zeitplan.
Übertragung zwischen Cloud Storage-Buckets
In diesem Beispiel erfahren Sie, wie Sie Dateien von einem Cloud Storage-Bucket in einen anderen verschieben. Sie können beispielsweise Daten in einen Bucket an einem anderen Speicherort bewegen.
Anfrage mit transferJobs create:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
Lösung:
200 OK
{
"transferJob": [
{
"creationTime": "2015-01-01T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2015-01-01T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME",
},
"gcsDataSink": {
"bucketName": "GCS_NEARLINE_SINK_NAME"
},
"objectConditions": {
"minTimeElapsedSinceLastModification": "2592000.000s"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
]
}
Übertragung von Amazon S3 zu Cloud Storage
In diesem Beispiel erfahren Sie, wie Sie Dateien von Amazon S3 in einen Cloud Storage-Bucket verschieben. Informieren Sie sich unbedingt unter Zugriff auf Amazon S3 konfigurieren und unter Preise über die Auswirkungen einer Datenverschiebung von Amazon S3 zu Cloud Storage.
Geben Sie beim Erstellen von Übertragungsjobs nicht das Präfix s3:// für bucketName in Amazon S3-Bucket-Quellnamen an.
Anfrage mit transferJobs create:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"scheduleEndDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME",
"awsAccessKey": {
"accessKeyId": "AWS_ACCESS_KEY_ID",
"secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
}
}
}
Lösung:
200 OK
{
"transferJob": [
{
"creationTime": "2015-01-01T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2015-01-01T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"scheduleEndDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME"
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
},
"objectConditions": {},
"transferOptions": {}
}
}
]
}
Wenn Sie Daten von S3 über eine CloudFront-Distribution übertragen, geben Sie den Domainnamen der Distribution als Wert des Felds transferSpec.awsS3DataSource.cloudfrontDomain an:
"transferSpec": {
"awsS3DataSource": {
"bucketName": "AWS_SOURCE_NAME",
"cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
"awsAccessKey": {
"accessKeyId": "AWS_ACCESS_KEY_ID",
"secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}
},
...
}
Übertragung zwischen Microsoft Azure Blob Storage und Cloud Storage
In diesem Beispiel erfahren Sie, wie Sie Dateien von Microsoft Azure Storage in ein Cloud Storage-Bucket verschieben und dabei ein Microsoft Azure Storage Shared Access Signature-Token (SAS) verwenden.
Weitere Informationen zu Microsoft Azure Storage SAS finden Sie unter Zugriff auf Azure Storage-Ressourcen mit SAS (Shared Access Signature) gewähren.
Lesen Sie zuerst die Abschnitte Zugriff auf Microsoft Azure Storage konfigurieren und Preise, um sich über die Auswirkungen einer Datenverschiebung von Microsoft Azure Storage zu Cloud Storage zu informieren.
Anfrage mit transferJobs create:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 14,
"month": 2,
"year": 2020
},
"scheduleEndDate": {
"day": 14
"month": 2,
"year": 2020
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_SOURCE_NAME",
"azureCredentials": {
"sasToken": "AZURE_SAS_TOKEN",
},
"container": "AZURE_CONTAINER",
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME"
}
}
}
Antwort:
200 OK
{
"transferJob": [
{
"creationTime": "2020-02-14T01:01:00.000000000Z",
"description": "YOUR DESCRIPTION",
"name": "transferJobs/JOB_ID",
"status": "ENABLED",
"lastModificationTime": "2020-02-14T01:01:00.000000000Z",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 14
"month": 2,
"year": 2020
},
"scheduleEndDate": {
"day": 14,
"month": 2,
"year": 2020
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_SOURCE_NAME",
"azureCredentials": {
"sasToken": "AZURE_SAS_TOKEN",
},
"container": "AZURE_CONTAINER",
},
"objectConditions": {},
"transferOptions": {}
}
}
]
}
Übertragung aus einem Dateisystem
In diesem Beispiel erfahren Sie, wie Sie Dateien aus einem POSIX-Dateisystem in einen Cloud Storage-Bucket verschieben.
Verwenden Sie transferJobs.create mit einem posixDataSource:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"name":"transferJobs/sample_transfer",
"description": "My First Transfer",
"status": "ENABLED",
"projectId": "my_transfer_project_id",
"schedule": {
"scheduleStartDate": {
"year": 2022,
"month": 5,
"day": 2
},
"startTimeOfDay": {
"hours": 22,
"minutes": 30,
"seconds": 0,
"nanos": 0
}
"scheduleEndDate": {
"year": 2022,
"month": 12,
"day": 31
},
"repeatInterval": {
"259200s"
},
},
"transferSpec": {
"posixDataSource": {
"rootDirectory": "/bar/",
},
"sourceAgentPoolName": "my_example_pool",
"gcsDataSink": {
"bucketName": "destination_bucket"
"path": "foo/bar/"
},
}
}
Das Feld schedule ist optional. Ist dies nicht der Fall, muss der Übertragungsjob mit einer transferJobs.run-Anfrage gestartet werden.
Mit transferJobs.get können Sie den Status Ihrer Übertragung nach dem Erstellen eines Jobs prüfen:
GET https://storagetransfer.googleapis.com/v1/transferJobs/sample_transfer?project_id=my_transfer_project_id
Quell- und Zielpfade angeben
Mit Quell- und Zielpfaden können Sie Quell- und Zielverzeichnisse angeben, wenn Sie Daten in Ihren Cloud Storage-Bucket übertragen. Beispiel: Sie haben die Dateien file1.txt und file2.txt und einen Cloud Storage-Bucket namens B. Wenn Sie einen Zielpfad mit dem Namen my-stuff festlegen, befinden sich Ihre Dateien nach der Übertragung in gs://B/my-stuff/file1.txt und gs://B/my-stuff/file2.txt.
Quellpfad angeben
Zum Festlegen eines Quellpfads beim Erstellen eines Übertragungsjobs fügen Sie dem Feld gcsDataSource in der Spezifikation TransferSpec das Feld path hinzu:
{
gcsDataSource: {
bucketName: "SOURCE_BUCKET",
path: "SOURCE_PATH/",
},
}
In diesem Beispiel:
- SOURCE_BUCKET: Der Cloud Storage-Quell-Bucket.
- SOURCE_PATH: Der Cloud Storage-Quellpfad.
Zielpfad angeben
Zum Festlegen eines Zielordners beim Erstellen eines Übertragungsjobs fügen Sie dem Feld gcsDataSink in der Spezifikation TransferSpec das Feld path hinzu:
{
gcsDataSink: {
bucketName: "DESTINATION_BUCKET",
path: "DESTINATION_PATH/",
},
}
In diesem Beispiel:
- DESTINATION_BUCKET: Cloud Storage-Ziel-Bucket
- DESTINATION_PATH: Der Cloud Storage-Zielpfad.
Beispiel für eine vollständige Anfrage
Das folgende Beispiel zeigt eine vollständige Anfrage:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "YOUR DESCRIPTION",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"schedule": {
"scheduleStartDate": {
"day": 1,
"month": 1,
"year": 2015
},
"startTimeOfDay": {
"hours": 1,
"minutes": 1
}
},
"transferSpec": {
"gcsDataSource": {
"bucketName": "GCS_SOURCE_NAME",
"path": "GCS_SOURCE_PATH",
},
"gcsDataSink": {
"bucketName": "GCS_SINK_NAME",
"path": "GCS_SINK_PATH",
},
"objectConditions": {
"minTimeElapsedSinceLastModification": "2592000s"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": true
}
}
}
Clientbibliotheken
In den folgenden Beispielen wird gezeigt, wie Sie Storage Transfer Service programmatisch mit Go, Java, Node.js und Python verwenden.
Wenn Sie Übertragungsjobs programmatisch konfigurieren oder bearbeiten, muss die Zeit in UTC angegeben werden. Weitere Informationen zum Angeben des Zeitplans für einen Übertragungsjob finden Sie unter Zeitplan.
Weitere Informationen zu den Storage Transfer Service-Clientbibliotheken finden Sie unter Erste Schritte mit Storage Transfer Service-Clientbibliotheken.
Übertragung zwischen Cloud Storage-Buckets
In diesem Beispiel erfahren Sie, wie Sie Dateien von einem Cloud Storage-Bucket in einen anderen verschieben. Sie können beispielsweise Daten in einen Bucket an einem anderen Speicherort bewegen.
Einfach loslegen (Go)
Java
Sie suchen nach älteren Beispielen? Weitere Informationen finden Sie im Migration Transfer Service-Migrationsleitfaden.
Node.js
Python
Sie suchen nach älteren Beispielen? Weitere Informationen finden Sie im Migration Transfer Service-Migrationsleitfaden.
Übertragung von Amazon S3 zu Cloud Storage
In diesem Beispiel erfahren Sie, wie Sie Dateien von Amazon S3 in einen Cloud Storage-Bucket verschieben. Informieren Sie sich unbedingt unter Zugriff auf Amazon S3 konfigurieren und unter Preise über die Auswirkungen einer Datenverschiebung von Amazon S3 zu Cloud Storage.
Geben Sie beim Erstellen von Übertragungsjobs nicht das Präfix s3:// für bucketName in Amazon S3-Bucket-Quellnamen an.
Einfach loslegen (Go)
Java
Sie suchen nach älteren Beispielen? Weitere Informationen finden Sie im Migration Transfer Service-Migrationsleitfaden.
Node.js
Python
Sie suchen nach älteren Beispielen? Weitere Informationen finden Sie im Migration Transfer Service-Migrationsleitfaden.
Übertragung zwischen Microsoft Azure Blob Storage und Cloud Storage
In diesem Beispiel erfahren Sie, wie Sie Dateien von Microsoft Azure Storage in ein Cloud Storage-Bucket verschieben und dabei ein Microsoft Azure Storage Shared Access Signature-Token (SAS) verwenden.
Weitere Informationen zu Microsoft Azure Storage SAS finden Sie unter Zugriff auf Azure Storage-Ressourcen mit SAS (Shared Access Signature) gewähren.
Lesen Sie zuerst die Abschnitte Zugriff auf Microsoft Azure Storage konfigurieren und Preise, um sich über die Auswirkungen einer Datenverschiebung von Microsoft Azure Storage zu Cloud Storage zu informieren.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Storage Transfer Service Go API.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Storage Transfer Service zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Storage Transfer Service Java API.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Storage Transfer Service zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Storage Transfer Service Node.js API.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Storage Transfer Service zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der Referenzdokumentation zur Storage Transfer Service Python API.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Storage Transfer Service zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Übertragung aus einem Dateisystem
In diesem Beispiel erfahren Sie, wie Sie Dateien aus einem POSIX-Dateisystem in einen Cloud Storage-Bucket verschieben.