Überblick

Auf dieser Seite wird der Storage Transfer Service beschrieben.

Weitere Google Cloud-Übertragungsoptionen sind:

Was ist der Storage Transfer Service?

Storage Transfer Service ist ein Produkt, mit dem Sie Folgendes tun können:

  • Sie können Daten entweder von anderen Cloud Storage-Anbietern oder von Ihrem lokalen Speicher in einen Cloud Storage-Bucket verschieben oder sichern.

  • Daten aus einem Cloud Storage-Bucket in einen anderen verschieben, damit sie für verschiedene Nutzer- oder Anwendungsgruppen verfügbar sind

  • Daten regelmäßig im Rahmen einer Datenverarbeitungspipeline oder eines analytischen Workflows verschieben.

Der Storage Transfer Service bietet Optionen, die Datenübertragungen sowie die Synchronisierung vereinfachen. Beispiele:

  • Einmalige oder wiederkehrende Übertragungsvorgänge planen

  • Vorhandene Objekte werden im Ziel-Bucket gelöscht, wenn es kein entsprechendes Objekt in der Quelle gibt.

  • Datenquellenobjekte nach der Übertragung löschen.

  • Planen Sie die regelmäßige Synchronisierung von einer Datenquelle zu einer Datensenke mit erweiterten Filtern basierend auf dem Datum der Dateierstellung, den Dateinamen und den Tageszeiten, an denen Sie Daten importieren möchten.

Der Storage Transfer Service führt standardmäßig folgende Schritte durch:

  • Storage Transfer Service kopiert eine Datei aus der Datenquelle, wenn diese in der Datensenke nicht vorhanden ist oder wenn sich die Version in der Quelle von der Senke unterscheidet.

  • Behält die Dateien nach der Übertragung in der Quelle bei.

  • Verwendet die TLS-Verschlüsselung für HTTPS-Verbindungen. Die einzige Ausnahme bildet die Angabe einer HTTP-URL für eine URL-Liste-Übertragung.

Berechtigungen und Rollenanforderungen für den Storage Transfer Service

Storage Transfer Service steuert und verwaltet den Zugriff über die Identitäts- und Zugriffsverwaltung. Weitere Informationen zu IAM finden Sie in der IAM-Übersicht.

Wenn Sie den Storage Transfer Service verwenden möchten, benötigen Sie je nach Art der ausgeführten Aufgaben mindestens eine der folgenden IAM-Rollen:

Zugriffsart IAM-Rollen
Vollzugriff Storage Transfer-Administrator
Senden von Übertragungen Storage Transfer-Nutzer
Übertragungsjobs und -vorgänge anzeigen oder auflisten Storage Transfer Viewer

Das Projekt, mit dem Sie einen Übertragungsjob erstellen, muss nicht mit den Buckets verknüpft sein, die als Datenquelle oder Datensenke dienen. Es sind jedoch zusätzliche Berechtigungen erforderlich, um Datenquellen zu konfigurieren und Datensenken zu verwenden.

Weitere Informationen zu Rollen und Berechtigungen des Storage Transfer Service finden Sie unter Zugriff auf Datenquellen und -senken konfigurieren.

Verfügbare Oberflächen

Es gibt verschiedene Möglichkeiten, mit dem Storage Transfer Service zu arbeiten:

  • Verwenden Sie die Google Cloud Console, um Übertragungsjobs zu erstellen und zu verwalten. Dies ist häufig die einfachste und schnellste Möglichkeit, den Storage Transfer Service zu verwenden. Weitere Informationen finden Sie unter Übertragungen mit der Konsole erstellen und verwalten.

  • Verwenden Sie REST APIs, um direkt mit der Storage Transfer Service API zu arbeiten. Weitere Informationen zum Aktivieren der API und zum Abrufen von Authentifizierungstokens zur Verwendung Ihrer Anfragen finden Sie unter Storage Transfer Service-Client erstellen.

Datenintegrität

Storage Transfer Service verwendet Metadaten aus dem Quellspeichersystem, z. B. Prüfsummen und Dateigrößen, um dafür zu sorgen, dass in Cloud Storage geschriebene Daten dieselben Daten aus der Quelle lesen.

Wenn Prüfsummenmetadaten verfügbar sind

Wenn die Prüfsummenmetadaten im Quellspeichersystem darauf hinweisen, dass der empfangene Storage Transfer Service nicht mit den Quelldaten übereinstimmt, zeichnet der Storage Transfer Service einen Fehler für den Übertragungsvorgang auf. Beispiele für Speichersysteme, die Prüfsummenmetadaten enthalten, sind die meisten Amazon Simple Storage Service (Amazon S3) und Microsoft Azure Blob Storage-Objekte (mit einigen Ausnahmen) sowie HTTP-Übertragungen (Prüfsummen-Metadaten werden vom Nutzer bereitgestellt).

Wenn Prüfsummenmetadaten nicht verfügbar sind, aber Agents in der Nähe der Quelle ausgeführt werden können

Wenn im zugrunde liegenden Quellspeichersystem keine Prüfsummenmetadaten verfügbar sind, aber Agents lokal in der Nähe des Quellspeichersystems ausgeführt werden können, versucht der Storage Transfer Service, die Quelldaten zu lesen und eine Prüfsumme zu berechnen, bevor die Daten an Cloud Storage gesendet werden. Dies tritt beim Übertragungsdienst für lokale Daten auf, wenn Daten aus Dateisystemen in Cloud Storage verschoben werden.

Wenn keine Prüfsummenmetadaten verfügbar sind und Agents nicht in der Nähe der Quelle ausgeführt werden können

Wenn für das zugrunde liegende Quellspeichersystem keine Prüfsummenmetadaten verfügbar sind und Agents nicht lokal im Quellspeichersystem ausgeführt werden können, kann der Storage Transfer Service erst dann eine Prüfsumme berechnen, wenn die Daten im Cloud Storage ankommen. In diesem Szenario kopiert der Storage Transfer Service die Daten, kann jedoch keine End-to-End-Datenintegritätsprüfungen vornehmen, um zu prüfen, ob die empfangenen Daten mit den Quelldaten übereinstimmen. Stattdessen versucht Storage Transfer Service, anhand von verfügbaren Metadaten wie der Dateigröße zu prüfen, ob die in Cloud Storage kopierte Datei mit der Quelldatei übereinstimmt.

Der Storage Transfer Service verwendet beispielsweise Dateigrößen zum Validieren von Daten für:

Nach der Übertragung

Wenn die Übertragung abgeschlossen ist, sollten Sie zusätzliche Datenintegritätsprüfungen zur Validierung durchführen:

  • Für Dateien, die sich in der Quelle ändern, wird die richtige Version der Dateien kopiert.
  • Der korrekte Satz und die Anzahl der Dateien werden kopiert, um zu prüfen, ob Sie die Übertragungsjobs richtig eingerichtet haben.
  • Die Dateien wurden korrekt kopiert, indem die Metadaten der Dateien überprüft wurden, z. B. Dateiprüfungssummen, Dateigröße usw.

gsutil oder Storage Transfer Service?

Auch mit dem Befehlszeilentool gsutil können Sie Daten zwischen Cloud Storage und anderen Speicherorten übertragen. Sie können Daten mit gsutil zwar von einem anderen Cloud Storage-Anbieter zu Cloud Storage übertragen, dafür wird aber Storage Transfer Service empfohlen.

Halten Sie sich bei der Wahl zwischen gsutil und dem Storage Transfer Service an die folgenden Faustregeln:

Übertragungsszenario Empfehlung
Übertragung von einem anderen Cloud Storage-Anbieter Storage Transfer Service verwenden
Weniger als 1 TB von lokaler Umgebung übertragen gsutil-Tool verwenden
mehr als 1 TB von einer lokalen Umgebung übertragen Übertragungsdienst für lokale Daten verwenden

Nutzen Sie diese Anleitung als Ausgangspunkt. Anhand der konkreten Details Ihres Übertragungsszenarios können Sie ermitteln, welches Tool geeigneter ist.

Service Level Agreement

Der Storage Transfer Service bietet derzeit kein Service Level Agreement (SLA) und es können einige Leistungsschwankungen auftreten. Es werden beispielsweise keine SLAs für die Übertragungsleistung oder -latenz bereitgestellt.