Bekannte Einschränkungen

Auf dieser Seite werden die bekannten Einschränkungen von Cloud Storage und Storage Transfer Service beschrieben.

Allgemeine Einschränkungen

Maximale Objektgröße von Cloud Storage mit 5 TB

Cloud Storage unterstützt einzelne Objekte einer Größe von bis zu 5 Terabyte. Bei Objekten, die größer als 5 TB sind, schlägt die Objektübertragung für Cloud Storage oder Storage Transfer Service fehl.

Anforderungen für die Benennung von Cloud Storage-Objekten

Cloud Storage erzwingt Anforderungen für Objektnamen, die für alle Übertragungen von Storage Transfer Service gelten.

Geänderte Objekte werden nicht übertragen

Storage Transfer Service sperrt die Quelldateien während einer Übertragung nicht.

Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, gilt Folgendes:

  • Übertragungen von Nicht-Google-Clouds zu Google Cloud: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, schlägt die Übertragung fehl und Storage Transfer Service kann dieses bestimmte Objekt nicht übertragen.

  • Übertragungen von Dateisystemen zu Google Cloud: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, versucht Storage Transfer Service, die Daten noch einmal hochzuladen. Wenn der Upload mehrmals fehlschlägt, protokolliert Storage Transfer Service einen FILE_MODIFIED_FAILURE. Weitere Informationen finden Sie unter Fehlerbehebung.

  • Übertragungen von Google Cloud in ein Dateisystem: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, versucht Storage Transfer Service, den Download noch einmal zu starten. Wenn der Download mehrmals fehlschlägt, protokolliert Storage Transfer Service einen PRECONDITION_FAILURE. Weitere Informationen finden Sie unter Fehlerbehebung.

So beheben Sie den Fehler:

  1. Wiederholen Sie die Übertragung.

  2. Sollte die Übertragung des Objekts weiterhin fehlschlagen, achten Sie darauf, dass die Daten während der Übertragung nicht aktualisiert werden können:

  3. Nachdem die Übertragung abgeschlossen wurde, können Sie die Aktualisierungen des Objekts wieder aktivieren.

Ordner in Cloud Storage

Cloud Storage-Objekte befinden sich in einem flachen Namespace innerhalb eines Buckets. Weitere Informationen finden Sie unter Objekt-Namespace. Aus diesem Grund erstellt der Storage Transfer Service keine hierarchischen Namespaces in Cloud Storage. Wenn Sie beispielsweise von Azure Data Lake Storage (ADLS) Gen 2 übertragen, erstellt der Storage Transfer Service die ADLS Gen 2-Namespaces nicht in Cloud Storage.

Objekte in Versionsverwaltungssperren von Amazon S3-Buckets löschen

Wenn Sie die Storage Transfer Service-Funktion zum Löschen von Objekten auf der Quelle in einem versionsgesperrten Amazon S3-Bucket nutzen, entfernt der Storage Transfer Service das Objekt mit einer Null-Versions-ID, nicht jedoch die aktuelle Version.

Standort von Storage Transfer Service-Jobs

Storage Transfer Service wählt seinen Standort anhand der Region des Cloud Storage-Quell-Buckets aus. Ab heute erstellen wir Storage Transfer Service-Jobs an den unten aufgeführten Standorten. Diese Liste kann sich ändern, wenn Storage Transfer Service neue Regionen unterstützt.

  • ASIA-EAST1
  • ASIA-EAST2
  • ASIEN-NORTHEAST1
  • ASIEN-NORTHEAST2
  • ASIEN-NORTHEAST3
  • ASIEN-SOUTH1
  • ASIEN-SOUTH2
  • ASIA-SOUTHEAST1
  • ASIEN-SOUTHEAST2
  • AUSTRALIEN-SOUTHEAST2
  • EUROPE-WEST1
  • EUR-WEST2
  • EUR-WEST3
  • EUROPE-WEST4
  • EUR-WEST9
  • EUROPE-NORTH1
  • EUR-SOUTHWEST1
  • NORTHAMERIKA-NORTHEAST1
  • NORTHAMERIKA-NORTHEAST2
  • US-CENTRAL1
  • US-CENTRAL2
  • US-EAST1
  • US-EAST4
  • US-WEST1
  • US-WEST2
  • US-WEST3
  • US-WEST4
  • NAM4

Befindet sich der Cloud Storage-Quell-Bucket in einer anderen Region als den oben genannten, wird die Standardregion innerhalb der äußeren Region ausgewählt.

Bekannte Einschränkungen von Dateisystemübertragungen

Keine Echtzeitunterstützung

Storage Transfer Service unterstützt keine stündliche Änderungserkennung. Storage Transfer Service ist ein Dienst zur Batchdatenverschiebung, der die Quelle mit einer Häufigkeit von bis zu einer Stunde scannen kann.

Unterstützte Betriebssystemkonfigurationen

Für die Übertragung von Agents muss Docker installiert sein und auf Linux-Servern oder virtuellen Maschinen (VMs) ausgeführt werden. Wenn Sie Daten auf ein CIFS- oder SMB-Dateisystem kopieren möchten, können Sie das Volume auf einem Linux-Server oder einer VM bereitstellen und dann den Agent vom Linux-Server oder der VM aus ausführen.

Speicheranforderungen

Im Folgenden finden Sie die Speicheranforderungen für Transfer Service for On Premises Data-Agents:
  • Mindestspeicher: 1 GiB
  • Mindestspeicher für Hochleistungs-Uploads: 6 GiB

Skalierungseinschränkungen

Der Storage Transfer Service unterstützt einzelne Übertragungen innerhalb folgender Grenzwerte:

  • Volumen von mehreren Hundert Terabyte
  • Bis zu 1 Milliarde Dateien
  • Mit einer Übertragungsgeschwindigkeit von mehreren 10 Gbit/s

Einzelne Übertragungen, die diese Größen überschreiten, sind zuverlässig, wurden jedoch nicht auf Leistung getestet.

Wenn Sie ein Dataset übertragen möchten, das diese Grenzwerte überschreitet, empfehlen wir, die Daten auf mehrere Übertragungsjobs aufzuteilen.

Wir unterstützen derzeit große Verzeichnisse, sofern jeder Agent mindestens 1 GB Arbeitsspeicher pro Million Dateien im größten Verzeichnis zur Verfügung hat, sodass wir über die Verzeichnisinhalte iterieren können, ohne die Speicherkapazität zu überschreiten.

Wir unterstützen bis zu 100 Agents pro Agent-Pool. Es ist unwahrscheinlich, dass Sie mehr Agents benötigen, um in typischen Umgebungen eine bessere Leistung zu erzielen.

Ein Verzeichnis pro Job

Wir unterstützen nur die Übertragung des gesamten Inhalts eines Dateisystemverzeichnisses (rekursiv). Sie können die Übertragung partitionieren. Erstellen Sie dazu mehrere Jobs, mit denen unterschiedliche Unterverzeichnisse Ihres Datasets übertragen werden. Das Gruppieren oder Filtern von Dateien innerhalb eines Jobs wird derzeit jedoch nicht unterstützt.

Unterstützte Dateinamen

Die folgenden Regeln gelten für alle Dateinamen, die Teil einer Übertragung sind:

  • Dateinamen müssen in UTF8-Codierung vorliegen.
  • Dateinamen müssen unicode-kompatibel sein.
  • Sie dürfen keine Zeilenumbrüche (\n) und Zeilenumbrüche (\r) enthalten.

Wenn Ihr Quellverzeichnis nicht unterstützte Dateinamen enthält, schlägt die Aufgabe für die Dateiliste für dieses Verzeichnis fehl.

Aktualisieren Sie in diesem Fall alle nicht unterstützten Dateinamen und führen Sie den Job noch einmal aus.

Unterstützte Dateitypen

Storage Transfer Service unterstützt die Übertragung regulärer Dateien und versteckter Unix-ähnlicher Dateien. Versteckte Unix-Dateien sind Dateien, die mit einem .-Zeichen beginnen. Wenn Storage Transfer Service auf eine nicht reguläre Datei stößt, z. B. ein Gerät, eine benannte Pipeline oder einen Socket, wird der Fehler UNSUPPORTED_FILE_MODE ausgelöst.

In Cloud Storage werden keine leeren Verzeichnisse erstellt, da sich Objekte in einem Bucket nicht innerhalb von Unterverzeichnissen befinden. Weitere Informationen finden Sie unter Objekt-Namespace.

Maximale Pfadlänge

Storage Transfer Service folgt der maximalen Pfadlänge von Cloud Storage von 1.024 Byte. Das Objektpräfix für das Zielobjekt ist in der Längenbeschränkung enthalten, da das Präfix in den Namen des Objekts in Cloud Storage aufgenommen wird.

Unterstützte Dateimetadaten

Unter Erhalt von Metadaten finden Sie weitere Informationen dazu, welche Metadaten standardmäßig oder optional beibehalten werden.

Lange pausierte Jobs

Jobs, die länger als 30 Tage pausiert sind, gelten als inaktiv. Wenn ein Job inaktiv ist, wird der pausierte Job abgebrochen und der Zeitplan für die Jobkonfiguration deaktiviert. Neue Jobausführungen starten erst, wenn Sie den Job explizit wieder aktivieren.

Sicherheit der Dateisystemquelle

Agent-Zugriff

Nutzer, die Übertragungsjobs erstellen können, können Daten aus jedem Dateisystemverzeichnis, das für den Agent zugänglich ist, abrufen und Daten in dieses Verzeichnis herunterladen. Wenn Agents als Root ausgeführt werden und Zugriff auf das gesamte Dateisystem erhalten, könnte ein böswilliger Akteur den Host übernehmen. Es wird dringend empfohlen, den Agent-Zugriff auf erforderliche Verzeichnisse zu beschränken.

Pub/Sub-Nutzerzugriff

Nutzer mit Zugriff auf Pub/Sub in einem Projekt, das Storage Transfer Service-Agent-Pools enthält, können potenziell mit Übertragungs-Agents kommunizieren, unabhängig von den Agent-Berechtigungen. Aus diesem Grund empfehlen wir, Storage Transfer Service in Projekten mit angemessenem Umfang auszuführen und den Nutzerzugriff auf Pub/Sub in Übertragungsprojekten zu beschränken.