Bekannte Einschränkungen

Auf dieser Seite werden bekannte Einschränkungen von Cloud Storage und der lokalen Datenübertragung dokumentiert.

Allgemeine Einschränkungen

Maximale Objektgröße von Cloud Storage mit 5 TB

Cloud Storage unterstützt einzelne Objekte einer Größe von bis zu 5 Terabyte. Bei Objekten, die größer als 5 TB sind, schlägt die Objektübertragung entweder für Cloud Storage oder für lokale Datenübertragungen fehl.

Anforderungen für die Benennung von Cloud Storage-Objekten

Cloud Storage erzwingt Anforderungen für Objektnamen, die für alle Übertragungen von Storage Transfer Service gelten.

Geänderte Objekte werden nicht übertragen

Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, schlägt die Übertragung dieses Objekts mit dem Storage Transfer Service fehl.

So beheben Sie den Fehler:

  1. Wiederholen Sie die Übertragung.
  2. Sollte die Übertragung des Objekts weiterhin fehlschlagen, achten Sie darauf, dass die Daten während der Übertragung nicht aktualisiert werden können:

  3. Nachdem die Übertragung abgeschlossen wurde, können Sie die Aktualisierungen des Objekts wieder aktivieren.

Bekannte Einschränkungen bei lokalen Datenübertragungen

Keine API

Lokale Datenübertragungen sind nur über die Google Cloud Console zugänglich. Wir bieten derzeit keine API-Schnittstelle für Jobs mit lokaler Datenübertragung an.

Keine Echtzeitunterstützung

Die lokale Datenübertragung erfasst keine Änderungen innerhalb eines Zeitintervalls von weniger als einer Stunde. Der Dienst für lokale Datenübertragungen ist ein Batch-Datenverschiebungsdienst, der die Quelle maximal einmal stündlich scannen kann.

Unterstützte Betriebssystemkonfigurationen

Für die Agents der lokalen Datenübertragung muss Docker installiert sein. Sie müssen auf Linux-Servern oder virtuellen Maschinen (VMs) ausgeführt werden. Wenn Sie Daten auf ein CIFS- oder SMB-Dateisystem kopieren möchten, können Sie das Volume auf einem Linux-Server oder einer VM bereitstellen und dann den Agent vom Linux-Server oder der VM aus ausführen.

Speicheranforderungen

Speicheranforderungen für Agents des lokalen Datenübertragungsdienstes:
  • Mindestspeicher: 1 GiB
  • Mindestspeicher für Hochleistungs-Uploads: 6 GiB

Skalierungseinschränkungen

Lokale Datenübertragungsdienste unterstützen einzelne Übertragungen innerhalb folgender Grenzwerte:

  • Volumen von mehreren Hundert Terabyte
  • Bis zu 1 Milliarde Dateien
  • Mit einer Übertragungsgeschwindigkeit von mehreren 10 Gbit/s

Einzelne Übertragungen, die diese Größen überschreiten, sind zuverlässig, wurden jedoch nicht auf Leistung getestet.

Wenn Sie ein Dataset übertragen möchten, das diese Grenzwerte überschreitet, empfehlen wir, die Daten auf mehrere Übertragungsjobs aufzuteilen.

Wir unterstützen derzeit große Verzeichnisse, sofern jeder Agent mindestens 1 GB Arbeitsspeicher pro Million Dateien im größten Verzeichnis zur Verfügung hat, sodass wir über die Verzeichnisinhalte iterieren können, ohne die Speicherkapazität zu überschreiten.

Wir unterstützen bis zu 100 Agents pro Übertragungsprojekt. In typischen lokalen Umgebungen ist es unwahrscheinlich, dass Sie mehr Agents benötigen, um eine bessere Leistung zu erzielen.

Ein Verzeichnis pro Job

Wir unterstützen nur die Übertragung des gesamten Inhalts eines Dateisystemverzeichnisses (rekursiv). Sie können die Übertragung partitionieren. Erstellen Sie dazu mehrere Jobs, mit denen unterschiedliche Unterverzeichnisse Ihres Datasets übertragen werden. Das Gruppieren oder Filtern von Dateien innerhalb eines Jobs wird derzeit jedoch nicht unterstützt.

Weitere Informationen zur Unterscheidung zwischen dem Dienst zur lokalen Datenübertragung und Cloud Storage finden Sie unter Unterschiede zwischen Cloud Storage-Übertragungsoptionen.

Einheitlicher Dateisystemzugriff für Agents

Die lokale Datenübertragung setzt voraus, dass alle ausgeführten Agents die gleichen Berechtigungen zum Lesen von Daten aus dem Quelldateisystem haben und dass der Zugriff auf alle Jobs innerhalb eines Google Cloud-Projekts dem auf das Quelldateisystem entspricht.

Wenn Sie Agents über mehrere Rechenzentren ausführen, für deren Quellverzeichnisse andere Berechtigungen festgelegt sind, müssen Sie die Jobs und Agents auf verschiedene Google Cloud-Projekte aufteilen. In diesem Fall kommuniziert jeder Job über ein anderes Pub/Sub-Thema und -Abo mit den jeweiligen Agents.

Unterstützte Dateinamen

Wir gehen davon aus, dass Dateinamen Unicode-kompatibel sind und keine Zeilenumbrüche enthalten. Wenn Ihr Quellverzeichnis Dateinamen mit Zeilenumbrüchen enthält, schlägt die Aufgabe zum Erstellen der Dateiliste für dieses Verzeichnis fehl.

Ersetzen Sie in diesem Fall alle Zeilenumbrüche in den Dateinamen und führen Sie den Job noch einmal aus.

Unterstützte Dateitypen

Der Dienst zur lokalen Datenübertragung unterstützt die Übertragung regulärer Dateien. Wenn der Dienst zur lokalen Datenübertragung eine nicht reguläre Datei erkennt, wie ein Gerät, eine Named Pipe oder einen Socket, wird der Fehler UNSUPPORTED_FILE_MODE ausgelöst.

In Cloud Storage werden keine leeren Verzeichnisse erstellt, da sich Objekte in einem Bucket nicht innerhalb von Unterverzeichnissen befinden. Weitere Informationen finden Sie unter Überlegungen zu Objektnamen.

Maximale Pfadlänge

Der Dienst zur lokalen Datenübertragung folgt der maximalen Pfadlänge von Cloud Storage von 1.024 Byte. Das Objektpräfix für das Zielobjekt ist in der Längenbeschränkung enthalten, da das Präfix in den Namen des Objekts in Cloud Storage aufgenommen wird.

Unterstützte Dateimetadaten

Der Dienst zur lokalen Datenübertragung extrahiert die Uhrzeit der letzten Änderung (mtime) aus der Quelldatei und kopiert diese in das entsprechende Cloud Storage-Zielobjekt. Andere Dateimetadaten bleiben bei der Übertragung nicht erhalten.

Lange pausierte Jobs

Jobs, die länger als 30 Tage pausiert sind, gelten als inaktiv. Wenn ein Job inaktiv ist, wird der pausierte Job abgebrochen und der Zeitplan für die Jobkonfiguration deaktiviert. Neue Jobausführungen werden erst gestartet, wenn Sie den Job explizit wieder aktivieren.

Quellsicherheit