Anforderungen für die Übertragung von Dateisystemen

Bevor Sie einen Übertragungsjob für das Dateisystem erstellen, müssen Sie die erforderlichen APIs aktivieren und Docker installieren.

Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.

Systemanforderungen

Wenn Sie den Storage Transfer Service für Dateisystemübertragungen verwenden möchten, benötigen Sie Folgendes:

Eine POSIX-konforme Quelle und/oder ein Ziel.
Ein Cloud Storage-Bucket ohne Aufbewahrungsrichtlinie. Informationen zum Übertragen an einen Bucket mit einer Aufbewahrungsrichtlinie finden Sie unter In einen Bucket mit einer Aufbewahrungsrichtlinie übertragen.
TCP-Ports 80 (HTTP) und 443 (HTTPS) sind für ausgehende Verbindungen offen.

Die Anforderungen für den Transfer Agent-Computer sind unten aufgeführt:

Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten. Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.
Mindestens 8 GB Arbeitsspeicher pro Container und mindestens vier CPUs sind am effektivsten.
Alle Einschränkungen auf System- oder Nutzerebene für die Anzahl der zulässigen Prozess-IDs, die beispielsweise mit ulimit -u konfiguriert sind, müssen die Anzahl der Agents berücksichtigen, die Sie ausführen möchten. Jeder Agent-Prozess kann bis zu viele Hundert Threads erstellen. Wir empfehlen, beim Ausführen von Übertragungs-Agents Prozess-ID-Limits zu entfernen.

Kunden, die Podman zum Erstellen von Agent-Containern verwenden, sollten einen --pids-limit-Wert angeben, der hoch genug ist, um Storage Transfer Service-Agent-Threads aufzunehmen. Der Standardwert für --pids-limit ist 2048, was zu Problemen führen kann, wenn mehr als ein Agent ausgeführt wird. Wir empfehlen, --pids-limit=-1 so festzulegen, dass eine unbegrenzte Prozess-ID pro Container zulässig ist.

Skalierungseinschränkungen für Jobs und Agents

Für Storage Transfer Service gelten die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:

Weniger als eine Milliarde Dateien pro Job
Die Bandbreitenobergrenze muss über 1 Mbit/s liegen
Bis zu 100 Agents pro Agent-Pool
Bis zu 800 Agent-Pools pro Projekt

APIs aktivieren

Google Storage Transfer API aktivieren.
Aktivieren Sie die API

Docker installieren

Installieren Sie die Docker Community Edition auf einer physischen oder virtuellen Linux-Maschine:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Wenn ein Installationsfehler auftritt, finden Sie weitere Informationen unter Fehlerbehebung.

Authentifizierung von Docker zulassen

Damit sich der Docker-Container mit Ihren gcloud-Standardanmeldedaten authentifizieren kann, erstellen Sie mit dem folgenden Befehl ein Docker-Volume, das eine Datei mit den Standardanmeldedaten Ihrer Anwendung enthält:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login