Bevor Sie einen Dateisystemübertragungsjob erstellen können, müssen Sie die erforderlichen APIs aktivieren und Docker installieren.
Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.
Systemanforderungen
Für die Verwendung des Storage Transfer Service für Dateisystemübertragungen benötigen Sie Folgendes:
Eine POSIX-konforme Quelle und/oder ein POSIX-konformes Ziel.
Ein Cloud Storage-Bucket ohne Aufbewahrungsrichtlinie. Informationen zum Übertragen in einen Bucket mit einer Aufbewahrungsrichtlinie finden Sie unter In einen Bucket mit Aufbewahrungsrichtlinie übertragen.
TCP-Ports 80 (HTTP) und 443 (HTTPS) sind für ausgehende Verbindungen offen.
Die Anforderungen an die Übertragungs-Agent-Maschine sind unten aufgeführt:
Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten. Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.
Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.
Mindestens 8 GB Arbeitsspeicher pro Container und mindestens vier CPUs sind am effektivsten.
Alle Einschränkungen auf System- oder Nutzerebene für die Anzahl der zulässigen Prozess-IDs, z. B. mit
ulimit -u
konfiguriert, müssen die Anzahl der geplanten Agents berücksichtigen. Jeder Agent-Prozess kann bis zu mehrere hundert Threads erstellen. Wir empfehlen, die Prozess-ID-Limits zu entfernen, wenn Sie Transfer-Agents ausführen.Kunden, die Podman zum Erstellen von Agentencontainern verwenden, sollten einen
--pids-limit
-Wert angeben, der hoch genug ist, um die Storage Transfer Service-Agententhreads aufzunehmen. Der Standardwert für--pids-limit
ist 2048. Dies kann zu Problemen führen, wenn mehrere Kundenservicemitarbeiter ausgeführt werden. Wir empfehlen,--pids-limit=-1
so festzulegen, dass unbegrenzt viele Prozess-IDs pro Container zulässig sind.
Skalierungseinschränkungen für Jobs und Agents
Für den Storage Transfer Service gelten die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:
- Weniger als eine Milliarde Dateien pro Job
- Die Bandbreitenobergrenze muss über 1 Mbit/s liegen
- Bis zu 100 Kundenservicemitarbeiter pro Agent-Pool
- Bis zu 800 Agent-Pools pro Projekt
APIs aktivieren
-
Enable the Google Storage Transfer API.
Docker installieren
Wenn Sie die Google Cloud CLI oder Docker zum Installieren und Ausführen von Übertragungsagenten verwenden, installieren Sie die Docker Engine auf einem physischen oder virtuellen Linux-Rechner.
Wenn Sie Podman zum Installieren und Ausführen von Übertragungsagenten verwenden, fahren Sie direkt mit der Podman-spezifischen Installationsanleitung fort.
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker
Wenn ein Installationsfehler auftritt, finden Sie weitere Informationen unter Fehlerbehebung.
Docker-Authentifizierung zulassen
Damit der Docker-Container sich mit Ihren gcloud
-Standardanmeldedaten authentifizieren kann, erstellen Sie ein Docker-Volume mit einer Datei, die die Standardanmeldedaten für Anwendungen enthält. Führen Sie dazu folgenden Befehl aus:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Nächste Schritte
- Google Cloud-Berechtigungen konfigurieren
- Agent-Pool erstellen
- Übertragungs-Agents installieren
- Übertragungsjob erstellen
- Leistung des Übertragungs-Agents maximieren