Anforderungen an Dateisystemübertragungen

Bevor Sie einen Dateisystem-Übertragungsjob erstellen können, müssen Sie die erforderlichen APIs aktivieren und Docker installieren.

Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.

Systemanforderungen

Für die Verwendung des Storage Transfer Service für Dateisystemübertragungen benötigen Sie:

Die Anforderungen an die Maschine des Übertragungs-Agents sind unten aufgeführt:

  • Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten. Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

    Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.

  • Mindestens 8 GB Arbeitsspeicher pro Container und mindestens vier CPUs sind am effektivsten.

  • Alle Einschränkungen auf System- oder Nutzerebene für die Anzahl der zulässigen Prozess-IDs, z. B. die mit ulimit -u konfiguriert wurden, müssen die Anzahl der Agents berücksichtigen, die Sie ausführen möchten. Jeder Agent-Prozess kann Hunderte von Threads erstellen. Wir empfehlen, die Prozess-ID-Limits beim Ausführen von Transfer-Agents zu entfernen.

    Kunden, die Podman zum Erstellen von Agent-Containern verwenden, sollten einen --pids-limit-Wert angeben, der hoch genug ist, um die Threads des Storage Transfer Service-Agents aufzunehmen. Der Standardwert von --pids-limit ist 2048. Das kann zu Problemen führen, wenn Sie mehr als einen Agent ausführen. Wir empfehlen, --pids-limit=-1 festzulegen, um eine unbegrenzte Anzahl von Prozess-IDs pro Container zuzulassen.

Skalierungseinschränkungen für Jobs und Agents

Für den Storage Transfer Service gelten die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:

  • Weniger als eine Milliarde Dateien pro Job
  • Die Bandbreitenobergrenze muss über 1 Mbit/s liegen
  • Bis zu 100 Agents pro Agent-Pool
  • Bis zu 800 Agent-Pools pro Projekt

APIs aktivieren

  1. Enable the Google Storage Transfer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

Docker installieren

Wenn Sie die Google Cloud CLI oder Docker zum Installieren und Ausführen von Übertragungs-Agents verwenden, installieren Sie die Docker Engine auf einem physischen oder virtuellen Linux-Computer.

Wenn Sie Podman zum Installieren und Ausführen von Übertragungs-Agents verwenden, überspringen Sie die folgenden Abschnitte und lesen Sie direkt die Podman-spezifische Installationsanleitung. 

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

Wenn ein Installationsfehler auftritt, finden Sie weitere Informationen unter Fehlerbehebung.

Docker-Authentifizierung zulassen

Damit sich der Docker-Container mit Ihren gcloud-Standardanmeldedaten authentifizieren kann, erstellen Sie ein Docker-Volume mit einer Datei, die die Standardanmeldedaten für Ihre Anwendung enthält. Führen Sie dazu folgenden Befehl aus:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Nächste Schritte