Anforderungen für Dateisystemübertragungen

Bevor Sie einen Dateisystem-Übertragungsjob erstellen, müssen Sie die erforderlichen APIs aktivieren und Docker installieren.

Wenn beim Ausführen der Ersteinrichtung Fehler auftreten, prüfen Sie, ob die Nutzerdaten, mit denen Sie sich angemeldet haben, die erforderlichen Berechtigungen zum Ausführen der Schritte haben. Manchmal sind diese Berechtigungen nicht für alle Nutzer verfügbar. In diesem Fall müssen Sie sich möglicherweise an einen Projektadministrator wenden.

Systemanforderungen

Wenn Sie den Storage Transfer Service für Dateisystemübertragungen verwenden möchten, benötigen Sie Folgendes:

Die Computeranforderungen des Übertragungs-Agents sind unten aufgeführt:

  • Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten. Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

    Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.

  • Mindestens 8 GB Arbeitsspeicher pro Container und mindestens vier CPUs sind am effektivsten.

  • Bei allen Beschränkungen auf System- oder Nutzerebene, die für die Anzahl der zulässigen Prozess-IDs gelten (z. B. bei ulimit -u), muss die Anzahl der Agents berücksichtigt werden, die Sie ausführen möchten. Jeder Agent-Prozess kann bis zu viele Hundert Threads erstellen. Wir empfehlen, Prozess-ID-Limits zu entfernen, wenn Übertragungs-Agents ausgeführt werden.

    Kunden, die mit Podman Agent-Container erstellen, sollten einen --pids-limit-Wert angeben, der hoch genug ist, um Storage Transfer Service-Agent-Threads unterzubringen. Der Standardwert von --pids-limit ist 2048. Dies kann zu Problemen führen, wenn mehr als ein Agent ausgeführt wird. Wir empfehlen, --pids-limit=-1 festzulegen, um unbegrenzte Prozess-IDs pro Container zuzulassen.

Skalierungseinschränkungen für Jobs und Agents

Storage Transfer Service hat die folgenden Skalierungsbeschränkungen für Übertragungsjobs und Agents:

  • Weniger als eine Milliarde Dateien pro Job
  • Bis zu 100 Agents pro Agent-Pool
  • Die Bandbreitenobergrenze muss über 1 Mbit/s liegen

Außerdem ist die Anzahl der Agents und Agent-Pools pro Projekt durch die Anzahl der von ihnen genutzten Pub/Sub-Abos begrenzt:

  • Jedes Projekt unterstützt bis zu 10.000 Abos.
  • Für einen Agent-Pool sind 20 Abos erforderlich.
  • Für jeden Agent wird ein Abo benötigt.

Für einen Agent-Pool mit 100 Agents sind beispielsweise 120 Abos erforderlich. Somit können in einem Projekt 83 Agent-Pools mit 100 Agents unterstützt werden (10,000 / 120 = 83.3).

APIs aktivieren

  1. Google Storage Transfer API aktivieren.

    Aktivieren Sie die API

  2. Pub/Sub API aktivieren.

    Aktivieren Sie die API

Docker installieren

Installieren Sie die Docker Community Edition auf einer physischen oder virtuellen Linux-Maschine:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Wenn ein Installationsfehler auftritt, finden Sie weitere Informationen unter Fehlerbehebung.

Docker die Authentifizierung erlauben

Damit sich der Docker-Container mit Ihren Standardanmeldedaten für gcloud authentifizieren kann, erstellen Sie ein Docker-Volume, das eine Datei mit den Standardanmeldedaten Ihrer Anwendung enthält. Führen Sie dazu den folgenden Befehl aus:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Nächste Schritte