Best Practices für Agents

Auf dieser Seite werden die Best Practices für Transfer Service for On Premises Data-Agents beschrieben.

Best Practices für die Leistung

Die folgenden Best Practices sorgen für eine gute Übertragungsleistung:

  • Maximieren Sie die Leistung Ihres Übertragungs-Agents.

  • Vergleichen Sie die Leistung durch Übertragen eines großen Datenkorpus von mindestens 100 GB.

    Transfer Service for On Premises Data ist ein umfangreicher, durchsatzoptimierter Dienst. Daher ist die Leistung sehr kleiner Test-Datasets nicht bezeichnend für die Leistung großer Datenmengen in der Produktion.

  • Führen Sie Agents auf separaten virtuellen Maschinen (VMs) aus, damit Sie den Ressourcenverbrauch effizienter skalieren können

  • Prüfen Sie, ob die Netzwerkschnittstelle auf den Agent-Computern für die benötigte Bandbreite von Lese-/Schreibvorgängen ausgelegt ist.

    Wenn Sie beispielsweise ein WAN (Wide Area Network) mit 20 Gbit/s verwenden möchten, muss die Netzwerkschnittstelle der Agent-Maschine 20 Gbit/s zum Lesen von Daten aus Ihrem Netzwerksystem und weitere 20 Gbit/s unterstützen, um Daten an Cloud Storage zu übertragen, oder 40 Gbit/s Gesamtbandbreite.

  • Überwachen Sie die CPU, den Arbeitsspeicher und das Netzwerk auf Agent-Maschinen, um zu vermeiden, dass die Rechner von anderen Arbeitslasten überlastet werden, da dies negative Auswirkungen auf die Leistung haben kann. Wir erwarten, dass Agent-Maschinen mit mindestens 8 GB Arbeitsspeicher und mindestens vier CPUs am effektivsten sind.

Best Practices für die Einrichtung

In diesem Abschnitt werden die folgenden Best Practices für die Einrichtung von Agents beschrieben:

Leistung des Übertragungs-Agents maximieren

Die Übertragungsleistung wird von folgenden Variablen beeinflusst:

  • Dateisystemfunktionen.

  • Zugrunde liegende Hardware-Einschränkungen.

    Der Medientyp der Festplatte, der Eingabe-/Ausgabebus und die LAN-Verbindung (Local Area Network) beeinflussen alle die Leistung.

  • WAN-Durchsatz und -Auslastung

    Ein langsameres oder stark ausgelastetes WAN beeinträchtigt die Leistung.

  • Dateieigenschaften.

    Beispielsweise haben viele große Dateien einen höheren Netzwerkdurchsatz als viele kleine Dateien aufgrund des Netzwerk-Overheads.

Aufgrund dieser Variablen können wir die tatsächliche Leistung nicht vorhersagen oder eine optimale Anzahl zu verwendender Agents nennen.

Sie sollten mindestens drei Agents auf verschiedenen Computern verwenden, damit Ihre Übertragung fehlertolerant bleibt. Sie können Übertragungs-Agents während der Ausführung von Übertragungen hinzufügen, wenn die Leistung dynamisch steigt.

Gehen Sie so vor, um die Auswirkungen des Hinzufügens von Agents zu beobachten und die für Ihre Umgebung geeignete Anzahl von Agents auszuwählen:

  1. Starten Sie eine große Übertragung, deren Ausführung mindestens eine Stunde dauert. Sie können beispielsweise eine Übertragung beginnen, die mindestens 100.000 Dateien enthält und mindestens 100 GB groß ist.

  2. Verwenden Sie Cloud Monitoring, um den gesamten Agent-Durchsatz zu beobachten.

  3. Warten Sie, bis der Durchsatz deaktiviert ist, und bestimmen Sie, ob Sie durch Ihre WAN-Kapazität oder Ihre Bandbreitenobergrenze eingeschränkt sind.

  4. Wenn Ihre WAN-Kapazität noch nicht erschöpft ist und das gewünschte Übertragungslimit noch nicht erreicht wurde, können Sie einen weiteren Agent hinzufügen. Der zusätzliche Agent erhöht automatisch den Übertragungsdurchsatz. Warten Sie ungefähr drei Minuten, bis der Durchsatz in Cloud Monitoring stabil ist.

Wiederholen Sie die Schritte 3 und 4, um jeweils nur einen Agent hinzuzufügen, bis Sie das gewünschte Limit erreichen. Solange Rechen-, Dateisystem- und Netzwerkressourcen verfügbar sind, können Sie pro Übertragungsprojekt bis zu 100 Agents ausführen.

Wenn die ausgehende Bandbreite erschöpft ist, bevor Sie Ihr gewünschtes Limit erreichen, haben Sie folgende Möglichkeiten:

Wenn Sie Agents hinzugefügt haben, der Durchsatz aber nicht zunimmt und Ihr WAN nicht erschöpft ist, prüfen Sie den Dateisystemdurchsatz. In seltenen Fällen ist der Dateisystemdurchsatz erschöpft und damit die Fähigkeit eingeschränkt, die Übertragungsleistung zu steigern.

Agents benennen

Beim Benennen von Agents empfehlen wir Folgendes:

  • Geben Sie in Ihrem Agent immer den Hostnamen an. Dies hilft Ihnen dabei, die Maschine zu finden, auf der ein Agent ausgeführt wird. Wir empfehlen die Übergabe von --hostname=$(hostname) an den Docker-Befehl run.

  • Wählen Sie ein Agent-Präfixschema aus, mit dem Sie Agents im Kontext Ihrer Monitoring- und Infrastrukturorganisation identifizieren können. Beispiel:

    • Wenn Sie drei separate Übertragungsprojekte haben, können Sie den Namen des Teams in Ihren Agent aufnehmen. z. B. logistics

    • Wenn Sie zwei verschiedene Übertragungsprojekte für zwei verschiedene Rechenzentren ausführen, können Sie den Namen des Rechenzentrums in das Agent-Präfix aufnehmen. z. B. omaha