Transfer Service for On Premises Data – Übersicht

Auf dieser Seite werden die Funktionen und Anforderungen von Transfer Service for On Premises Data beschrieben.

Informationen zu Transfer Service for On Premises Data

Transfer Service for On Premises Data ist ein Softwaredienst, mit dem Sie große Datenmengen von Ihrem Rechenzentrum in einen Cloud Storage-Bucket übertragen können. Er eignet sich gut für Kunden, die Milliarden von Dateien und mehrere 100 TB Daten in einer einzigen Übertragung verschieben. Er kann auf Netzwerkverbindungen mit mehreren 10 Gbit/s skaliert werden.

Vorteile von Transfer Service for On Premises Data

Mit Transfer Service for On Premises Data können Sie große Datenmengen übertragen, ohne benutzerdefinierte Skripts zu schreiben oder Standardlösungen zu erwerben. Benutzerdefinierte Skripts sind oft:

  • Unzuverlässig
  • Langsam
  • Unsicher
  • Schwierig bei der Wartung und Fehlerbehebung

Standardlösungen können mit hohen Bereitstellungskosten verbunden sein.

Transfer Service for On Premises Data ist ein skalierbarer, zuverlässiger und verwalteter Dienst, mit dem Sie Ihre Daten verschieben können, ohne in technische Teams zu investieren oder Übertragungslösungen zu erwerben. Sie installieren einen Docker-Container mit dem lokalen Agent für Linux auf den Computern Ihres Rechenzentrums. Transfer Service for On Premises Data koordiniert dann die Agents, um Ihre Daten sicher an Cloud Storage zu übertragen.

Transfer Service for On Premises Data bei begrenzter Bandbreite verwenden

Sie können Transfer Service for On Premises Data auch verwenden, wenn die Bandbreite begrenzt ist. Sie können ein Bandbreitenlimit für Ihr Google Cloud-Projekt festlegen, das die Geschwindigkeit begrenzt, mit der lokale Agents Daten in Google Cloud kopieren. Das Bandbreitenlimit gilt für alle Übertragungsjobs und zugehörigen lokalen Agents innerhalb Ihres Google Cloud-Projekts.

Funktionsweise von Transfer Service for On Premises Data

Im Folgenden finden Sie eine allgemeine Übersicht über die Funktionsweise von Transfer Service for On Premises Data:

  1. Installieren Sie Docker und führen Sie in Ihrem privaten Rechenzentrum ein kleines Softwaremodul namens Agent aus. Der Agent wird in einem Docker-Container ausgeführt und hat Zugriff auf Ihre lokal bereitgestellten NFS-Daten.

    Weitere Informationen finden Sie unter Lokalen Agent installieren und ausführen.

  2. Sehen Sie sich Übertragung für lokale Umgebungen einrichten an. Dies beinhaltet die Gewährung des Zugriffs auf Ressourcen, die von Storage Transfer Service verwendet werden, z. B. Pub/Sub und Cloud Storage.

  3. Starten Sie eine lokale Datenübertragung über die Google Cloud Console. Sie geben das NFS-Verzeichnis und einen Cloud Storage-Ziel-Bucket an, in den Daten übertragen werden sollen.

    Weitere Informationen finden Sie unter Übertragungsjob erstellen.

  4. Nachdem die Übertragung gestartet wurde, durchläuft sie das angegebene NFS-Verzeichnis rekursiv und verschiebt die gefundenen Daten in Ihren Cloud Storage-Bucket.

    Aus den übertragenen Daten wird eine Prüfsumme errechnet, Dateien mit Fehlern werden wiederholt und die Daten werden über eine sichere Verbindung gesendet. Ein Protokoll des Übertragungsfortschritts wird in Logobjekte des Cloud Storage-Ziel-Buckets geschrieben. Sie können den Fortschritt der Übertragung in der Cloud Console verfolgen.

  5. Nach Abschluss der Übertragung können Sie Fehlerbeispiele in der Cloud Console ansehen. Außerdem finden Sie eine Liste der übertragenen Dateien und eventuellen Fehler im Übertragungslog.

Funktionsweise von Transfer Service for On Premises Data-Agents

Im Folgenden werden Transfer Service for On Premises Data-Agent-Prozesse beschrieben:

  • Agent-Prozesse sind dynamisch. Sie können während der Übertragung auch Agents hinzufügen, um die Leistung zu verbessern. Neu gestartete Agents werden dem Agent-Pool hinzugefügt und sind an der Verarbeitung vorhandener Übertragungen beteiligt. Damit können Sie anpassen, wie viele Agents ausgeführt werden, oder die Übertragungsleistung an die sich ändernde Übertragungsnachfrage anpassen.

  • Agent-Prozesse sind eine fehlertolerante Sammlung. Wenn ein Agent nicht mehr ausgeführt wird, funktionieren die verbleibenden Agents weiterhin. Wenn alle Ihre Agents angehalten werden und Sie die Agents neu starten, wird die Übertragung an der Stelle fortgesetzt, an der die Agents angehalten wurden. Auf diese Weise können Sie vermeiden, Agents zu überwachen, Übertragungen zu wiederholen oder Wiederherstellungslogik zu implementieren. Wenn Sie Agents mit Google Kubernetes Engine koordinieren, können Sie Ihren Agent-Pool ohne Ausfallzeiten bei der Übertragung patchen, verschieben und dynamisch skalieren.

    Beispiel: Sie senden zwei Übertragungen, während zwei Agents ausgeführt werden. Wenn einer der Agents aufgrund eines Neustarts oder Betriebssystem-Patches gestoppt wird, funktioniert der verbleibende Agent weiterhin. Die beiden Übertragungen werden weiterhin ausgeführt, sind jedoch langsamer, da ein einzelner Agent Daten verschiebt. Wenn der verbleibende Agent ebenfalls beendet wird, werden alle Übertragungen unterbrochen, da keine Agents ausgeführt werden. Wenn Sie die Agent-Prozesse neu starten, werden die Übertragungen an der Stelle fortgesetzt, an der sie unterbrochen wurden.

  • Agent-Prozesse sind ein Pool. Sie verschieben Ihre Daten parallel. Aus diesem Grund müssen alle Agents denselben Zugriff auf alle Datenquellen haben, die Sie übertragen möchten.

    Wenn Sie beispielsweise Daten aus einem bestimmten Dateisystem übertragen, müssen Sie das Dateisystem auf allen Computern bereitstellen, auf denen Sie Agents installiert haben. Wenn einige Agents eine Datenquelle erreichen können, andere hingegen nicht, können Übertragungen von dieser Datenquelle nicht erfolgreich durchgeführt werden.

Anforderungen für Transfer Service for On Premises Data

Für die Verwendung von Transfer for On Premises benötigen Sie:

  • Eine POSIX-konforme Quelle.

  • Eine Netzwerkverbindung mit mindestens 300 Mbit/s.

  • Ein von Docker unterstützter 64-Bit-Linux-Server oder eine virtuelle Maschine, die auf die Daten zugreifen kann, die Sie übertragen möchten.

    Die Docker Community Edition unterstützt die Betriebssysteme CentOs, Debian, Fedora und Ubuntu.

    Informationen zur Verwendung anderer Linux-Betriebssysteme finden Sie unter Docker Enterprise.

  • Ein Cloud Storage-Bucket ohne Aufbewahrungsrichtlinie

    Zum Übertragen an einen Bucket mit einer Aufbewahrungsrichtlinie empfehlen wir Folgendes:

    1. Erstellen Sie einen Cloud Storage-Bucket in derselben Region wie der endgültige Bucket. Sorgen Sie dafür, dass dieser temporäre Bucket keine Aufbewahrungsrichtlinie hat.

      Weitere Informationen zu Regionen finden Sie unter Bucket-Standorte.

    2. Verwenden Sie Transfer Service for On-Premises Data, um Ihre Daten in einen von Ihnen erstellten temporären Bucket ohne Aufbewahrungsrichtlinie zu übertragen.

    3. Führen Sie eine Bucket-zu-Bucket-Übertragung durch, um die Daten mit einer Aufbewahrungsrichtlinie in den Bucket zu übertragen.

    4. Löschen Sie den Cloud Storage-Bucket, den Sie Ihnen erstellten, um Ihre Daten vorübergehend zu speichern.

  • Schließen Sie die Ersteinrichtung von Transfer for On Premises ab.

Prüfen Sie vor dem Starten einer Übertragung Folgendes:

  • TCP-Ports 80 (HTTP) und 443 (HTTPS) sind für ausgehende Verbindungen offen.
  • Für alle Agent-Prozesse innerhalb eines Google Cloud-Projekts wird dasselbe Dateisystem an demselben Bereitstellungspunkt bereitgestellt.

Nächste Schritte

Übertragung für lokale Umgebungen einrichten