Daten übertragen

Transfer Appliance unterstützt die folgenden Methoden zum Kopieren von Daten in die Appliance:

• SCP oder SFTP für Microsoft Windows, Linux und macOS.
• NFS-Freigabe für Linux und macOS.
• SMB-Freigabe für Microsoft Windows und Linux
• Bereitstellung auf der Appliance für NFS und CIFS.

Nachdem Sie Daten in die Transfer Appliance kopiert haben, stellen Sie sicher, dass die Datenübertragung Cloud Storage-Bucket ist abgeschlossen, bevor Sie die Quelldaten löschen.

Anforderungen an Dateigröße und Benennung

Dateien, die auf die Appliance hochgeladen werden, müssen mit Cloud Storage übereinstimmen Beschränkungen für Dateigrößen und Benennungsrichtlinien:

• Limits für die Dateigröße sind auf der Seite Kontingente und Limits für Cloud Storage dokumentiert.
• Die Richtlinien für Dateinamen sind auf der Richtlinien für die Benennung von Objekten

Die Dateigröße oder die Dateinamen werden von Transfer Appliance nicht überprüft. Wenn das Gerät beim Zurücksenden an Google Dateien enthält, die gegen diese Regeln verstoßen, können wir diese Dateien möglicherweise nicht übertragen.

Daten mit SCP oder SFTP kopieren

So kopieren Sie Daten mit SCP oder SFTP in die Appliance:

Microsoft Windows

1. Laden Sie einen SCP- oder SFTP-Client herunter, der UTF-8-Dateinamen wie WinSCP unterstützt.

2. Stellen Sie mit dem SCP-Tool eine Verbindung zur Appliance mithilfe der folgenden Einstellungen her:

   • Dateiprotokoll: SFTP
   • Hostname: Die IP-Adresse für die Appliance.
   • Portnummer: 22
   • Nutzername: Der Appliance-Nutzername, der vom Transfer Appliance-Team bereitgestellt wurde.
   • Passwort: Das vom Transfer Appliance-Team bereitgestellte Passwort für die Appliance.

   Das Zielverzeichnis auf der Transfer Appliance muss /mnt/ta_data sein.

Linux

1. Führen Sie dazu diesen Befehl aus:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Dabei gilt:

   • PATH_TO_FILES: Der Pfad zu den Dateien, die Sie kopieren.
   • USERNAME: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.
   • IP_ADDRESS: Die IP-Adresse für die Appliance.

2. Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.

Apple macOS

1. Führen Sie dazu diesen Befehl aus:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Dabei gilt:

   • PATH_TO_FILES: Der Pfad zu den Dateien, die Sie kopieren.
   • USERNAME: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.
   • IP_ADDRESS: Die IP-Adresse für die Appliance.

2. Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.

Daten über NFS-Freigabe kopieren

Führen Sie die folgenden Schritte aus, um Daten mithilfe der NFS-Freigabe in die Appliance zu kopieren:

1. Führen Sie die folgenden Befehle für Ihre Datenquelle aus, um Transfer Appliance bereitzustellen:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Ersetzen Sie IP_ADDRESS durch die IP-Adresse für die Appliance.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Ersetzen Sie IP_ADDRESS durch die IP-Adresse für die Appliance.

2. Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.

   Das Kopieren von Daten ist ein lang andauernder Vorgang. Unter Apple macOS oder Linux empfehlen wir die Verwendung von tmux oder screen, damit der Kopiervorgang eine Abmeldung oder Trennung vom Netzwerk übersteht.

SSH-Schlüssel speichern

Speichern Sie Ihren SSH-Schlüssel, um sich schneller bei der Transfer Appliance anmelden zu können. Durch das Speichern Ihres SSH-Schlüssels können auch die Übertragungsgeschwindigkeiten verbessert werden.

1. Generieren Sie auf Ihrer Workstation ein Schlüsselpaar mit dem folgenden Befehl:

   posix-terminal
   ssh-keygen -t rsa
   

2. Erstellen Sie auf dem Gerät eine /tmp/ssh_key-Datei.

3. Kopieren Sie den Inhalt der öffentlichen Schlüsseldatei von Ihrer Workstation in /tmp/ssh_key auf der Appliance. Die Datei mit dem öffentlichen Schlüssel befindet sich im folgenden Verzeichnis: Speicherort auf Ihrer Workstation:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Wenn Sie mehrere Schlüssel autorisieren möchten, fügen Sie jeden Schlüssel in eine neue Zeile in /tmp/ssh_key ein.

4. Führen Sie auf der Appliance den folgenden Befehl aus. Alle vorhandenen Schlüssel werden überschrieben.

   ta copy_ssh_keys
   

5. Melden Sie sich in der Appliance an.

   • Befindet sich der private Schlüssel am Standardspeicherort auf Ihrer Workstation, verwenden Sie die Methode folgenden Befehl, um sich bei der Appliance anzumelden:

     ssh ta_customer@IP_ADDRESS
     

   • Wenn sich der private Schlüssel nicht am Standardspeicherort befindet, verwenden Sie den folgenden Befehl, um sich auf der Appliance anzumelden:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Daten mit SMB übertragen

So aktivieren Sie die SMB-Dateifreigabe:

1. Konfigurieren Sie die Appliance über die folgende Dateifreigabe für die Verwendung von SMB Protokoll-Flag:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Das Verzeichnis ta_data ist freigegeben und der folgende Nutzer wird erstellt:

   • Nutzername: ta_customer
   • Passwort: ta_customer

2. Stellen Sie je nach Hosttyp eine Verbindung zur SMB-Dateifreigabe her:

   Microsoft Windows

   Dateimanager

   1. Öffnen Sie den Dateimanager und bearbeiten Sie den Dateipfad zu \\IP_ADDRESS\ta_data.

   2. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

   Befehlszeile

   1. Geben Sie in der Windows-Eingabeaufforderung Folgendes ein: net use X: \\IP_ADDRESS\ta_data

   2. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

   Linux

   Dateimanager

   1. Öffnen Sie den Standarddateimanager und klicken Sie auf Verbindung zum Server herstellen.

   2. Geben Sie smb://IP_ADDRESS/ta_data ein.

   3. Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

   Befehlszeile

   1. SMB-Client installieren: sudo apt-get install smbclient.

   2. Verbindung zur SMB-Dateifreigabe herstellen: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Die Eingabeaufforderung smb:\> wird angezeigt.

Eigene Dateifreigaben auf der Appliance verwenden

Die Appliance stellt mithilfe eines eingebetteten Linux-Bereitstellungsbefehls Freigaben auf der Appliance:

1. Führen Sie folgende Befehle aus:

   NFS

   1. Datei „/etc/exports“ auf dem Gerät aktualisieren, auf dem der NFS-Server gehostet wird IP_ADDRESS wird Zugriff auf den Server gewährt.

   2. Führen Sie die folgenden Befehle auf der Appliance aus:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ersetzen Sie Folgendes:

      • IP_ADDRESS: Die IP-Adresse der Appliance.
      • MOUNT_POINT: Der Name des Bereitstellungspunkts für dieses Teilen.
      • NFS_SERVER_IP: die IP-Adresse, auf der Ihr Gerät gehostet wird NFS-Server
      • NFS_DIRECTORY: Der Pfad zu Ihrer NFS-Freigabe.
      • OPTIONS: Die durch Kommas getrennte Liste von Optionen. Diese Optionen werden vom Linux-Bereitstellungsbefehl zugelassen.

   CIFS

   1. Führen Sie auf der Appliance die folgenden Befehle aus:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Der Name des Bereitstellungspunkts für diese Freigabe.
      • CIFS_SERVER_IP: die IP-Adresse, auf der Ihr Gerät gehostet wird den CIFS-Server.
      • CIFS_NAME: Der CIFS-Freigabename.
      • OPTIONS: Die durch Kommas getrennte Liste der Optionen, einschließlich Passwort und Nutzername der CIFS-Freigabe. Diese Optionen sind vom Linux-Bereitstellungsbefehl zulässig.

   Sofern in den Bereitstellungsoptionen nicht anders angegeben, ist der Bereitstellungspunkt wird beim Neustart wieder bereitgestellt, bis Sie es mit der Meldung "ta unmount" entfernt haben. .

2. Führen Sie folgenden Befehl aus, um Halterungen an der Appliance zu entfernen:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.

   RClone

   1. Führen Sie folgenden Befehl aus, um einen Kopierbefehl mit RKlon auf der Appliance auszuführen:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Das Verzeichnis, das die zu übertragenden Daten enthält.

   Archiv-Pull

   1. Führen Sie folgenden Befehl aus, um Ihre Daten während der Übertragung in TAR-Dateien zu archivieren:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Ersetzen Sie Folgendes:

      • MOUNT_POINT: Das Verzeichnis, das die zu übertragenden Daten enthält.
      • ARCHIVE_SIZE_BYTES: Die Zielgröße der Tar-Balls, die am Ziel generiert werden sollen. Die Standardeinstellung ist 1 GB, der Speicherplatz sollte zwischen 5 MB und 20 GB (einschließlich) liegen.
      • THREAD_COUNT: Die Anzahl der Threads, die gleichzeitig ausgeführt werden, um Archive zu erstellen. Der Standardwert ist 20, wird zwischen 1 und 10.000 (einschließlich) erwartet.

      Der Archivierungs-Pull-Vorgang wird im Hintergrund ausgeführt, sodass Sie das Terminal problemlos verlassen können. Beim Pull-Vorgang werden die Daten zuerst aufgelistet, bevor die Übertragung beginnen kann.

   2. Wenn Sie einen Abruf starten, wird eine ID zurückgegeben. Dieser Wert kann verwendet werden, um mit dem Abruf zu interagieren:

      Führen Sie folgenden Befehl aus, um den Status eines Pull-Vorgangs zu prüfen:

      ta pull --id=ID --status

      Führen Sie folgenden Befehl aus, um einen Pull-Vorgang zu pausieren:

      ta pull --id=ID --pause

      Führen Sie folgenden Befehl aus, um einen pausierten oder unterbrochenen Abruf fortzusetzen:

      ta pull --id=ID --resume

      Ersetzen Sie Folgendes:

      • ID: Die Pull-ID.

   3. Sobald der Abruf abgeschlossen ist, finden Sie die Tar-Bälle im Verzeichnis /mnt/ta_data/TA_ARCHIVE_ID/. Eine Manifestdatei wird erstellt und unter /mnt/ta_data/manifest_ID.tsv gespeichert. Diese Datei enthält Informationen zu den übertragenen Dateien, aus denen hervorgeht, in welcher Tar-Ball-Datei welche Dateien enthalten sind. Eine Fehlermanifestdatei wird ebenfalls unter /mnt/ta_data/manifest_ID_ERROR.tsv gespeichert, in der alle Fehler aufgeführt sind, die während des Abrufs aufgetreten sind.

   Es wird empfohlen, jeweils nur einen Pull-Befehl auszuführen.

   Hinweis:Im Pull-Modus können keine Datasets mit Verzeichnissen verarbeitet werden,die mehr als 50.000 Unterverzeichnisse enthalten. Um längere Wartezeiten zu vermeiden, sollten Sie andere Kopiermethoden verwenden.

   Geschwindigkeitstests wurden mit einer Dataset-Größe von 100 GB an einem TA7-Gerät durchgeführt. Diese Werte werden geteilt, um Ihnen bei der Entscheidung zwischen den beiden angebotenen Kopier-Dienstprogrammen zu helfen. Die Übertragungsgeschwindigkeit kann vom Appliance-Typ sowie von der Netzwerkverbindung beeinflusst werden.

   Methode	Dateigröße	Archivgröße in Byte (nur Archiv-Pull)	Preis (NFS)	Preis (KMU)
   RClone	100 MB	–	600 MB/s*	620 MB/s
   Archiv-Pull	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	–	280 MB/s	270 MB/s
   Archiv-Pull	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	–	150 MB/s	150 MB/s
   Archiv-Pull	100 KB	5 MB	270 MB/s	90 MB/s