Transfer Appliance unterstützt die folgenden Methoden zum Kopieren von Daten in die Appliance:
- SCP oder SFTP für Microsoft Windows, Linux und macOS.
- NFS-Freigabe für Linux und macOS
- KMU-Freigabe für Microsoft Windows und Linux.
- Stellen Sie die Appliance für NFS und CIFS bereit.
Nachdem Sie Daten in die Transfer Appliance kopiert haben, prüfen Sie, ob die Datenübertragung in den Cloud Storage-Bucket abgeschlossen ist, bevor Sie die Quelldaten löschen.
Anforderungen an Dateigröße und Benennung
Dateien, die auf die Appliance hochgeladen werden, müssen die Dateigrößenbeschränkungen und Benennungsrichtlinien von Cloud Storage einhalten:
- Die maximalen Dateigrößen sind auf der Cloud Storage-Seite Kontingente und Limits dokumentiert.
- Richtlinien für Dateinamen sind auf der Seite Benennungsrichtlinien für Objekte dokumentiert.
Transfer Appliance prüft weder Dateigröße noch -namen. Wenn die Appliance bei der Rücksendung an Google Dateien enthält, die diesen Regeln nicht entsprechen, können wir diese Dateien möglicherweise nicht übertragen.
Daten mit SCP oder SFTP kopieren
So kopieren Sie Daten mit SCP oder SFTP in die Appliance:
Microsoft Windows
Laden Sie einen SCP- oder SFTP-Client herunter, der UTF-8-Dateinamen wie WinSCP unterstützt.
Stellen Sie mit dem SCP-Tool eine Verbindung zur Appliance mithilfe der folgenden Einstellungen her:
- Dateiprotokoll: SFTP
- Hostname: Die IP-Adresse für die Appliance.
- Portnummer: 22
- Nutzername: Der Appliance-Nutzername, der vom Transfer Appliance-Team bereitgestellt wurde.
- Passwort: Das vom Transfer Appliance-Team bereitgestellte Passwort für die Appliance.
Das Zielverzeichnis auf der Transfer Appliance muss
/mnt/ta_data
sein.
Linux
Führen Sie dazu diesen Befehl aus:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Ersetzen Sie Folgendes:
PATH_TO_FILES
: Der Pfad zu den Dateien, die Sie kopieren.USERNAME
: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.IP_ADDRESS
: Die IP-Adresse für die Appliance.
Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.
Apple macOS
Führen Sie dazu diesen Befehl aus:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Ersetzen Sie Folgendes:
PATH_TO_FILES
: Der Pfad zu den Dateien, die Sie kopieren.USERNAME
: Der vom Transfer Appliance-Team bereitgestellte Nutzername für die Appliance.IP_ADDRESS
: Die IP-Adresse für die Appliance.
Geben Sie bei entsprechender Aufforderung das vom Transfer Appliance-Team bereitgestellte Appliance-Passwort ein.
NFS-Freigabe zum Kopieren von Daten verwenden
Führen Sie die folgenden Schritte aus, um Daten mithilfe der NFS-Freigabe in die Appliance zu kopieren:
Führen Sie die folgenden Befehle für Ihre Datenquelle aus, um Transfer Appliance bereitzustellen:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
Ersetzen Sie
IP_ADDRESS
durch die IP-Adresse für die Appliance.
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
Ersetzen Sie
IP_ADDRESS
durch die IP-Adresse für die Appliance.
Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.
Das Kopieren von Daten ist ein lang andauernder Vorgang. Unter Apple macOS oder Linux empfehlen wir die Verwendung von
tmux
oderscreen
, damit der Kopiervorgang eine Abmeldung oder Trennung vom Netzwerk übersteht.
SSH-Schlüssel speichern
Speichern Sie Ihren SSH-Schlüssel, um sich schneller bei der Transfer Appliance anzumelden. Wenn du deinen SSH-Schlüssel speicherst, kann sich dies auch auf die Übertragungsgeschwindigkeit auswirken.
Generieren Sie auf Ihrer Workstation mit dem folgenden Befehl ein Schlüsselpaar:
posix-terminal ssh-keygen -t rsa
Erstellen Sie eine
/tmp/ssh_key
-Datei in der Appliance.Kopieren Sie den Inhalt der öffentlichen Schlüsseldatei von Ihrer Workstation in
/tmp/ssh_key
auf der Appliance. Die öffentliche Schlüsseldatei befindet sich auf Ihrer Workstation an folgendem Speicherort:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
Wenn Sie mehrere Schlüssel autorisieren möchten, fügen Sie jeden Schlüssel in einer neuen Zeile in
/tmp/ssh_key
ein.- Linux:
Führen Sie den folgenden Befehl auf der Appliance aus. Alle vorhandenen Schlüssel werden überschrieben.
ta copy_ssh_keys
Melden Sie sich in der Appliance an.
Wenn sich der private Schlüssel am Standardspeicherort auf Ihrer Workstation befindet, melden Sie sich mit dem folgenden Befehl bei der Appliance an:
ssh ta_customer@IP_ADDRESS
Wenn sich der private Schlüssel nicht am Standardspeicherort befindet, melden Sie sich mit dem folgenden Befehl bei der Appliance an:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
SMB zur Datenübertragung verwenden
So aktivieren Sie die SMB-Dateifreigabe:
Konfigurieren Sie die Appliance mit dem folgenden Protokoll-Flag für die Dateifreigabe für die Verwendung von SMB:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
Das Verzeichnis
ta_data
wird freigegeben und der folgende Nutzer wird erstellt:- Nutzername:
ta_customer
- Passwort:
ta_customer
- Nutzername:
Stellen Sie je nach Hosttyp eine Verbindung zur SMB-Dateifreigabe her:
Microsoft Windows
Dateimanager
Öffnen Sie den Dateimanager und ändern Sie den Dateipfad zu
\\IP_ADDRESS\ta_data
.Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.
Befehlszeile
Geben Sie in der Windows-Eingabeaufforderung Folgendes ein:
net use X: \\IP_ADDRESS\ta_data
Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.
Linux
Dateimanager
Öffnen Sie den Standarddateimanager und klicken Sie auf Mit Server verbinden.
Geben Sie
smb://IP_ADDRESS/ta_data
ein.Geben Sie Ihren Nutzernamen und Ihr Passwort ein, wenn Sie dazu aufgefordert werden.
Befehlszeile
Installieren Sie den SMB-Client:
sudo apt-get install smbclient
.Stellen Sie eine Verbindung zur SMB-Dateifreigabe her:
smbclient //IP_ADDRESS/ta_data -U USERNAME
Die Eingabeaufforderung
smb:\>
wird angezeigt.
Eigene Dateifreigaben auf der Appliance verwenden
Die Appliance verwendet einen verpackten Linux-Bereitstellungsbefehl, um Freigaben auf der Appliance bereitzustellen:
Führen Sie folgende Befehle aus:
NFS
Aktualisieren Sie die Datei „/etc/exports“ auf dem Gerät, auf dem der NFS-Server gehostet wird, um IP_ADDRESS Zugriff auf den Server zu gewähren.
Führen Sie die folgenden Befehle auf der Appliance aus:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Ersetzen Sie Folgendes:
IP_ADDRESS
: Die IP-Adresse der Appliance.MOUNT_POINT
: Der Name des Bereitstellungspunkts für diese Freigabe.NFS_SERVER_IP
: Die IP-Adresse des Geräts, auf dem der NFS-Server gehostet wird.NFS_DIRECTORY
: Der Pfad zu Ihrer NFS-Freigabe.OPTIONS
: Die durch Kommas getrennte Liste von Optionen. Diese Optionen sind vom Linux-Bereitstellungsbefehl zugelassen.
Logo: CIFS
Führen Sie die folgenden Befehle auf der Appliance aus:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Ersetzen Sie Folgendes:
MOUNT_POINT
: Der Name des Bereitstellungspunkts für diese Freigabe.CIFS_SERVER_IP
: Die IP-Adresse des Geräts, auf dem der CIFS-Server gehostet wird.CIFS_NAME
: Der CIFS-Freigabename.OPTIONS
: Die durch Kommas getrennte Liste von Optionen, einschließlich Passwort und Nutzername der CIFS-Freigabe. Diese Optionen sind vom Linux-Befehl mount zugelassen.
Sofern in den Bereitstellungsoptionen nicht anders angegeben, wird der Bereitstellungspunkt beim Neustart wieder bereitgestellt, bis Sie ihn mit dem Befehl „ta unmount“ entfernen.
Führen Sie folgenden Befehl aus, um Bereitstellungen auf der Appliance zu trennen:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
Verwenden Sie ein Kopierprogramm Ihrer Wahl, um Daten in die Appliance zu kopieren.
RClone
Führen Sie folgenden Befehl aus, um einen Kopierbefehl mit RClone auf der Appliance auszuführen:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
Ersetzen Sie Folgendes:
MOUNT_POINT
: Das Verzeichnis, das die zu übertragenden Daten enthält.
Archivabruf
Führen Sie folgenden Befehl aus, um Ihre Daten während der Übertragung in TAR-Dateien zu archivieren:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
Ersetzen Sie Folgendes:
MOUNT_POINT
: Das Verzeichnis, das die zu übertragenden Daten enthält.ARCHIVE_SIZE_BYTES
: Die Zielgröße der Teerkugeln, die am Ziel generiert werden sollen. Die Standardeinstellung ist 1 GB. Die Größe muss zwischen 5 MB und einschließlich 20 GB liegen.THREAD_COUNT
: Die Anzahl der Threads, die gleichzeitig ausgeführt werden und Archive erstellen. Die Standardeinstellung ist 20, der Wert muss zwischen 1 und 10.000 (jeweils einschließlich) liegen.
Archivierungs-Pull-Ausführungen im Hintergrund, damit Sie das Terminal sicher beenden können Der Pull-Modus beginnt mit einer Phase, in der die Daten aufgelistet werden, bevor die Übertragung beginnen kann.
Wenn Sie einen Abruf starten, wird eine ID zurückgegeben. Dieser Wert kann zur Interaktion mit dem Pull-Vorgang verwendet werden:
Führen Sie folgenden Befehl aus, um den Status eines Abrufs zu prüfen:
ta pull --id=ID --status
Führen Sie folgenden Befehl aus, um einen Pull-Vorgang anzuhalten:
ta pull --id=ID --pause
Führen Sie folgenden Befehl aus, um einen pausierten oder unterbrochenen Pull-Vorgang fortzusetzen:
ta pull --id=ID --resume
Ersetzen Sie Folgendes:
ID
: Die Pull-ID.
Sobald der Pull-Vorgang abgeschlossen ist, finden Sie die Tar-Bälle im Verzeichnis
/mnt/ta_data/TA_ARCHIVE_ID/
. Eine Manifestdatei wird erstellt und unter/mnt/ta_data/manifest_ID.tsv
gespeichert. Diese Datei enthält Informationen zu den übertragenen Dateien und gibt an, in welcher Tar-Ball-Datei welche Dateien enthalten sind. Unter/mnt/ta_data/manifest_ID_ERROR.tsv
wird eine Fehlermanifestdatei gespeichert, in der alle Fehler aufgeführt sind, die während des Abrufs aufgetreten sind.
Es empfiehlt sich, jeweils nur einen Pull-Befehl auszuführen.
Es wurden Geschwindigkeitstests mit einem Dataset von 100 GB auf einem TA7 durchgeführt. Diese Werte werden gemeinsam genutzt, um Sie bei der Entscheidung zwischen den beiden angebotenen Kopierfunktionen zu unterstützen. Die Übertragungsgeschwindigkeit kann vom Appliance-Typ sowie von der Netzwerkverbindung beeinflusst werden.
Methode Dateigröße Archivgröße in Byte (nur Archiv-Abruf) Rate (NFS) Preis (KMU) RClone 100 MB – 600 MB/s* 620 MB/s Archivabruf 100 MB 10 GB 750 MB/s 850 MB/s RClone 1 MB – 280 MB/s 270 MB/s Archivabruf 1 MB 500 MB 630 MB/s 380 MB/s RClone 100 KB – 150 MB/s 150 MB/s Archivabruf 100 KB 5 MB 270 MB/s 90 MB/s