Transfer Appliance supporta i seguenti metodi per copiare i dati nell'appliance:
- SCP o SFTP per Microsoft Windows, Linux e macOS.
- Condivisione NFS per Linux e macOS.
- Condivisione SMB per Microsoft Windows e Linux.
- Monta sull'appliance per NFS e CIFS.
Dopo aver copiato i dati in Transfer Appliance, verifica che il trasferimento dei dati nel bucket Cloud Storage sia completo prima di eliminare i dati di origine.
Requisiti di denominazione e dimensioni dei file
I file caricati sull'appliance devono rispettare i limiti di dimensione dei file e le linee guida per la denominazione di Cloud Storage:
- I limiti per le dimensioni dei file sono indicati nella pagina Quote e limiti di Cloud Storage.
- Le linee guida relative ai nomi file sono documentate nella pagina Linee guida per la denominazione degli oggetti.
Transfer Appliance non convalida le dimensioni o i nomi dei file. Se l'appliance contiene file che non rispettano queste regole quando viene rispedita a Google, potremmo non essere in grado di trasferirli.
Utilizzare SCP o SFTP per copiare i dati
Per copiare i dati nell'appliance utilizzando SCP o SFTP:
Microsoft Windows
Scarica un client SCP o SFTP che supporti i nomi file UTF-8, come WinSCP.
Utilizzando lo strumento SCP, connettiti all'appliance utilizzando le seguenti impostazioni:
- Protocollo file: SFTP
- Nome host: l'indirizzo IP dell'appliance.
- Numero porta: 22
- Nome utente: il nome utente dell'appliance fornito dal team di Transfer Appliance.
- Password: la password dell'appliance fornita dal team di Transfer Appliance.
La directory di destinazione su Transfer Appliance deve essere
/mnt/ta_data
.
Linux
Esegui questo comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Sostituisci quanto segue:
PATH_TO_FILES
: il percorso dei file che stai copiando.USERNAME
: il nome utente dell'appliance fornito dal team di Transfer Appliance.IP_ADDRESS
: l'indirizzo IP dell'appliance.
Quando richiesto, inserisci la password dell'appliance fornita dal team di Transfer Appliance.
macOS di Apple
Esegui questo comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Sostituisci quanto segue:
PATH_TO_FILES
: il percorso dei file che stai copiando.USERNAME
: il nome utente dell'appliance fornito dal team di Transfer Appliance.IP_ADDRESS
: l'indirizzo IP dell'appliance.
Quando richiesto, inserisci la password dell'appliance fornita dal team di Transfer Appliance.
Usa la condivisione NFS per copiare i dati
Per copiare i dati nell'appliance utilizzando la condivisione NFS, segui questi passaggi:
Per montare Transfer Appliance, esegui questi comandi sull'origine dati:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
Sostituisci
IP_ADDRESS
con l'indirizzo IP dell'appliance.
macOS di Apple
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
Sostituisci
IP_ADDRESS
con l'indirizzo IP dell'appliance.
Per copiare i dati nell'appliance, utilizza l'utilità di copia che preferisci.
La copia dei dati è un'operazione a lunga esecuzione. Su Apple macOS o Linux, ti consigliamo di utilizzare
tmux
oscreen
per assicurarti che il processo di copia non venga interrotto o si disconnetta la rete.
Salva la chiave SSH
Salva la chiave SSH per accessi più rapidi a Transfer Appliance. Il salvataggio della chiave SSH può anche migliorare la velocità di trasferimento.
Sulla workstation, genera una coppia di chiavi utilizzando il seguente comando:
posix-terminal ssh-keygen -t rsa
Crea un file
/tmp/ssh_key
sull'appliance.Copia i contenuti del file della chiave pubblica dalla workstation in
/tmp/ssh_key
nell'appliance. Il file della chiave pubblica si trova nella seguente posizione sulla tua workstation:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
Per autorizzare più chiavi, aggiungi ogni chiave in una nuova riga in
/tmp/ssh_key
.- Linux:
Esegui questo comando sull'appliance. Le eventuali chiavi esistenti vengono sovrascritte.
ta copy_ssh_keys
Accedi all'appliance.
Se la chiave privata si trova nella posizione predefinita sulla workstation, utilizza il comando seguente per accedere all'appliance:
ssh ta_customer@IP_ADDRESS
Se la chiave privata non si trova nella posizione predefinita, utilizza il comando seguente per accedere all'appliance:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
Usa SMB per trasferire i dati
Per attivare la condivisione file SMB:
Configura l'appliance per l'utilizzo di SMB utilizzando il seguente flag di protocollo per la condivisione di file:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
La directory
ta_data
è condivisa e viene creato il seguente utente:- Nome utente:
ta_customer
- Password:
ta_customer
- Nome utente:
In base al tipo di host, connettiti alla condivisione file SMB:
Microsoft Windows
Gestione file
Apri Gestione file e modifica il percorso del file in
\\IP_ADDRESS\ta_data
.Inserisci il tuo nome utente e la tua password quando richiesto.
Riga di comando
Inserisci quanto segue al prompt dei comandi di Windows:
net use X: \\IP_ADDRESS\ta_data
Inserisci il tuo nome utente e la tua password quando richiesto.
Linux
Gestione file
Apri il gestore di file predefinito e fai clic su Connetti al server.
Inserisci
smb://IP_ADDRESS/ta_data
.Inserisci il tuo nome utente e la tua password quando richiesto.
Riga di comando
Installa il client SMB:
sudo apt-get install smbclient
.Connettiti alla condivisione file SMB:
smbclient //IP_ADDRESS/ta_data -U USERNAME
Viene visualizzato un prompt
smb:\>
.
Utilizzo delle condivisioni di file sull'appliance
L'appliance utilizza un comando di montaggio Linux aggregato per montare le condivisioni nell'appliance:
Esegui questi comandi:
NFS
Aggiorna il file /etc/exports sul dispositivo che ospita il server NFS concedendo a IP_ADDRESS l'accesso al server.
Esegui i seguenti comandi sull'appliance:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Sostituisci quanto segue:
IP_ADDRESS
: l'indirizzo IP dell'appliance.MOUNT_POINT
: il nome del punto di montaggio per questa condivisione.NFS_SERVER_IP
: l'indirizzo IP del dispositivo che ospita il server NFSNFS_DIRECTORY
: il percorso della condivisione NFS.OPTIONS
: l'elenco di opzioni separate da virgole. Queste opzioni sono quelle consentite dal comando mount di Linux.
CIFS
Esegui i seguenti comandi sull'appliance:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Sostituisci quanto segue:
MOUNT_POINT
: il nome del punto di montaggio per questa condivisione.CIFS_SERVER_IP
: l'indirizzo IP del dispositivo che ospita il server CIFS.CIFS_NAME
: il nome della quota CIFS.OPTIONS
: l'elenco di opzioni separate da virgole, tra cui la password e il nome utente della condivisione CIFS. Queste opzioni sono quelle consentite dal comando mount di Linux.
Se non diversamente specificato nelle opzioni di montaggio, il punto di montaggio verrà rimontato al riavvio fino a quando non lo rimuovi con il comando "ta unmount".
Per smontare i supporti sull'appliance, esegui questo comando:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
Per copiare i dati nell'appliance, utilizza l'utilità di copia che preferisci.
RClone
Per eseguire un comando di copia con RClone sull'appliance, esegui questo comando:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
Sostituisci quanto segue:
MOUNT_POINT
: la directory contenente i dati da trasferire.
Pull dell'archivio
Per archiviare i dati in file tar durante il trasferimento, esegui questo comando:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
Sostituisci quanto segue:
MOUNT_POINT
: la directory contenente i dati da trasferire.ARCHIVE_SIZE_BYTES
: la dimensione target delle palline di catrame da generare nella destinazione. Il valore predefinito è 1 GB, il valore previsto è compreso tra 5 MB e 20 GB inclusi.THREAD_COUNT
: il numero di thread eseguiti contemporaneamente durante la creazione degli archivi. Il valore predefinito è 20, il valore previsto è compreso tra 1 e 10.000 inclusi.
Il pull dell'archivio viene eseguito in background. Puoi uscire tranquillamente dal terminale. Il pull inizia con una fase di elenco dei dati prima dell'inizio del trasferimento.
Quando inizi un pull viene restituito un ID, che può essere utilizzato per interagire con il pull:
Per controllare lo stato di un pull, esegui questo comando:
ta pull --id=ID --status
Per mettere in pausa un pull, esegui questo comando:
ta pull --id=ID --pause
Per riprendere un pull in pausa o interrotto, esegui questo comando:
ta pull --id=ID --resume
Sostituisci quanto segue:
ID
: l'ID pull.
Una volta completato il pull, puoi trovare le palline di catrame nella directory
/mnt/ta_data/TA_ARCHIVE_ID/
. Verrà generato e salvato un file manifest all'indirizzo/mnt/ta_data/manifest_ID.tsv
. Questo file conterrà informazioni dei file trasferiti, con i dettagli del file tar ball che contiene i file. Analogamente, verrà salvato un file manifest degli errori all'indirizzo/mnt/ta_data/manifest_ID_ERROR.tsv
con i dettagli degli eventuali errori riscontrati durante il pull.
Consigliamo di eseguire un comando pull alla volta.
I test di velocità sono stati condotti su un set di dati di dimensioni pari a 100 GB su un TA7. Questi valori sono condivisi per aiutare a scegliere tra le due utilità di copia offerte. La velocità di trasferimento può dipendere dal tipo di appliance e dalla connettività di rete.
Metodo Dimensioni file Byte dimensioni archivio (solo pull archivio) Tariffa (NFS) Tariffa (PMI) RClone 100 MB N/A 600 MB/s 620 MB/s Pull dell'archivio 100 MB 10 GB 750 MB/s 850 MB/s RClone 1 MB N/A 280 MB/s 270 MB/s Pull dell'archivio 1 MB 500 MB 630 MB/s 380 MB/s RClone 100 kB N/A 150 MB/s 150 MB/s Pull dell'archivio 100 kB 5 MB 270 MB/s 90 MB/s