Trasferisci dati

Transfer Appliance supporta i seguenti metodi per copiare i dati l'appliance:

• SCP o SFTP per Microsoft Windows, Linux e macOS.
• Condivisione NFS per Linux e macOS.
• Condivisione SMB per Microsoft Windows e Linux.
• Montaggio sull'appliance per NFS e CIFS.

Dopo aver copiato i dati su Transfer Appliance, verificare che il trasferimento dei dati alla Il bucket Cloud Storage è completo prima di eliminare i dati di origine.

Requisiti di dimensione e denominazione dei file

I file caricati sull'appliance devono essere conformi a Cloud Storage limiti di dimensione dei file e linee guida per l'assegnazione dei nomi:

• I limiti per le dimensioni dei file sono documentati in Cloud Storage Quote e limiti.
• Le linee guida per i nomi dei file sono riportate nella Linee guida per la denominazione degli oggetti.

Transfer Appliance non convalida le dimensioni o i nomi dei file. Se l'appliance contiene file che non rispettano queste regole viene rispedito a Google, potremmo non essere in grado di trasferirli.

Utilizzare SCP o SFTP per copiare i dati

Per copiare i dati nell'appliance utilizzando SCP o SFTP:

Microsoft Windows

1. Scarica un client SCP o SFTP che supporti i nomi file UTF-8, ad esempio WinSCP.

2. Utilizzando lo strumento SCP, esegui la connessione all'appliance utilizzando: impostazioni:

   • Protocollo file: SFTP
   • Nome host: l'indirizzo IP dell'appliance.
   • Numero porta: 22
   • Nome utente: il nome utente dell'appliance fornito dal team di Transfer Appliance.
   • Password: la password dell'appliance fornita dal team di Transfer Appliance.

   La directory di destinazione su Transfer Appliance deve essere /mnt/ta_data.

Linux

1. Esegui questo comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Sostituisci quanto segue:

   • PATH_TO_FILES: il percorso dei file che stai copia.
   • USERNAME: il nome utente dell'appliance fornito da il team di Transfer Appliance.
   • IP_ADDRESS: l'indirizzo IP dell'appliance.

2. Quando richiesto, inserisci la password dell'appliance fornita il team di Transfer Appliance.

macOS di Apple

1. Esegui questo comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Sostituisci quanto segue:

   • PATH_TO_FILES: il percorso dei file che stai copia.
   • USERNAME: il nome utente dell'appliance fornito da il team di Transfer Appliance.
   • IP_ADDRESS: l'indirizzo IP dell'appliance.

2. Quando richiesto, inserisci la password dell'appliance fornita il team di Transfer Appliance.

Utilizza la condivisione NFS per copiare i dati

Per copiare i dati nell'appliance utilizzando la condivisione NFS, segui questi passaggi:

1. Per montare Transfer Appliance, esegui questi comandi origine dati:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Sostituisci IP_ADDRESS con l'indirizzo IP di dell'appliance.

   macOS di Apple

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Sostituisci IP_ADDRESS con l'indirizzo IP di dell'appliance.

2. Per copiare i dati nell'appliance, utilizza un'utilità di copia a tua scelta.

   La copia dei dati è un'operazione a lunga esecuzione. Su Apple macOS o Linux, consigliamo di utilizzare tmux o screen per garantire che il processo di copia sopravviva o disconnettere la rete.

Salva la chiave SSH

Salva la chiave SSH per accessi più rapidi a Transfer Appliance. Il salvataggio della chiave SSH può anche migliorare la velocità di trasferimento.

1. Sulla workstation, genera una coppia di chiavi utilizzando il seguente comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crea un file /tmp/ssh_key sull'appliance.

3. Copia i contenuti del file della chiave pubblica dalla tua workstation /tmp/ssh_key sull'appliance. Il file della chiave pubblica è il seguente: sulla workstation:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Per autorizzare più chiavi, aggiungi ogni chiave in una nuova riga in /tmp/ssh_key.

4. Esegui il comando seguente sull'appliance. Tutte le chiavi esistenti vengono sovrascritte.

   ta copy_ssh_keys
   

5. Accedi all'appliance.

   • Se la chiave privata si trova nella località predefinita sulla workstation, utilizza per accedere all'appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Se la chiave privata non si trova nella località predefinita, utilizza il seguente comando per accedere all'appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Utilizza SMB per trasferire i dati

Per attivare la condivisione file SMB, segui questi passaggi:

1. Configura l'appliance per l'utilizzo di SMB con la seguente condivisione file flag di protocollo:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   La directory ta_data è condivisa e viene creato il seguente utente:

   • Nome utente: ta_customer
   • Password: ta_customer

2. In base al tipo di host, connettiti alla condivisione file SMB:

   Microsoft Windows

   Gestione file

   1. Apri Gestione file e modifica il percorso del file in \\IP_ADDRESS\ta_data.

   2. Quando richiesto, inserisci il tuo nome utente e la tua password.

   Riga di comando

   1. Inserisci quanto segue al prompt dei comandi di Windows: net use X: \\IP_ADDRESS\ta_data

   2. Quando richiesto, inserisci il tuo nome utente e la tua password.

   Linux

   Gestione file

   1. Apri Gestione file predefinito e fai clic su Connetti al server.

   2. Inserisci smb://IP_ADDRESS/ta_data.

   3. Quando richiesto, inserisci il tuo nome utente e la tua password.

   Riga di comando

   1. Installa il client SMB: sudo apt-get install smbclient.

   2. Connettiti alla condivisione file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Viene visualizzato un prompt smb:\>.

Utilizza le tue condivisioni di file sull'appliance

L'appliance utilizza un comando mount Linux con wrapping per montare le condivisioni appliance:

1. Esegui questi comandi:

   NFS

   1. Aggiorna il file /etc/exports sul dispositivo che ospita il server NFS concede a IP_ADDRESS l'accesso al server.

   2. Esegui i comandi seguenti sull'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Sostituisci quanto segue:

      • IP_ADDRESS: l'indirizzo IP dell'appliance.
      • MOUNT_POINT: il nome del punto di montaggio per questo condividi.
      • NFS_SERVER_IP: l'indirizzo IP del dispositivo che ospiti sul server NFS
      • NFS_DIRECTORY: il percorso della condivisione NFS.
      • OPTIONS: l'elenco di opzioni separate da virgole. Queste opzioni sono quelle consentite dal comando mount di Linux.

   CIFS

   1. Esegui i comandi seguenti sull'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Sostituisci quanto segue:

      • MOUNT_POINT: il nome del punto di montaggio per questo condividi.
      • CIFS_SERVER_IP: l'indirizzo IP del dispositivo che ospiti sul server CIFS.
      • CIFS_NAME: il nome della condivisione CIFS.
      • OPTIONS: l'elenco di opzioni separate da virgole, tra cui la password e il nome utente della condivisione CIFS. Queste sono le opzioni consentite con il comando mount di Linux.

   Se non diversamente specificato nelle opzioni di montaggio, il punto di montaggio sarà rimontata al riavvio finché non lo rimuovi con il pulsante .

2. Per smontare eventuali supporti sull'appliance, procedi nel seguente modo:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Per copiare i dati nell'appliance, utilizza un'utilità di copia a tua scelta.

   RClone

   1. Per eseguire un comando di copia con RClone sull'appliance, esegui questo comando:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Sostituisci quanto segue:

      • MOUNT_POINT: la directory contenente i dati da trasferire.

   Archivia pull

   1. Per archiviare i dati in file tar durante il trasferimento, esegui questo comando:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Sostituisci quanto segue:

      • MOUNT_POINT: la directory contenente i dati da trasferire.
      • ARCHIVE_SIZE_BYTES: la dimensione target delle palline di catrame da generare nella destinazione. Il valore predefinito è 1 GB, che dovrebbe essere compreso tra 5 MB e 20 GB inclusi.
      • THREAD_COUNT: il numero di thread in esecuzione contemporaneamente alla creazione di archivi. Il valore predefinito è 20, il valore previsto è compreso tra 1 e 10.000 inclusi.

      Il pull dell'archivio viene eseguito in background. Puoi uscire tranquillamente fuori dal terminale? La modalità pull inizia con una fase di elenco dei dati prima dell'inizio del trasferimento.

   2. Quando si avvia un pull, viene restituito un ID, che può essere utilizzato per l'interazione con il pull:

      Per controllare lo stato di un pull, esegui questo comando:

      ta pull --id=ID --status

      Per mettere in pausa un pull, esegui questo comando:

      ta pull --id=ID --pause

      Per riprendere un pull in pausa o interrotto, esegui questo comando:

      ta pull --id=ID --resume

      Sostituisci quanto segue:

      • ID: l'ID pull.

   3. Una volta completato il pull, le palline di tar si trovano nella directory /mnt/ta_data/TA_ARCHIVE_ID/. Verrà generato e salvato un file manifest in /mnt/ta_data/manifest_ID.tsv. Questo file conterrà informazioni sui file trasferiti, con i dettagli di quale file tar ball contiene quali file. Allo stesso modo, verrà salvato un file manifest degli errori in /mnt/ta_data/manifest_ID_ERROR.tsv con i dettagli di eventuali errori riscontrati durante il pull.

   Si consiglia di eseguire un comando pull alla volta.

   Nota: la modalità pull non è progettata per gestire set di dati con directory contenenti più di 50.000 sottodirectory. Per evitare tempi di attesa prolungati, valuta la possibilità di utilizzare altri metodi di copia.

   I test di velocità sono stati condotti su un set di dati di dimensioni di 100 GB su un TA7. Questi valori vengono condivisi per aiutare a decidere tra le due utilità di copia offerte. La velocità di trasferimento può variare in base al tipo di appliance e alla connettività di rete.

   Metodo	Dimensioni file	Dimensioni archivio in byte (solo pull archivio)	Tariffa (NFS)	Tariffa (PMI)
   RClone	100 MB	N/D	600 MB/s	620 MB/s
   Archivia pull	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/D	280 MB/s	270 MB/s
   Archivia pull	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 kB	N/D	150 MB/s	150 MB/s
   Archivia pull	100 kB	5 MB	270 MB/s	90 MB/s