Transférer les données

Transfer Appliance accepte les méthodes suivantes pour copier les données vers le serveur :

• SCP ou SFTP pour Microsoft Windows, Linux et macOS.
• Partage NFS pour Linux et macOS
• Partage PME pour Microsoft Windows et Linux.
• Installez l'appareil pour NFS et CIFS.

Après avoir copié les données dans Transfer Appliance, vérifiez que le transfert de données vers le bucket Cloud Storage est terminé avant de supprimer vos données sources.

Exigences concernant la taille et le nom des fichiers

Les fichiers importés sur l'appareil doivent respecter les limites de taille de fichier et les consignes d'attribution de noms de Cloud Storage:

• Les limites de taille des fichiers sont documentées sur la page Quotas et limites de Cloud Storage.
• Les consignes concernant les noms de fichiers sont documentées sur la page Consignes relatives aux noms des objets.

Transfer Appliance ne valide pas la taille ni le nom des fichiers. Si l'appareil contient des fichiers non conformes à ces règles lors de son renvoi à Google, nous ne serons peut-être pas en mesure de les transférer.

Utiliser SCP ou SFTP pour copier des données

Pour copier des données sur le serveur à l'aide de SCP ou de SFTP, procédez comme suit :

Microsoft Windows

1. Téléchargez un client SCP ou SFTP compatible avec les noms de fichiers UTF-8, tels que WinSCP.

2. À l'aide de l'outil SCP, connectez-vous au serveur à l'aide des paramètres suivants :

   • File protocol (Protocole de fichier) : SFTP
   • Nom d'hôte : l'adresse IP du serveur.
   • Numéro du port : 22
   • Nom d'utilisateur : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
   • Mot de passe : mot de passe du serveur fourni par l'équipe Transfer Appliance

   Le répertoire de destination sur Transfer Appliance doit être /mnt/ta_data.

Linux

1. Exécutez la commande ci-dessous.

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Remplacez les éléments suivants :

   • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
   • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
   • IP_ADDRESS : adresse IP du serveur.

2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Apple macOS

1. Exécutez la commande ci-dessous.

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Remplacez les éléments suivants :

   • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
   • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
   • IP_ADDRESS : adresse IP du serveur.

2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Utiliser le partage NFS pour copier des données

Pour copier des données sur le serveur à l'aide du partage NFS, procédez comme suit :

1. Pour installer Transfer Appliance, exécutez les commandes suivantes sur votre source de données :

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

2. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

   La copie de données est une opération de longue durée. Sous Apple macOS ou Linux, nous vous recommandons d'utiliser tmux ou screen pour vous assurer que le processus de copie persiste après votre déconnexion ou la déconnexion du réseau.

Enregistrer votre clé SSH

Enregistrez votre clé SSH pour vous connecter plus rapidement à Transfer Appliance. Enregistrer votre clé SSH peut également améliorer la vitesse de transfert.

1. Sur votre poste de travail, générez une paire de clés à l'aide de la commande suivante:

   posix-terminal
   ssh-keygen -t rsa
   

2. Créez un fichier /tmp/ssh_key sur l'appareil.

3. Copiez le contenu du fichier de clé publique depuis votre poste de travail dans le fichier /tmp/ssh_key de l'appareil. Le fichier de clé publique se trouve à l'emplacement suivant sur votre poste de travail:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Pour autoriser plusieurs clés, ajoutez chaque clé sur une nouvelle ligne dans /tmp/ssh_key.

4. Exécutez la commande suivante sur l'appareil. Toutes les clés existantes sont écrasées.

   ta copy_ssh_keys
   

5. Connectez-vous à l'appareil.

   • Si la clé privée se trouve à l'emplacement par défaut de votre poste de travail, utilisez la commande suivante pour vous connecter au dispositif:

     ssh ta_customer@IP_ADDRESS
     

   • Si la clé privée ne se trouve pas à l'emplacement par défaut, utilisez la commande suivante pour vous connecter au dispositif:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Utiliser SMB pour transférer des données

Pour activer le partage de fichiers SMB, procédez comme suit:

1. Configurez l'appareil pour qu'il utilise SMB à l'aide de l'indicateur de protocole de partage de fichiers suivant:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Le répertoire ta_data est partagé, et l'utilisateur suivant est créé:

   • Nom d'utilisateur : ta_customer
   • Mot de passe : ta_customer

2. Selon votre type d'hôte, connectez-vous au partage de fichiers SMB:

   Microsoft Windows

   Gestionnaire de fichiers

   1. Ouvrez le gestionnaire de fichiers et remplacez le chemin d'accès par \\IP_ADDRESS\ta_data.

   2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

   Ligne de commande

   1. Saisissez la commande suivante dans l'invite de commande Windows: net use X: \\IP_ADDRESS\ta_data

   2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

   Linux

   Gestionnaire de fichiers

   1. Ouvrez le gestionnaire de fichiers par défaut et cliquez sur Se connecter au serveur.

   2. Saisissez smb://IP_ADDRESS/ta_data.

   3. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

   Ligne de commande

   1. Installez le client SMB: sudo apt-get install smbclient.

   2. Connectez-vous au partage de fichiers SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME.

      Une invite smb:\> s'affiche.

Utilisez vos propres partages de fichiers sur l'appareil

Remarque :Vous devrez peut-être mettre à jour le logiciel de votre appareil pour activer la fonctionnalité d'installation. Si votre appareil est compatible avec le transfert en ligne, exécutez ta update. Pour en savoir plus, consultez la page Mettre à jour le logiciel de l'appareil.

Le dispositif utilise une commande d'installation Linux encapsulée pour installer des partages sur le dispositif:

1. Exécutez les commandes suivantes :

   NFS

   1. Mettez à jour le fichier /etc/exports sur votre appareil hébergeant le serveur NFS en accordant à IP_ADDRESS l'accès au serveur.

   2. Exécutez les commandes suivantes sur l'appareil:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Remplacez les éléments suivants :

      • IP_ADDRESS: adresse IP du dispositif.
      • MOUNT_POINT: nom du point d'installation pour ce partage.
      • NFS_SERVER_IP: adresse IP de votre appareil hébergeant le serveur NFS
      • NFS_DIRECTORY: chemin d'accès à votre partage NFS.
      • OPTIONS: liste d'options séparées par une virgule. Ces options sont celles autorisées par la commande d'installation de Linux.

   CIFS

   1. Exécutez les commandes suivantes sur l'appareil:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Remplacez les éléments suivants :

      • MOUNT_POINT: nom du point d'installation pour ce partage.
      • CIFS_SERVER_IP: adresse IP de votre appareil hébergeant le serveur CIFS.
      • CIFS_NAME: nom du partage CIFS.
      • OPTIONS: liste d'options séparées par une virgule, y compris le mot de passe et le nom d'utilisateur du partage CIFS. Ces options sont celles autorisées par la commande d’installation de Linux.

   Sauf indication contraire dans les options d'installation, le point d'installation sera réinstallé au redémarrage jusqu'à ce que vous le supprimiez à l'aide de la commande "ta unmount".

2. Pour démonter les supports de l'appareil, procédez comme suit:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

   RClone

   1. Pour exécuter une commande de copie avec RClone sur l'appareil, exécutez la commande suivante:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Remplacez les éléments suivants :

      • MOUNT_POINT: répertoire contenant les données à transférer

   Archiver le mode Pull

   1. Pour archiver vos données dans des fichiers tar lors du transfert, exécutez la commande suivante:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Remplacez les éléments suivants :

      • MOUNT_POINT: répertoire contenant les données à transférer
      • ARCHIVE_SIZE_BYTES: taille cible des tar balls à générer à la destination. La valeur par défaut est 1 Go, comprise entre 5 Mo et 20 Go inclus.
      • THREAD_COUNT: nombre de threads exécutés simultanément à la création d'archives. La valeur par défaut est 20, avec une valeur comprise entre 1 et 10 000 inclus.

      L'extraction d'archives s'exécute en arrière-plan. Vous pouvez sortir du terminal en toute sécurité. L'extraction commence par une phase de listage des données avant que le transfert puisse commencer.

   2. Un ID est renvoyé lorsque vous commencez une extraction. Cette valeur peut être utilisée pour interagir avec l'extraction:

      Pour vérifier l'état d'une extraction, exécutez la commande suivante:

      ta pull --id=ID --status

      Pour suspendre une extraction, exécutez la commande suivante:

      ta pull --id=ID --pause

      Pour reprendre une extraction mise en pause ou interrompue, exécutez la commande suivante:

      ta pull --id=ID --resume

      Remplacez les éléments suivants :

      • ID: ID de l'extraction.

   3. Une fois l'extraction terminée, vous trouverez les "bases tar" dans le répertoire /mnt/ta_data/TA_ARCHIVE_ID/. Un fichier manifeste sera généré et enregistré sous /mnt/ta_data/manifest_ID.tsv. Ce fichier contiendra des informations sur les fichiers transférés, avec des détails sur le fichier tar-ball qui contient quels fichiers. Un fichier manifeste d'erreur sera également enregistré sous /mnt/ta_data/manifest_ID_ERROR.tsv et détaillera les erreurs qui se sont produites lors de l'extraction.

   Il est recommandé d'exécuter une commande pull à la fois.

   Remarque:Le mode Pull n'est pas conçu pour gérer les ensembles de données contenant plus de 50 000 sous-répertoires. Pour éviter les temps d'attente prolongés, envisagez d'utiliser d'autres méthodes de copie.

   Des tests de vitesse ont été effectués sur un ensemble de données de 100 Go sur un TA7. Ces valeurs sont fournies pour vous aider à choisir entre les deux utilitaires de copie proposés. La vitesse de transfert peut être affectée par le type d'appareil et la connectivité réseau.

   Méthode	Taille de fichier	Taille de l'archive (en octets) (mode d'envoi pull uniquement)	Taux (NFS)	Tarif (PME)
   RClone	100 Mo	Non disponible	600 Mo/s*	620 Mo/s
   Archiver le mode Pull	100 Mo	10 GB	750 Mo/s	850 Mo/s
   RClone	1 Mo	Non disponible	280 Mo/s	270 Mo/s
   Archiver le mode Pull	1 Mo	500 Mo	630 Mo/s	380 Mo/s
   RClone	100 Ko	Non disponible	150 Mo/s	150 Mo/s
   Archiver le mode Pull	100 Ko	5 Mo	270 Mo/s	90 Mo/s