Transférer les données

Transfer Appliance accepte les méthodes suivantes pour copier les données vers le serveur :

Une fois que vous avez copié des données sur le serveur Transfer Appliance, vérifiez que le transfert des données vers le bucket Cloud Storage est terminé avant de supprimer vos données sources.

Exigences concernant la taille et le nom des fichiers

Les fichiers importés sur l'appliance doivent respecter les limites de taille de fichier et les consignes de dénomination de Cloud Storage:

Transfer Appliance ne valide pas la taille ni les noms des fichiers. Si l'appareil contient des fichiers qui ne respectent pas ces règles au moment de son retour à Google, nous ne pourrons peut-être pas les transférer.

Utiliser SCP ou SFTP pour copier des données

Pour copier des données sur le serveur à l'aide de SCP ou de SFTP, procédez comme suit :

Microsoft Windows

  1. Téléchargez un client SCP ou SFTP compatible avec les noms de fichiers UTF-8, tels que WinSCP.

  2. À l'aide de l'outil SCP, connectez-vous au serveur à l'aide des paramètres suivants :

    • File protocol (Protocole de fichier) : SFTP
    • Nom d'hôte : l'adresse IP du serveur.
    • Numéro du port : 22
    • Nom d'utilisateur : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • Mot de passe : mot de passe du serveur fourni par l'équipe Transfer Appliance

    Le répertoire de destination sur Transfer Appliance doit être /mnt/ta_data.

Linux

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Apple macOS

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Utiliser le partage NFS pour copier des données

Pour copier des données sur le serveur à l'aide du partage NFS, procédez comme suit :

  1. Pour installer Transfer Appliance, exécutez les commandes suivantes sur votre source de données :

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

  2. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    La copie de données est une opération de longue durée. Sous Apple macOS ou Linux, nous vous recommandons d'utiliser tmux ou screen pour vous assurer que le processus de copie persiste après votre déconnexion ou la déconnexion du réseau.

Enregistrer votre clé SSH

Enregistrez votre clé SSH pour vous connecter plus rapidement à votre Transfer Appliance. Enregistrer votre clé SSH peut également améliorer les vitesses de transfert.

  1. Sur votre poste de travail, générez une paire de clés à l'aide de la commande suivante:

    posix-terminal
ssh-keygen -t rsa

  2. Créez un fichier /tmp/ssh_key sur l'appareil.

  3. Copiez le contenu du fichier de clé publique de votre poste de travail dans /tmp/ssh_key sur l'appliance. Le fichier de clé publique se trouve à l'emplacement suivant sur votre poste de travail:

    • Linux: ~/.ssh/id_rsa.pub
    • Windows: C:Users/USERNAME/.ssh

    Pour autoriser plusieurs clés, ajoutez-les sur une nouvelle ligne dans /tmp/ssh_key.

  4. Exécutez la commande suivante sur l'appliance. Toutes les clés existantes sont écrasées.

    ta copy_ssh_keys

  5. Connectez-vous à l'appareil.

    • Si la clé privée se trouve à l'emplacement par défaut de votre poste de travail, utilisez la commande suivante pour vous connecter à l'appliance:

      ssh ta_customer@IP_ADDRESS

    • Si la clé privée ne se trouve pas à l'emplacement par défaut, utilisez la commande suivante pour vous connecter à l'appliance:

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

Utiliser SMB pour transférer des données

Pour activer le partage de fichiers SMB, procédez comme suit:

  1. Configurez l'appliance pour qu'elle utilise SMB à l'aide de l'indicateur de protocole de partage de fichiers suivant:

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    Le répertoire ta_data est partagé et l'utilisateur suivant est créé:

    • Nom d'utilisateur : ta_customer
    • Mot de passe : ta_customer

  2. Selon le type d'hôte, connectez-vous au partage de fichiers SMB:

    Microsoft Windows

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers et remplacez le chemin d'accès par \\IP_ADDRESS\ta_data.

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Saisissez la commande suivante dans l'invite de commande Windows: net use X: \\IP_ADDRESS\ta_data.

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Linux

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers par défaut, puis cliquez sur Connect to server (Se connecter au serveur).

    2. Saisissez smb://IP_ADDRESS/ta_data.

    3. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Install SMB client: sudo apt-get install smbclient.

    2. Connectez-vous au partage de fichiers SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Une invite smb:\> s'affiche.

Utiliser vos propres partages de fichiers sur l'appliance

L'appliance utilise une commande d'installation Linux encapsulée pour installer des partages sur l'appliance:

  1. Exécutez les commandes suivantes :

    NFS

    1. Modifiez le fichier /etc/exports sur l'appareil qui héberge le serveur NFS pour accorder à IP_ADDRESS l'accès au serveur.

    2. Exécutez les commandes suivantes sur l'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • IP_ADDRESS: adresse IP de l'appareil.
      • MOUNT_POINT: nom du point d'installation de ce partage.
      • NFS_SERVER_IP: adresse IP de votre appareil hébergeant le serveur NFS
      • NFS_DIRECTORY: chemin d'accès à votre partage NFS.
      • OPTIONS: liste d'options séparées par une virgule. Ces options sont celles autorisées par la commande d'installation de Linux.

    CIFS

    1. Exécutez les commandes suivantes sur l'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • MOUNT_POINT: nom du point d'installation de ce partage.
      • CIFS_SERVER_IP: adresse IP de votre appareil hébergeant le serveur CIFS.
      • CIFS_NAME: nom du partage CIFS.
      • OPTIONS: liste d'options séparées par une virgule, y compris le mot de passe et le nom d'utilisateur du partage CIFS. Ces options sont celles autorisées par la commande d'installation de Linux.

    Sauf indication contraire dans les options d'installation, le point d'installation sera réinstallé au redémarrage jusqu'à ce que vous le supprimiez à l'aide de la commande "ta unmount".

  2. Pour désinstaller les montages sur l'appliance, exécutez la commande suivante:

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    RClone

    1. Pour exécuter une commande de copie avec RClone sur l'appliance, exécutez la commande suivante:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Remplacez les éléments suivants :

      • MOUNT_POINT: répertoire contenant les données à transférer.

    Pull d'archive

    1. Pour archiver vos données dans des fichiers tar lors du transfert, exécutez la commande suivante:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      Remplacez les éléments suivants :

      • MOUNT_POINT: répertoire contenant les données à transférer.
      • ARCHIVE_SIZE_BYTES: taille cible des fichiers tar à générer à la destination. Valeur par défaut de 1 Go, qui doit être comprise entre 5 Mo et 20 Go (inclus).
      • THREAD_COUNT: nombre de threads en cours d'exécution simultanément pour créer des archives. Valeur par défaut : 20. Doit être comprise entre 1 et 10 000 inclus.

      L'extraction d'archives s'exécute en arrière-plan. Vous pouvez donc quitter le terminal en toute sécurité. Le pull commence par une phase de liste des données avant que le transfert ne puisse commencer.

    2. Un ID est renvoyé lorsque vous commencez une extraction. Cette valeur peut être utilisée pour interagir avec l'extraction:

      Pour vérifier l'état d'une extraction, exécutez la commande suivante: 

      ta pull --id=ID --status

      Pour suspendre une extraction, exécutez la commande suivante: 

      ta pull --id=ID --pause

      Pour reprendre une extraction suspendue ou interrompue, exécutez la commande suivante: 

      ta pull --id=ID --resume

      Remplacez les éléments suivants :

      • ID: ID de la récupération.

    3. Une fois l'extraction terminée, les fichiers tar se trouvent dans le répertoire /mnt/ta_data/TA_ARCHIVE_ID/. Un fichier manifeste sera généré et enregistré à l'emplacement /mnt/ta_data/manifest_ID.tsv. Ce fichier contient des informations sur les fichiers transférés, indiquant quels fichiers sont contenus dans chaque fichier tarball. Un fichier manifeste d'erreur sera également enregistré dans /mnt/ta_data/manifest_ID_ERROR.tsv, détaillant les erreurs rencontrées lors de la récupération.

    Nous vous recommandons d'exécuter une seule commande de récupération à la fois.

    Des tests de vitesse ont été effectués sur un ensemble de données de 100 Go sur un TA7. Ces valeurs sont partagées pour vous aider à choisir entre les deux utilitaires de copie proposés. La vitesse de transfert peut être affectée par le type d'appareil et la connectivité réseau.

    Méthode Taille de fichier Taille de l'archive (octets) (extraction d'archive uniquement) Tarif (NFS) Tarif (PME)
    RClone 100 Mo N/A 600 Mo/s* 620 Mo/s
    Pull d'archive 100 Mo 10 Go 750 Mo/s 850 Mo/s
    RClone 1 Mo N/A 280 Mo/s 270 Mo/s
    Pull d'archive 1 Mo 500 Mo 630 Mo/s 380 Mo/s
    RClone 100 Ko N/A 150 Mo/s 150 Mo/s
    Pull d'archive 100 Ko 5 Mo 270 Mo/s 90 Mo/s