Transférer les données

Transfer Appliance accepte les méthodes suivantes pour copier les données vers le serveur :

Une fois les données copiées sur Transfer Appliance, vérifiez que le transfert des données vers la Vous devez attendre que le bucket Cloud Storage soit terminé avant que vous ne supprimiez vos données sources.

Exigences concernant la taille et le nom des fichiers

Les fichiers importés sur l'appareil doivent être conformes aux spécifications de Cloud Storage les limites de taille de fichier et les directives de nommage:

Transfer Appliance ne valide pas la taille ni les noms des fichiers. Si le contient des fichiers non conformes à ces règles lorsque l'état ont été renvoyés à Google, nous ne serons peut-être pas en mesure de les transférer.

Utiliser SCP ou SFTP pour copier des données

Pour copier des données sur le serveur à l'aide de SCP ou de SFTP, procédez comme suit :

Microsoft Windows

  1. Téléchargez un client SCP ou SFTP compatible avec les noms de fichiers UTF-8, tels que WinSCP.

  2. À l'aide de l'outil SCP, connectez-vous au serveur à l'aide des paramètres suivants :

    • File protocol (Protocole de fichier) : SFTP
    • Nom d'hôte : l'adresse IP du serveur.
    • Numéro du port : 22
    • Nom d'utilisateur : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • Mot de passe : mot de passe du serveur fourni par l'équipe Transfer Appliance

    Le répertoire de destination sur Transfer Appliance doit être /mnt/ta_data.

Linux

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Apple macOS

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Utiliser le partage NFS pour copier des données

Pour copier des données sur le serveur à l'aide du partage NFS, procédez comme suit :

  1. Pour installer Transfer Appliance, exécutez les commandes suivantes sur votre source de données :

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

  2. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    La copie de données est une opération de longue durée. Sous Apple macOS ou Linux, nous vous recommandons d'utiliser tmux ou screen pour vous assurer que le processus de copie persiste après votre déconnexion ou la déconnexion du réseau.

Enregistrer votre clé SSH

Enregistrez votre clé SSH pour vous connecter plus rapidement à votre appareil de transfert. Enregistrer votre clé SSH peut également améliorer la vitesse de transfert.

  1. Sur votre poste de travail, générez une paire de clés à l'aide de la commande suivante :

    posix-terminal
ssh-keygen -t rsa

  2. Créez un fichier /tmp/ssh_key sur l'appareil.

  3. Copiez le contenu du fichier de clé publique de votre poste de travail dans /tmp/ssh_key sur l'appliance. Le fichier de clé publique se trouve à l'emplacement sur votre poste de travail:

    • Linux: ~/.ssh/id_rsa.pub
    • Windows: C:Users/USERNAME/.ssh

    Pour autoriser plusieurs clés, ajoutez-les sur une nouvelle ligne dans /tmp/ssh_key.

  4. Exécutez la commande suivante sur l'appareil. Toutes les clés existantes sont écrasées.

    ta copy_ssh_keys

  5. Connectez-vous à l'appareil.

    • Si la clé privée se trouve à l'emplacement par défaut sur votre poste de travail, utilisez la pour vous connecter au système:

      ssh ta_customer@IP_ADDRESS

    • Si la clé privée ne se trouve pas à l'emplacement par défaut, utilisez la commande suivante : pour vous connecter à l'appareil:

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

Utiliser SMB pour transférer des données

Pour activer le partage de fichiers SMB, procédez comme suit:

  1. Configurez l'appareil pour utiliser SMB à l'aide du partage de fichiers suivant indicateur de protocole:

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    Le répertoire ta_data est partagé et l'utilisateur suivant est créé:

    • Nom d'utilisateur : ta_customer
    • Mot de passe : ta_customer

  2. En fonction de votre type d'hôte, connectez-vous au partage de fichiers SMB:

    Microsoft Windows

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers et remplacez le chemin d'accès au fichier par \\IP_ADDRESS\ta_data.

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Saisissez la commande suivante dans l'invite de commande Windows : net use X: \\IP_ADDRESS\ta_data.

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Linux

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers par défaut, puis cliquez sur Connect to server (Se connecter au serveur).

    2. Saisissez smb://IP_ADDRESS/ta_data.

    3. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Installer le client SMB: sudo apt-get install smbclient

    2. Connectez-vous au partage de fichiers SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME.

      Une invite smb:\> s'affiche.

Utiliser vos propres partages de fichiers sur l'appareil

Le système utilise une commande d'installation Linux encapsulée pour installer des partages sur le appareil:

  1. Exécutez les commandes suivantes :

    NFS

    1. Modifiez le fichier /etc/exports sur l'appareil qui héberge le serveur NFS pour accorder à IP_ADDRESS un accès au serveur.

    2. Exécutez les commandes suivantes sur l'appliance :

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • IP_ADDRESS : adresse IP de l'appareil.
      • MOUNT_POINT: nom du point d'installation de ce partager.
      • NFS_SERVER_IP: adresse IP de l'hôte de votre appareil le serveur NFS
      • NFS_DIRECTORY: chemin d'accès à votre partage NFS.
      • OPTIONS : liste d'options séparées par une virgule. Ces options sont celles autorisées par la commande d'installation de Linux.

    CIFS

    1. Exécutez les commandes suivantes sur l'appliance :

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • MOUNT_POINT: nom du point d'installation de ce partager.
      • CIFS_SERVER_IP : adresse IP de votre appareil hébergeant le serveur CIFS.
      • CIFS_NAME : nom du partage CIFS.
      • OPTIONS: liste d'options séparées par une virgule, y compris le mot de passe et le nom d'utilisateur du partage CIFS. Ces options sont celles autorisées par la commande d'installation de Linux.

    Sauf indication contraire dans les options de montage, le point d'installation est réinstallé au redémarrage jusqu'à ce que vous le supprimiez avec la commande « ta unmount » .

  2. Pour désinstaller les montages sur l'appliance, exécutez la commande suivante :

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    RClone

    1. Pour exécuter une commande de copie avec RClone sur l'appliance, exécutez la commande suivante :

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Remplacez les éléments suivants :

      • MOUNT_POINT : répertoire contenant les données à transférer.

    Pull d'archive

    1. Pour archiver vos données dans des fichiers tar lors du transfert, exécutez la commande suivante :

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      Remplacez les éléments suivants :

      • MOUNT_POINT : répertoire contenant les données à transférer.
      • ARCHIVE_SIZE_BYTES : taille cible des fichiers tar à générer à la destination. La valeur par défaut est de 1 Go, entre 5 Mo et 20 Go inclus.
      • THREAD_COUNT: nombre de threads exécutés simultanément qui créent des archives. Valeur par défaut : 20. Doit être comprise entre 1 et 10 000 inclus.

      Les exécutions d'extraction d'archive s'exécutent en arrière-plan. Vous pouvez sortir du terminal en toute sécurité. Le pull commence par une phase de liste des données avant que le transfert ne puisse commencer.

    2. Un ID est renvoyé lorsque vous lancez une extraction. Cette valeur peut être utilisée pour interagir avec l'extraction:

      Pour vérifier l'état d'une extraction, exécutez la commande suivante: 

      ta pull --id=ID --status

      Pour suspendre une extraction, exécutez la commande suivante : 

      ta pull --id=ID --pause

      Pour reprendre une extraction suspendue ou interrompue, exécutez la commande suivante : 

      ta pull --id=ID --resume

      Remplacez les éléments suivants :

      • ID : ID de la récupération.

    3. Une fois l'extraction terminée, les balles tar sont disponibles dans le répertoire /mnt/ta_data/TA_ARCHIVE_ID/. Un fichier manifeste sera généré et enregistré à l'emplacement /mnt/ta_data/manifest_ID.tsv. Ce fichier contient des informations sur les fichiers transférés, indiquant quels fichiers sont contenus dans chaque fichier tarball. Un fichier manifeste d'erreur sera également enregistré dans /mnt/ta_data/manifest_ID_ERROR.tsv, détaillant les erreurs rencontrées lors de la récupération.

    Nous vous recommandons d'exécuter une seule commande de récupération à la fois.

    Des tests de vitesse ont été effectués sur un ensemble de données de 100 Go sur un TA7. Ces valeurs sont partagées pour vous aider à choisir entre les deux utilitaires de copie proposés. La vitesse de transfert peut être affectée par le type d'appareil et la connectivité réseau.

    Méthode Taille de fichier Taille de l'archive en octets (extraction d'archives uniquement) Tarif (NFS) Tarif (PME)
    RClone 100 Mo N/A 600 Mo/s* 620 Mo/s
    Pull d'archive 100 Mo 10 Go 750 Mo/s 850 Mo/s
    RClone 1 Mo N/A 280 Mo/s 270 Mo/s
    Extraction d'archives 1 Mo 500 Mo 630 Mo/s 380 Mo/s
    RClone 100 Ko N/A 150 Mo/s 150 Mo/s
    Pull d'archive 100 Ko 5 Mo 270 Mo/s 90 Mo/s