Transferir los datos

Transfer Appliance admite los siguientes métodos para copiar datos en el dispositivo:

Después de copiar datos en Transfer Appliance, verifica que la transferencia de datos al bucket de Cloud Storage esté completa antes de borrar los datos de origen.

Requisitos para el tamaño y la denominación de los archivos

Los archivos que se suben al dispositivo deben cumplir con los lineamientos de nomenclatura y los límites de tamaño de archivo de Cloud Storage:

Transfer Appliance no valida el tamaño del archivo ni los nombres. Si el dispositivo contiene archivos que no cumplen con estas reglas cuando se vuelve a enviar el dispositivo a Google, tal vez no podamos transferir esos archivos.

Usa SCP o SFTP para copiar datos

Para copiar datos al dispositivo mediante SCP o SFTP, sigue estos pasos:

Microsoft Windows

  1. Descarga un cliente SCP o SFTP que admita nombres de archivo UTF-8, como WinSCP.

  2. Con la herramienta SCP, conéctate al dispositivo con la siguiente configuración:

    • Protocolo de archivos: SFTP
    • Nombre de host: Es la dirección IP del dispositivo.
    • Número de puerto: 22
    • Nombre de usuario: El nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance
    • Contraseña: Es la contraseña del dispositivo que proporciona el equipo de Transfer Appliance.

    El directorio de destino en Transfer Appliance debe ser /mnt/ta_data.

Linux

  1. Ejecuta el siguiente comando:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
    

    Reemplaza lo siguiente:

    • PATH_TO_FILES: Es la ruta de acceso a los archivos que copias.
    • USERNAME: Es el nombre de usuario del dispositivo que proporciona el equipo de Transfer Appliance.
    • IP_ADDRESS: Es la dirección IP del dispositivo.
  2. Cuando se te solicite, ingresa la contraseña del dispositivo que te proporcionó el equipo de Transfer Appliance.

Apple macOS

  1. Ejecuta el siguiente comando:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
    

    Reemplaza lo siguiente:

    • PATH_TO_FILES: Es la ruta de acceso a los archivos que copias.
    • USERNAME: Es el nombre de usuario del dispositivo que proporciona el equipo de Transfer Appliance.
    • IP_ADDRESS: Es la dirección IP del dispositivo.
  2. Cuando se te solicite, ingresa la contraseña del dispositivo que te proporcionó el equipo de Transfer Appliance.

Usa el uso compartido de NFS para copiar datos

Para copiar datos al dispositivo mediante el uso compartido de NFS, sigue estos pasos:

  1. Para activar Transfer Appliance, ejecuta los siguientes comandos en tu fuente de datos:

    Linux

    1. sudo mkdir /mnt/data
      
    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Reemplaza IP_ADDRESS por la dirección IP del dispositivo.

    Apple macOS

    1. cd ~
      
    2. mkdir ta_data
      
    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Reemplaza IP_ADDRESS por la dirección IP del dispositivo.

  2. Para copiar datos en el dispositivo, usa la utilidad de copia que prefieras.

    Copiar datos es una operación de larga duración. En Apple macOS o Linux, te recomendamos usar tmux o screen para asegurarte de que el proceso de copia sobreviva al salir o a las desconexiones de la red.

Guarda tu clave SSH

Guarda tu clave SSH para acceder más rápido a Transfer Appliance. Guardar tu clave SSH también puede mejorar las velocidades de transferencia.

  1. En tu estación de trabajo, genera un par de claves con el siguiente comando:

    posix-terminal
    ssh-keygen -t rsa
    
  2. Crea un archivo /tmp/ssh_key en el dispositivo.

  3. Copia el contenido del archivo de claves públicas de tu estación de trabajo a /tmp/ssh_key en el dispositivo. El archivo de claves públicas se encuentra en la siguiente ubicación de tu estación de trabajo:

    • Linux: ~/.ssh/id_rsa.pub
    • Windows: C:Users/USERNAME/.ssh

    Para autorizar varias claves, agrega cada clave en una línea nueva en /tmp/ssh_key.

  4. Ejecuta el siguiente comando en el dispositivo. Se reemplazan las claves existentes.

    ta copy_ssh_keys
    
  5. Accede al dispositivo.

    • Si la clave privada se encuentra en la ubicación predeterminada de tu estación de trabajo, usa el siguiente comando para acceder al dispositivo:

      ssh ta_customer@IP_ADDRESS
      
    • Si la clave privada no está en la ubicación predeterminada, usa el siguiente comando para acceder al dispositivo:

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
      

Usa SMB para transferir datos

Para habilitar el uso compartido de archivos SMB, sigue estos pasos:

  1. Configura el dispositivo para usar SMB con la siguiente marca de protocolo de archivos compartidos:

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
    

    Se comparte el directorio ta_data y se crea el siguiente usuario:

    • Nombre de usuario: ta_customer
    • Contraseña: ta_customer
  2. En función del tipo de host, conéctate al recurso compartido de archivos SMB:

    Microsoft Windows

    Administrador de archivos

    1. Abre el administrador de archivos y edita la ruta de acceso al archivo \\IP_ADDRESS\ta_data.

    2. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

    Línea de comandos

    1. Ingresa lo siguiente en el símbolo del sistema de Windows: net use X: \\IP_ADDRESS\ta_data

    2. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

    Linux

    Administrador de archivos

    1. Abre el administrador de archivos predeterminado y haz clic en Conectar al servidor.

    2. Ingresa smb://IP_ADDRESS/ta_data.

    3. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

    Línea de comandos

    1. Instala el cliente de SMB: sudo apt-get install smbclient.

    2. Conéctate al recurso compartido de archivos SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Aparecerá un mensaje smb:\>.

Usar tus propios archivos compartidos en el dispositivo

El dispositivo usa un comando de activación de Linux unido para activar los recursos compartidos en el dispositivo:

  1. Ejecuta los siguientes comandos:

    NFS

    1. Actualiza el archivo /etc/exports en el dispositivo que aloja el servidor NFS para otorgar acceso a IP_ADDRESS al servidor.

    2. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      
      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Reemplaza lo siguiente:

      • IP_ADDRESS: Es la dirección IP del dispositivo.
      • MOUNT_POINT: Es el nombre del punto de activación para este recurso compartido.
      • NFS_SERVER_IP: Es la dirección IP del dispositivo que aloja el servidor NFS.
      • NFS_DIRECTORY: Es la ruta de acceso a tu recurso compartido de NFS.
      • OPTIONS: Es la lista de opciones separadas por comas. Estas opciones son las que permite el comando de activación de Linux.

    CIFS

    1. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      
      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Reemplaza lo siguiente:

      • MOUNT_POINT: Es el nombre del punto de activación para este recurso compartido.
      • CIFS_SERVER_IP: Es la dirección IP del dispositivo que aloja el servidor CIFS.
      • CIFS_NAME: Es el nombre del recurso compartido de CIFS.
      • OPTIONS: Es la lista de opciones separadas por comas, incluidos la contraseña y el nombre de usuario del recurso compartido de CIFS. Estas opciones son las que permite el comando de activación de Linux.

    A menos que se especifique lo contrario en las opciones de activación, el punto de activación se volverá a activar cuando se reinicie el dispositivo hasta que lo quites con el comando "ta demount".

  2. Para desactivar cualquier soporte del dispositivo, ejecuta lo siguiente:

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. Para copiar datos en el dispositivo, usa la utilidad de copia que prefieras.

    RClone

    1. Para ejecutar un comando de copia con RClone en el dispositivo, ejecuta lo siguiente:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Reemplaza lo siguiente:

      • MOUNT_POINT: El directorio que contiene los datos que se transferirán.

    Extracción de archivos

    1. Para archivar tus datos en archivos tar durante la transferencia, ejecuta lo siguiente:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Reemplaza lo siguiente:

      • MOUNT_POINT: El directorio que contiene los datos que se transferirán.
      • ARCHIVE_SIZE_BYTES: El tamaño objetivo de las bolas de alquitrán que se generarán en el destino. El valor predeterminado es de 1 GB, y se espera que esté entre 5 MB y 20 GB inclusive.
      • THREAD_COUNT: Es la cantidad de subprocesos que se ejecutan de manera simultánea creando archivos. El valor predeterminado es 20, y se espera que esté entre 1 y 10,000, inclusive.

      La extracción de archivos se ejecuta en segundo plano, ¿puedes salir de forma segura de la terminal? La extracción comienza con una fase en la que se enumeran los datos antes de que pueda comenzar la transferencia.

    2. Cuando se inicia una extracción, se muestra un ID. Este valor se puede usar para interactuar con la extracción:

      Para verificar el estado de una extracción, ejecuta el siguiente comando:

      ta pull --id=ID --status

      Para pausar una extracción, ejecuta lo siguiente:

      ta pull --id=ID --pause

      Para reanudar una extracción pausada o interrumpida, ejecuta lo siguiente:

      ta pull --id=ID --resume

      Reemplaza lo siguiente:

      • ID: El ID de extracción.
    3. Una vez que se completa la extracción, las bolas tar se encuentran en el directorio /mnt/ta_data/TA_ARCHIVE_ID/. Se generará un archivo de manifiesto y se guardará en /mnt/ta_data/manifest_ID.tsv. Este archivo contendrá información de los archivos transferidos y detalla qué archivos tar ball contienen qué archivos. De manera similar, se guardará un archivo de manifiesto de errores en /mnt/ta_data/manifest_ID_ERROR.tsv en el que se detallarán los errores que se encontraron durante la extracción.

    Se recomienda ejecutar un comando pull a la vez.

    Las pruebas de velocidad se realizaron en un conjunto de datos de 100 GB en un TA7. Estos valores se comparten para ayudar a asesorar a la hora de decidir entre las dos utilidades de texto que se ofrecen. La velocidad de transferencia puede verse afectada por el tipo de dispositivo y la conectividad de red.

    Método Tamaño del archivo Bytes de tamaño de archivo (solo extracción de archivos) Tasa (NFS) Tarifa (pyme)
    RClone 100 MB No disponible 600 MB/s 620 MB/s
    Extracción de archivos 100 MB 10 GB 750 MB/s 850 MB/s
    RClone 1 MB No disponible 280 MB/s 270 MB/s
    Extracción de archivos 1 MB 500 MB 630 MB/s 380 MB/s
    RClone 100 KB No disponible 150 MB/s 150 MB/s
    Extracción de archivos 100 KB 5 MB 270 MB/s 90 MB/s