Transferir datos

Transfer Appliance admite los siguientes métodos para copiar datos el dispositivo:

• SCP o SFTP para Microsoft Windows, Linux y macOS.
• Uso compartido de NFS para Linux y macOS
• Uso compartido de pymes para Microsoft Windows y Linux.
• Activación en el dispositivo para NFS y CIFS.

Después de copiar datos en Transfer Appliance, verificar que la transferencia de datos El bucket de Cloud Storage estará completo antes de borrar los datos de origen.

Tamaño de archivo y requisitos de nomenclatura

Los archivos que se suben al dispositivo deben cumplir con Cloud Storage límites de tamaño de los archivos y lineamientos para la asignación de nombres:

• Los límites de tamaño de los archivos se documentan en Cloud Storage. Cuotas y límites.
• Las pautas para los nombres de archivo se documentan en el Lineamientos para asignar nombres a objetos

Transfer Appliance no valida el tamaño ni los nombres de los archivos. Si el dispositivo contiene archivos que no cumplen con estas reglas cuando se devuelve a Google, es posible que no podamos transferirlos.

Usa SCP o SFTP para copiar datos

Para copiar datos en el dispositivo mediante SCP o SFTP, sigue estos pasos:

Microsoft Windows

1. Descarga un cliente SCP o SFTP que admita nombres de archivo UTF-8, como WinSCP

2. Con la herramienta SCP, conéctate al dispositivo de la siguiente manera: configuración:

   • Protocolo de archivo: SFTP
   • Nombre de host: Es la dirección IP del dispositivo.
   • Número de puerto: 22
   • Nombre de usuario: Es el nombre de usuario del dispositivo que proporciona el equipo de Transfer Appliance.
   • Contraseña: Es la contraseña del dispositivo que proporciona el equipo de Transfer Appliance.

   El directorio de destino en Transfer Appliance debe ser /mnt/ta_data.

Linux

1. Ejecuta el siguiente comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Reemplaza lo siguiente:

   • PATH_TO_FILES: La ruta de acceso a los archivos que estás copiar.
   • USERNAME: El nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance.
   • IP_ADDRESS: Es la dirección IP del dispositivo.

2. Cuando se te solicite, ingresa la contraseña del dispositivo proporcionada por el equipo de Transfer Appliance.

Apple macOS

1. Ejecuta el siguiente comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Reemplaza lo siguiente:

   • PATH_TO_FILES: La ruta de acceso a los archivos que estás copiar.
   • USERNAME: El nombre de usuario del dispositivo proporcionado por el equipo de Transfer Appliance.
   • IP_ADDRESS: Es la dirección IP del dispositivo.

2. Cuando se te solicite, ingresa la contraseña del dispositivo proporcionada por el equipo de Transfer Appliance.

Usa el recurso compartido de NFS para copiar datos

Para copiar datos en el dispositivo mediante el uso compartido de NFS, sigue estos pasos:

1. Para activar Transfer Appliance, ejecuta los siguientes comandos en tu fuente de datos:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Reemplaza IP_ADDRESS por la dirección IP de el dispositivo.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Reemplaza IP_ADDRESS por la dirección IP de el dispositivo.

2. Para copiar datos en el dispositivo, usa la utilidad de copia que desees.

   La copia de datos es una operación de larga duración. En Apple macOS o Linux, te recomendamos que uses tmux o screen para asegurarte de que el proceso de copia sobreviva al cierre de sesión o a la desconexión de la red.

Guarda tu clave SSH

Guarda tu clave SSH para acceder más rápido a Transfer Appliance. Guardar tu clave SSH también puede mejorar las velocidades de transferencia.

1. En tu estación de trabajo, genera un par de claves con el siguiente comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crea un archivo /tmp/ssh_key en el dispositivo.

3. Copia el contenido del archivo de claves públicas de tu estación de trabajo en /tmp/ssh_key en el dispositivo. El archivo de clave pública se encuentra en el siguiente en tu estación de trabajo:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Para autorizar varias claves, agrega cada clave en una línea nueva en /tmp/ssh_key.

4. Ejecuta el siguiente comando en el dispositivo. Se reemplazan las claves existentes.

   ta copy_ssh_keys
   

5. Acceda al dispositivo.

   • Si la clave privada se encuentra en la ubicación predeterminada de tu estación de trabajo, usa el siguiente comando para acceder al dispositivo:

     ssh ta_customer@IP_ADDRESS
     

   • Si la clave privada no se encuentra en la ubicación predeterminada, usa el siguiente comando: para acceder al dispositivo:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Usar SMB para transferir datos

Para habilitar el uso compartido de archivos SMB, sigue estos pasos:

1. Configurar el dispositivo para que utilice SMB usando los siguientes archivos compartidos marca de protocolo:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   El directorio ta_data se comparte y se crea el siguiente usuario:

   • Nombre de usuario: ta_customer
   • Contraseña: ta_customer

2. Según el tipo de host, conéctate a los archivos compartidos de SMB:

   Microsoft Windows

   Administrador de archivos

   1. Abre el administrador de archivos y edita la ruta de acceso al archivo \\IP_ADDRESS\ta_data.

   2. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

   Línea de comandos

   1. En el símbolo del sistema de Windows, ingresa lo siguiente: net use X: \\IP_ADDRESS\ta_data.

   2. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

   Linux

   Administrador de archivos

   1. Abre el administrador de archivos predeterminado y haz clic en Conectar con el servidor.

   2. Ingresa smb://IP_ADDRESS/ta_data.

   3. Ingresa tu nombre de usuario y contraseña cuando se te solicite.

   Línea de comandos

   1. Instalar el cliente de SMB: sudo apt-get install smbclient.

   2. Conéctate al sistema de archivos compartidos SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Aparecerá un mensaje smb:\>.

Usa tus propios archivos compartidos en el dispositivo

El dispositivo usa un comando de activación unido de Linux para activar recursos compartidos en el dispositivo:

1. Ejecute los siguientes comandos:

   NFS

   1. Actualiza el archivo /etc/exports en el dispositivo que aloja el servidor NFS que otorga a IP_ADDRESS acceso al servidor.

   2. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Reemplaza lo siguiente:

      • IP_ADDRESS: Es la dirección IP del dispositivo.
      • MOUNT_POINT: Es el nombre del punto de activación para este elemento. compartir.
      • NFS_SERVER_IP: Es la dirección IP de tu dispositivo que aloja el servidor NFS.
      • NFS_DIRECTORY: Es la ruta de acceso al recurso compartido de NFS.
      • OPTIONS: Es la lista de opciones separadas por comas. Estas opciones son las que permite el comando de activación de Linux.

   CIFS

   1. Ejecuta los siguientes comandos en el dispositivo:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Reemplaza lo siguiente:

      • MOUNT_POINT: Es el nombre del punto de activación para este elemento. compartir.
      • CIFS_SERVER_IP: Es la dirección IP que aloja el dispositivo. el servidor CIFS.
      • CIFS_NAME: Es el nombre del recurso compartido de CIFS.
      • OPTIONS: Es la lista de opciones separadas por comas, que incluye lo siguiente: la contraseña y el nombre de usuario del recurso compartido CIFS. Estas opciones son las que permite el comando de activación de Linux.

   A menos que se especifique lo contrario en las opciones de activación, el punto de activación será volver a montar después de reiniciar hasta que lo quites con el botón de desactivación .

2. Para desactivar cualquier montaje en el dispositivo, ejecute lo siguiente:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Para copiar datos en el dispositivo, usa la utilidad de copia que desees.

   RClone

   1. Para ejecutar un comando de copia con RClone en el dispositivo, ejecuta lo siguiente:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Reemplaza lo siguiente:

      • MOUNT_POINT: El directorio que contiene los datos que se transferirán.

   Archivar solicitud de extracción

   1. Para archivar tus datos en archivos tar durante la transferencia, ejecuta el siguiente comando:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Reemplaza lo siguiente:

      • MOUNT_POINT: Es el directorio que contiene los datos que se transferirán.
      • ARCHIVE_SIZE_BYTES: Es el tamaño objetivo de las bolas tar que se generarán en el destino. El valor predeterminado es de 1 GB, y se espera que esté entre 5 MB y 20 GB inclusive.
      • THREAD_COUNT: Es la cantidad de subprocesos que se ejecutan de manera simultánea y crean archivos. El valor predeterminado es 20, y se espera que esté entre 1 y 10,000 inclusive.

      La extracción de archivo se ejecuta en segundo plano, por lo que puede salir de la terminal de forma segura. La extracción comienza con una fase de enumeración de los datos antes de que pueda comenzar la transferencia.

   2. Cuando inicias una extracción se muestra un ID. Este valor se puede usar para interactuar con la extracción:

      Para verificar el estado de una extracción, ejecuta el siguiente comando:

      ta pull --id=ID --status

      Para pausar una extracción, ejecuta el siguiente comando:

      ta pull --id=ID --pause

      Para reanudar una extracción en pausa o interrumpida, ejecuta el siguiente comando:

      ta pull --id=ID --resume

      Reemplaza lo siguiente:

      • ID: Es el ID de extracción.

   3. Una vez que se completa la extracción, las bolas tar se pueden encontrar en el directorio /mnt/ta_data/TA_ARCHIVE_ID/. Se generará un archivo de manifiesto y se guardará en /mnt/ta_data/manifest_ID.tsv. Este archivo contendrá información de los archivos transferidos, en la que se detallará qué archivos contiene cada archivo tar. De manera similar, se guardará un archivo de manifiesto de errores en /mnt/ta_data/manifest_ID_ERROR.tsv y se detallarán los errores que se encontraron durante la extracción.

   Se recomienda ejecutar un comando pull a la vez.

   Nota: La extracción no está diseñada para controlar conjuntos de datos con directorios que contengan más de 50,000 subdirectorios. Para evitar tiempos de espera prolongados, considera usar otros métodos de copia.

   Se realizaron pruebas de velocidad en un conjunto de datos de 100 GB en un TA7. Estos valores se comparten para ayudar a asesorar a la hora de decidir entre las dos utilidades de texto ofrecidas. La velocidad de transferencia puede verse afectada por el tipo de dispositivo y la conectividad de red.

   Método	Tamaño del archivo	Bytes de tamaño de archivo (solo extracción de archivo)	Tarifa (NFS)	Tarifa (pymes)
   RClone	100 MB	N/A	600 MB/s	620 MB/s
   Archivar solicitud de extracción	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/A	280 MB/s	270 MB/s
   Archivar solicitud de extracción	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 KB	N/A	150 MB/s	150 MB/s
   Archivar solicitud de extracción	100 KB	5 MB	270 MB/s	90 MB/s