转移数据

Transfer Appliance 支持以下方法将数据复制到设备:

将数据复制到 Transfer Appliance 后,请先验证数据是否已成功转移到 Cloud Storage 存储桶,然后再删除源数据。

文件大小和命名要求

上传到设备的文件必须符合 Cloud Storage 文件大小限制和命名准则:

Transfer Appliance 不会验证文件大小或名称。如果设备在寄回 Google 时包含不符合这些规则的文件,我们可能无法转移这些文件。

使用 SCP 或 SFTP 复制数据

如需使用 SCP 或 SFTP 将数据复制到设备,请按以下步骤操作:

Microsoft Windows

  1. 下载支持 UTF-8 文件名的 SCP 或 SFTP 客户端,例如 WinSCP

  2. 使用 SCP 工具,使用以下设置连接到设备:

    • 文件协议:SFTP
    • 主机名:设备的 IP 地址。
    • 端口号:22
    • 用户名:Transfer Appliance 团队提供的设备用户名。
    • 密码:Transfer Appliance 团队提供的设备密码。

    Transfer Appliance 上的目标目录必须为 /mnt/ta_data

Linux

  1. 运行以下命令:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
    

    替换以下内容:

    • PATH_TO_FILES:要复制的文件的路径。
    • USERNAME:Transfer Appliance 团队提供的设备用户名。
    • IP_ADDRESS:设备的 IP 地址。
  2. 出现提示时,输入 Transfer Appliance 团队提供的设备密码。

Apple macOS

  1. 运行以下命令:

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
    

    替换以下内容:

    • PATH_TO_FILES:要复制的文件的路径。
    • USERNAME:Transfer Appliance 团队提供的设备用户名。
    • IP_ADDRESS:设备的 IP 地址。
  2. 出现提示时,输入 Transfer Appliance 团队提供的设备密码。

使用 NFS 共享复制数据

如需使用 NFS 共享将数据复制到设备,请按以下步骤操作:

  1. 如需装载 Transfer Appliance,请在数据源上运行以下命令:

    Linux

    1. sudo mkdir /mnt/data
      
    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      IP_ADDRESS 替换为设备的 IP 地址。

    Apple macOS

    1. cd ~
      
    2. mkdir ta_data
      
    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      IP_ADDRESS 替换为设备的 IP 地址。

  2. 如需将数据复制到设备,请使用您选择的复制实用程序。

    复制数据是一项长时间运行的操作。在 Apple macOS 或 Linux 上,我们建议使用 tmuxscreen 以确保复制过程在退出或网络中断后继续有效。

保存 SSH 密钥

保存您的 SSH 密钥,以便更快地登录 Transfer Appliance。 保存 SSH 密钥还可以提高传输速度。

  1. 在工作站上,使用以下命令生成密钥对:

    posix-terminal
    ssh-keygen -t rsa
    
  2. 在设备上创建 /tmp/ssh_key 文件。

  3. 将公钥文件的内容从您的工作站复制到设备上的 /tmp/ssh_key。公钥文件位于工作站上的以下位置:

    • Linux~/.ssh/id_rsa.pub
    • WindowsC:Users/USERNAME/.ssh

    如需授权多个密钥,请在 /tmp/ssh_key 中为每个密钥添加一行。

  4. 在设备上运行以下命令。所有现有密钥都将被覆盖。

    ta copy_ssh_keys
    
  5. 登录设备。

    • 如果私钥位于工作站上的默认位置,请使用以下命令登录设备:

      ssh ta_customer@IP_ADDRESS
      
    • 如果私钥不在默认位置,请使用以下命令登录设备:

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
      

使用 SMB 传输数据

如需启用 SMB 文件共享,请按以下步骤操作:

  1. 使用以下文件共享协议标志将设备配置为使用 SMB:

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
    

    系统会共享 ta_data 目录,并创建以下用户:

    • 用户名:ta_customer
    • 密码:ta_customer
  2. 根据您的主机类型,连接到 SMB 文件共享:

    Microsoft Windows

    文件管理器

    1. 打开文件管理器,然后将文件路径修改为 \\IP_ADDRESS\ta_data

    2. 系统提示时,输入您的用户名和密码。

    命令行

    1. 在 Windows 命令提示符中输入以下内容:net use X: \\IP_ADDRESS\ta_data

    2. 系统提示时,输入您的用户名和密码。

    Linux

    文件管理器

    1. 打开默认的文件管理器,然后点击连接服务器

    2. 输入 smb://IP_ADDRESS/ta_data

    3. 系统提示时,输入您的用户名和密码。

    命令行

    1. 安装 SMB 客户端:sudo apt-get install smbclient

    2. 连接到 SMB 文件共享:smbclient //IP_ADDRESS/ta_data -U USERNAME

      系统会显示 smb:\> 提示符。

在设备上使用您自己的文件共享

该设备使用封装的 Linux mount 命令在设备上挂载共享:

  1. 运行以下命令:

    NFS

    1. 更新托管 NFS 服务器的设备上的 /etc/exports 文件,向 IP_ADDRESS 授予对服务器的访问权限。

    2. 在设备上运行以下命令:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      
      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容:

      • IP_ADDRESS:设备的 IP 地址。
      • MOUNT_POINT:此共享的挂载点名称。
      • NFS_SERVER_IP:托管 NFS 服务器的设备的 IP 地址
      • NFS_DIRECTORY:NFS 共享的路径。
      • OPTIONS:以英文逗号分隔的选项列表。这些选项是 Linux 的 mount 命令允许的选项。

    CIFS

    1. 在设备上运行以下命令:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      
      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容:

      • MOUNT_POINT:此共享的挂载点名称。
      • CIFS_SERVER_IP:托管 CIFS 服务器的设备的 IP 地址。
      • CIFS_NAME:CIFS 共享名称。
      • OPTIONS:选项的逗号分隔列表,包括 CIFS 共享的密码和用户名。这些选项是 Linux 的 mount 命令允许的选项。

    除非在挂载选项中另有说明,否则系统会在重新启动后重新挂载该挂载点,直到您使用“ta unmount”命令将其移除为止。

  2. 如需卸载设备上的所有挂载点,请运行以下命令:

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. 如需将数据复制到设备,请使用您选择的复制实用程序。

    RClone

    1. 如需在设备上使用 RClone 运行复制命令,请运行以下命令:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      替换以下内容:

      • MOUNT_POINT:包含要转移的数据的目录。

    归档拉取

    1. 如需在转移期间将数据归档到 tar 文件中,请运行以下命令:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      替换以下内容:

      • MOUNT_POINT:包含要转移的数据的目录。
      • ARCHIVE_SIZE_BYTES:要在目标位置生成的 tar 球的目标大小。默认值为 1GB,应介于 5MB 到 20GB 之间(包括这两个数值)。
      • THREAD_COUNT:同时运行以创建归档文件的线程数。默认为 20,应介于 1 到 10000 之间(包括这两个数值)。

      归档拉取操作会在后台运行,因此您可以放心地退出终端。拉取首先会列出数据,然后才能开始传输。

    2. 开始拉取时,系统会返回一个 ID,此值可用于与拉取操作进行交互:

      如需检查拉取操作的状态,请运行以下命令:

      ta pull --id=ID --status

      如需暂停拉取操作,请运行以下命令:

      ta pull --id=ID --pause

      如需恢复已暂停或中断的拉取,请运行以下命令:

      ta pull --id=ID --resume

      替换以下内容:

      • ID:拉取 ID。
    3. 拉取完成后,您可以在 /mnt/ta_data/TA_ARCHIVE_ID/ 目录下找到 tar 文件包。系统会生成一个清单文件,并将其保存在 /mnt/ta_data/manifest_ID.tsv。此文件将包含传输的文件的信息,详细说明哪个 tar 文件包含哪些文件。系统同样会将错误清单文件保存在 /mnt/ta_data/manifest_ID_ERROR.tsv,其中详细说明了拉取过程中遇到的所有错误。

    建议一次运行一个拉取命令。

    速度测试是在 TA7 上针对 100 GB 大小的数据集进行的。分享这些值是为了帮助您在提供的两种复制实用程序之间做出决定。传输速度可能会受到设备类型和网络连接性的影响。

    方法 文件大小 归档大小(字节)(仅限归档拉取) 费率 (NFS) 费率(中小型企业)
    RClone 100 MB 不适用 600 MB/秒 620 MB/秒
    归档拉取 100 MB 10 GB 750 MB/秒 850 MB/秒
    RClone 1 MB 不适用 280 MB/秒 270 MB/秒
    归档拉取 1 MB 500 MB 630 MB/秒 380 MB/秒
    RClone 100 KB 不适用 150 MB/秒 150 MB/秒
    归档拉取 100 KB 5 MB 270 MB/秒 90 MB/秒