转移数据

Transfer Appliance 支持使用以下方法将数据复制到设备：

• 适用于 Microsoft Windows、Linux 和 macOS 的 SCP 或 SFTP。
• 适用于 Linux 和 macOS 的 NFS 共享。
• SMB 共享（适用于 Microsoft Windows 和 Linux）。
• 针对 NFS 和 CIFS 装载设备。

将数据复制到 Transfer Appliance 后，请先验证将数据转移到 Cloud Storage 存储桶的操作完成，然后再删除源数据。

文件大小和命名要求

上传到设备的文件必须符合 Cloud Storage 文件大小限制和命名准则：

• 如需了解文件大小限制，请参阅 Cloud Storage 配额和限制页面。
• 对象命名准则页面介绍了文件名准则。

Transfer Appliance 不会验证文件大小或名称。在将设备寄回给 Google 时，如果设备包含不符合这些规则的文件，我们可能无法转移这些文件。

使用 SCP 或 SFTP 复制数据

要使用 SCP 或 SFTP 将数据复制到设备，请按以下步骤操作：

Microsoft Windows

1. 下载支持 UTF-8 文件名的 SCP 或 SFTP 客户端，如 WinSCP。

2. 通过 SCP 工具，使用以下设置连接到设备：

   • 文件协议：SFTP
   • 主机名：设备的 IP 地址。
   • 端口号：22
   • 用户名：Transfer Appliance 团队提供的设备用户名。
   • 密码：Transfer Appliance 团队提供的设备密码。

   Transfer Appliance 上的目标目录必须为 /mnt/ta_data。

Linux

1. 运行以下命令：

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   替换以下内容：

   • PATH_TO_FILES：您要复制的文件的路径。
   • USERNAME：Transfer Appliance 团队提供的设备用户名。
   • IP_ADDRESS：设备的 IP 地址。

2. 出现提示时，输入 Transfer Appliance 团队提供的设备密码。

Apple macOS

1. 运行以下命令：

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   替换以下内容：

   • PATH_TO_FILES：您要复制的文件的路径。
   • USERNAME：Transfer Appliance 团队提供的设备用户名。
   • IP_ADDRESS：设备的 IP 地址。

2. 出现提示时，输入 Transfer Appliance 团队提供的设备密码。

使用 NFS 共享来复制数据

要使用 NFS 共享将数据复制到设备，请按以下步骤操作：

1. 如需装载 Transfer Appliance，请在数据源上运行以下命令：

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      将 IP_ADDRESS 替换为设备的 IP 地址。

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      将 IP_ADDRESS 替换为设备的 IP 地址。

2. 要将数据复制到设备，请使用您选择的复制实用程序。

   复制数据是一项长时间运行的操作。在 Apple macOS 或 Linux 上，我们建议您使用 tmux 或 screen 来确保复制过程在退出登录或网络断开连接后继续有效。

保存 SSH 密钥

保存 SSH 密钥可加快登录 Transfer Appliance 的速度。保存 SSH 密钥也可以加快转移速度。

1. 在工作站上，使用以下命令生成密钥对：

   posix-terminal
   ssh-keygen -t rsa
   

2. 在设备上创建一个 /tmp/ssh_key 文件。

3. 将公钥文件的内容从工作站复制到设备上的 /tmp/ssh_key。公钥文件位于工作站上的以下位置：

   • Linux：~/.ssh/id_rsa.pub
   • Windows：C:Users/USERNAME/.ssh

   如需授权多个密钥，请在 /tmp/ssh_key 中另起一行添加每个密钥。

4. 在设备上运行以下命令。所有现有密钥都会被覆盖。

   ta copy_ssh_keys
   

5. 登录设备。

   • 如果私钥位于工作站上的默认位置，请使用以下命令登录设备：

     ssh ta_customer@IP_ADDRESS
     

   • 如果私钥不在默认位置，请使用以下命令登录设备：

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

使用 SMB 传输数据

如需启用 SMB 文件共享功能，请按以下步骤操作：

1. 使用以下文件共享协议标志将设备配置为使用 SMB：

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   系统会共享 ta_data 目录并创建以下用户：

   • 用户名：ta_customer
   • 密码：ta_customer

2. 根据您的主机类型，连接到 SMB 文件共享：

   Microsoft Windows

   文件管理器

   1. 打开文件管理器，将文件路径修改为 \\IP_ADDRESS\ta_data。

   2. 出现提示时，输入您的用户名和密码。

   命令行

   1. 在 Windows 命令提示符处输入以下命令：net use X: \\IP_ADDRESS\ta_data

   2. 出现提示时，输入您的用户名和密码。

   Linux

   文件管理器

   1. 打开默认的文件管理器，然后点击连接到服务器。

   2. 输入 smb://IP_ADDRESS/ta_data。

   3. 出现提示时，输入您的用户名和密码。

   命令行

   1. 安装 SMB 客户端：sudo apt-get install smbclient。

   2. 连接到 SMB 文件共享：smbclient //IP_ADDRESS/ta_data -U USERNAME

      系统会显示 smb:\> 提示。

在设备上使用您自己的文件共享

注意 ：您可能需要更新设备软件才能启用装载功能。如果您的设备支持在线转移，请运行 ta update，或在更新设备软件页面上了解详情。

设备使用封装的 Linux 装载命令在设备上装载共享：

1. 运行以下命令：

   NFS

   1. 更新托管 NFS 服务器的设备上的 /etc/exports 文件，以便授予对服务器的 IP_ADDRESS 访问权限。

   2. 在设备上运行以下命令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容：

      • IP_ADDRESS：设备的 IP 地址。
      • MOUNT_POINT：此共享的装载点的名称。
      • NFS_SERVER_IP：托管 NFS 服务器的设备的 IP 地址
      • NFS_DIRECTORY：指向 NFS 共享的路径。
      • OPTIONS：以英文逗号分隔的选项列表。这些选项是 Linux 的装载命令允许使用的选项。

   CIFS

   1. 在设备上运行以下命令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容：

      • MOUNT_POINT：此共享的装载点的名称。
      • CIFS_SERVER_IP：托管 CIFS 服务器的设备的 IP 地址。
      • CIFS_NAME：CIFS 共享名称。
      • OPTIONS：以英文逗号分隔的选项列表，包括 CIFS 共享的密码和用户名。这些选项是 Linux 的装载命令允许使用的选项。

   除非装载选项中另有指定，否则装载点会在重新启动时重新装载，直到您使用“ta unmount”命令将其移除。

2. 要卸载设备上的任何装载，请运行以下命令：

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. 要将数据复制到设备，请使用您选择的复制实用程序。

   RClone

   1. 要在设备上使用 RClone 运行复制命令，请运行以下命令：

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      替换以下内容：

      • MOUNT_POINT：包含要转移的数据的目录。

   归档拉取

   1. 如需在传输期间将数据归档为 tar 文件，请运行以下命令：

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      替换以下内容：

      • MOUNT_POINT：包含要转移的数据的目录。
      • ARCHIVE_SIZE_BYTES：将在目的地生成的 tar 球的目标大小。默认为 1 GB，介于 5 MB 到 20 GB（含）之间。
      • THREAD_COUNT：同时运行创建归档的线程数量。默认值为 20，预期介于 1 和 10, 000（含）之间。

      归档拉取功能在后台运行，您可以安全地退出终端。拉取首先是列出数据的一个阶段，然后才开始传输。

   2. 当您开始拉取时，系统会返回一个 ID，此值可用于与拉取进行交互：

      如需检查拉取状态，请运行以下命令：

      ta pull --id=ID --status

      如需暂停拉取，请运行以下命令：

      ta pull --id=ID --pause

      如需恢复已暂停或中断的拉取，请运行以下命令：

      ta pull --id=ID --resume

      替换以下内容：

      • ID：拉取 ID。

   3. 拉取完成后，可在 /mnt/ta_data/TA_ARCHIVE_ID/ 目录下找到 tar 球。系统会生成一个清单文件，并将其保存在 /mnt/ta_data/manifest_ID.tsv 中。此文件将包含所传输文件的信息，并详细说明哪些 tar 压缩文件用于容纳哪些文件。同样地，错误清单文件也会保存在 /mnt/ta_data/manifest_ID_ERROR.tsv 中，其中详细说明了在拉取过程中遇到的所有错误。

   建议一次运行一个拉取命令。

   注意：拉取功能不适用于处理目录包含超过 5 万个子目录的数据集。为避免等待时间过长，请考虑使用其他复制方法。

   在 TA7 上对大小为 100 GB 的数据集进行速度测试。我们之所以分享这些值，是为了给您提供建议，帮助您在我们提供的两种复制实用程序之间做出选择。传输速度受设备类型和网络连接的影响。

   方法	文件大小	归档大小字节数（仅限归档拉取）	费率 (NFS)	费率 (SMB)
   RClone	100 MB	不适用	600 MB/秒	620 MB/秒
   归档拉取	100 MB	10 GB	750 MB/秒	850 MB/秒
   RClone	1 MB	不适用	280 MB/秒	270 MB/秒
   归档拉取	1 MB	500 MB	630 MB/秒	380 MB/秒
   RClone	100 KB	不适用	150 MB/秒	150 MB/秒
   归档拉取	100 KB	5 MB	270 MB/秒	90 MB/秒