转移数据

Transfer Appliance 支持使用以下方法将数据复制到 该设备：

• SCP 或 SFTP（适用于 Microsoft Windows、Linux 和 macOS）。
• 适用于 Linux 和 macOS 的 NFS 共享。
• SMB 共享（适用于 Microsoft Windows 和 Linux）。
• 装载到支持 NFS 和 CIFS 的设备上。

将数据复制到 Transfer Appliance 后， 验证将数据转移到 在您删除源数据之前，Cloud Storage 存储桶已完成。

文件大小和命名要求

上传到设备的文件必须符合 Cloud Storage 的要求 文件大小限制和命名准则：

• 文件大小限制记录在 Cloud Storage 的配额和限制页面上。
• 文件名准则记录在 对象命名准则页面。

Transfer Appliance 不会验证文件大小或名称。如果 Search Appliance 中包含不符合这些规则的文件， 寄送回 Google，我们可能无法传输这些文件。

使用 SCP 或 SFTP 复制数据

如需使用 SCP 或 SFTP 将数据复制到设备，请按以下步骤操作：

Microsoft Windows

1. 下载一个支持 UTF-8 文件名的 SCP 或 SFTP 客户端，如 WinSCP。

2. 使用 SCP 工具，使用以下设置连接到设备：

   • 文件协议：SFTP
   • 主机名：设备的 IP 地址。
   • 端口号：22
   • 用户名：Transfer Appliance 团队提供的设备用户名。
   • 密码：Transfer Appliance 团队提供的设备密码。

   Transfer Appliance 上的目标目录必须为 /mnt/ta_data。

Linux

1. 运行以下命令：

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   替换以下内容：

   • PATH_TO_FILES：所存储文件的路径 复制。
   • USERNAME：由 Transfer Appliance 团队。
   • IP_ADDRESS：设备的 IP 地址。

2. 出现提示时，输入由 提供的设备密码 Transfer Appliance 团队。

Apple macOS

1. 运行以下命令：

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   替换以下内容：

   • PATH_TO_FILES：所存储文件的路径 复制。
   • USERNAME：由 Transfer Appliance 团队。
   • IP_ADDRESS：设备的 IP 地址。

2. 出现提示时，输入由 提供的设备密码 Transfer Appliance 团队。

使用 NFS 共享复制数据

要使用 NFS 共享将数据复制到设备，请按照以下步骤操作：

1. 要装载 Transfer Appliance，请在以下位置运行以下命令： 您的数据源：

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      将 IP_ADDRESS 替换为设备的 IP 地址。

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      将 IP_ADDRESS 替换为设备的 IP 地址。

2. 要将数据复制到设备，请使用您选择的复制实用程序。

   复制数据是一项长时间运行的操作。在 Apple macOS 或 Linux 上 建议使用 tmux 或 screen，以确保复制流程继续有效 退出或断开网络。

保存 SSH 密钥

保存您的 SSH 密钥，以便更快地登录 Transfer Appliance。 保存 SSH 密钥也可以提高传输速度。

1. 在您的工作站上，使用以下命令生成密钥对：

   posix-terminal
   ssh-keygen -t rsa
   

2. 在设备上创建 /tmp/ssh_key 文件。

3. 将公钥文件的内容从工作站复制到 设备上的 /tmp/ssh_key 权限。公钥文件位于 工作站上的位置：

   • Linux：~/.ssh/id_rsa.pub
   • Windows：C:Users/USERNAME/.ssh

   如需授权多个密钥，请在 /tmp/ssh_key 中另起一行添加每个密钥。

4. 在设备上运行以下命令。所有现有密钥都将被覆盖。

   ta copy_ssh_keys
   

5. 登录设备。

   • 如果私钥位于工作站上的默认位置，请使用 来登录设备：

     ssh ta_customer@IP_ADDRESS
     

   • 如果私钥不在默认位置，请使用以下命令 登录设备：

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

使用 SMB 传输数据

要启用 SMB 文件共享，请按以下步骤操作：

1. 通过以下文件共享将设备配置为使用 SMB 协议标志：

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   共享 ta_data 目录并创建以下用户：

   • 用户名：ta_customer
   • 密码：ta_customer

2. 根据您的主机类型，连接到 SMB 文件共享：

   Microsoft Windows

   文件管理器

   1. 打开文件管理器并修改 \\IP_ADDRESS\ta_data 的文件路径。

   2. 系统提示时，输入您的用户名和密码。

   命令行

   1. 在 Windows 命令提示符处输入以下命令：net use X: \\IP_ADDRESS\ta_data

   2. 系统提示时，输入您的用户名和密码。

   Linux

   文件管理器

   1. 打开默认文件管理器，然后点击 Connect to server（连接到服务器）。

   2. 输入 smb://IP_ADDRESS/ta_data。

   3. 出现提示时，输入您的用户名和密码。

   命令行

   1. 安装 SMB 客户端：sudo apt-get install smbclient。

   2. 连接到 SMB 文件共享：smbclient //IP_ADDRESS/ta_data -U USERNAME

      系统会显示 smb:\> 提示。

在设备上使用您自己的文件共享

设备利用封装的 Linux 装载命令，将共享 设备：

1. 运行以下命令：

   NFS

   1. 更新托管 NFS 服务器设备上的 /etc/exports 文件 授予对服务器的 IP_ADDRESS 访问权限。

   2. 在设备上运行以下命令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容：

      • IP_ADDRESS：设备的 IP 地址。
      • MOUNT_POINT：此装载点的名称 份额。
      • NFS_SERVER_IP：托管设备的 IP 地址 NFS 服务器
      • NFS_DIRECTORY：NFS 共享的路径。
      • OPTIONS：以英文逗号分隔的选项列表。 这些选项是 Linux 的 mount 命令允许的选项。

   CIFS

   1. 在设备上运行以下命令：

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      替换以下内容：

      • MOUNT_POINT：此装载点的名称 份额。
      • CIFS_SERVER_IP：托管设备的 IP 地址 CIFS 服务器。
      • CIFS_NAME：CIFS 共享名称。
      • OPTIONS：以英文逗号分隔的选项列表，包括 CIFS 共享的密码和用户名。这些选项是允许使用的 装载它们

   除非在挂载选项中另有说明，否则系统会在重新启动后重新挂载该挂载点，直到您使用“ta unmount”命令将其移除为止。

2. 如需卸载设备上的任何装载，请运行以下命令：

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. 要将数据复制到设备，请使用您选择的复制实用程序。

   RClone

   1. 要在设备上使用 RClone 运行复制命令，请运行以下命令：

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      替换以下内容：

      • MOUNT_POINT：包含要转移的数据的目录。

   归档拉取

   1. 如需在转移期间将数据归档到 tar 文件，请运行以下命令：

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      替换以下内容：

      • MOUNT_POINT：包含要转移的数据的目录。
      • ARCHIVE_SIZE_BYTES：要在目的地生成的 tar 球的目标大小。默认值为 1GB，介于 5MB 和 20GB（含）之间。
      • THREAD_COUNT：同时运行以创建归档文件的线程数。默认值为 20，应介于 1 和 10000（含）之间。

      归档拉取操作会在后台运行，因此您可以放心地退出终端。拉取从列出数据开始的阶段，然后再开始转移。

   2. 开始拉取时，系统会返回一个 ID，此值可用于与拉取操作进行交互：

      如需检查拉取的状态，请运行以下命令：

      ta pull --id=ID --status

      如需暂停拉取，请运行以下命令：

      ta pull --id=ID --pause

      如需恢复暂停或中断的拉取操作，请运行以下命令：

      ta pull --id=ID --resume

      替换以下内容：

      • ID：拉取 ID。

   3. 拉取完成后，可以在 /mnt/ta_data/TA_ARCHIVE_ID/ 目录下找到 tar 球。系统会生成一个清单文件，并将其保存在 /mnt/ta_data/manifest_ID.tsv 中。该文件包含所传输文件的信息，详细说明哪些 tar 球文件包含哪些文件。同样，错误清单文件也会保存在 /mnt/ta_data/manifest_ID_ERROR.tsv 中，其中会详细说明在拉取过程中遇到的所有错误。

   建议一次运行一个拉取命令。

   注意：拉取不适用于目录包含超过 5 万个子目录的数据集。为避免延长等待时间，请考虑使用其他复制方法。

   速度测试在 TA7 上针对大小为 100 GB 的数据集进行。分享这些值是为了帮助您在提供的两种复制实用程序之间做出决定。传输速度可能会受设备类型和网络连接的影响。

   方法	文件大小	归档大小字节数（仅限归档拉取）	速率 (NFS)	费率 (SMB)
   RClone	100 MB	不适用	600 MB/秒	620 MB/秒
   归档拉取	100 MB	10 GB	750 MB/秒	850 MB/秒
   RClone	1 MB	不适用	280 MB/秒	270 MB/秒
   归档拉取	1 MB	500 MB	630 MB/秒	380 MB/秒
   RClone	100 KB	不适用	150 MB/秒	150 MB/秒
   归档拉取	100 KB	5 MB	270 MB/秒	90 MB/秒