Transfer Appliance 支持以下方法将数据复制到设备:
- 适用于 Microsoft Windows、Linux 和 macOS 的 SCP 或 SFTP。
- 适用于 Linux 和 macOS 的 NFS 共享。
- 适用于 Microsoft Windows 和 Linux 的 SMB 共享。
- 对于 NFS 和 CIFS,请在设备上进行挂载。
将数据复制到 Transfer Appliance 后,请先验证数据是否已成功转移到 Cloud Storage 存储桶,然后再删除源数据。
文件大小和命名要求
上传到设备的文件必须符合 Cloud Storage 文件大小限制和命名准则:
Transfer Appliance 不会验证文件大小或名称。如果设备在寄回 Google 时包含不符合这些规则的文件,我们可能无法转移这些文件。
使用 SCP 或 SFTP 复制数据
如需使用 SCP 或 SFTP 将数据复制到设备,请按以下步骤操作:
Microsoft Windows
下载支持 UTF-8 文件名的 SCP 或 SFTP 客户端,例如 WinSCP。
使用 SCP 工具,使用以下设置连接到设备:
- 文件协议:SFTP
- 主机名:设备的 IP 地址。
- 端口号:22
- 用户名:Transfer Appliance 团队提供的设备用户名。
- 密码:Transfer Appliance 团队提供的设备密码。
Transfer Appliance 上的目标目录必须为
/mnt/ta_data
。
Linux
运行以下命令:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
替换以下内容:
PATH_TO_FILES
:要复制的文件的路径。USERNAME
:Transfer Appliance 团队提供的设备用户名。IP_ADDRESS
:设备的 IP 地址。
出现提示时,输入 Transfer Appliance 团队提供的设备密码。
Apple macOS
运行以下命令:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
替换以下内容:
PATH_TO_FILES
:要复制的文件的路径。USERNAME
:Transfer Appliance 团队提供的设备用户名。IP_ADDRESS
:设备的 IP 地址。
出现提示时,输入 Transfer Appliance 团队提供的设备密码。
使用 NFS 共享复制数据
如需使用 NFS 共享将数据复制到设备,请按以下步骤操作:
如需装载 Transfer Appliance,请在数据源上运行以下命令:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
将
IP_ADDRESS
替换为设备的 IP 地址。
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
将
IP_ADDRESS
替换为设备的 IP 地址。
如需将数据复制到设备,请使用您选择的复制实用程序。
复制数据是一项长时间运行的操作。在 Apple macOS 或 Linux 上,我们建议使用
tmux
或screen
以确保复制过程在退出或网络中断后继续有效。
保存 SSH 密钥
保存您的 SSH 密钥,以便更快地登录 Transfer Appliance。 保存 SSH 密钥还可以提高传输速度。
在工作站上,使用以下命令生成密钥对:
posix-terminal ssh-keygen -t rsa
在设备上创建
/tmp/ssh_key
文件。将公钥文件的内容从您的工作站复制到设备上的
/tmp/ssh_key
。公钥文件位于工作站上的以下位置:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
如需授权多个密钥,请在
/tmp/ssh_key
中为每个密钥添加一行。- Linux:
在设备上运行以下命令。所有现有密钥都将被覆盖。
ta copy_ssh_keys
登录设备。
如果私钥位于工作站上的默认位置,请使用以下命令登录设备:
ssh ta_customer@IP_ADDRESS
如果私钥不在默认位置,请使用以下命令登录设备:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
使用 SMB 传输数据
如需启用 SMB 文件共享,请按以下步骤操作:
使用以下文件共享协议标志将设备配置为使用 SMB:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
系统会共享
ta_data
目录,并创建以下用户:- 用户名:
ta_customer
- 密码:
ta_customer
- 用户名:
根据您的主机类型,连接到 SMB 文件共享:
Microsoft Windows
文件管理器
打开文件管理器,然后将文件路径修改为
\\IP_ADDRESS\ta_data
。系统提示时,输入您的用户名和密码。
命令行
在 Windows 命令提示符中输入以下内容:
net use X: \\IP_ADDRESS\ta_data
系统提示时,输入您的用户名和密码。
Linux
文件管理器
打开默认的文件管理器,然后点击连接服务器。
输入
smb://IP_ADDRESS/ta_data
。系统提示时,输入您的用户名和密码。
命令行
安装 SMB 客户端:
sudo apt-get install smbclient
。连接到 SMB 文件共享:
smbclient //IP_ADDRESS/ta_data -U USERNAME
系统会显示
smb:\>
提示符。
在设备上使用您自己的文件共享
该设备使用封装的 Linux mount 命令在设备上挂载共享:
运行以下命令:
NFS
更新托管 NFS 服务器的设备上的 /etc/exports 文件,向 IP_ADDRESS 授予对服务器的访问权限。
在设备上运行以下命令:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
替换以下内容:
IP_ADDRESS
:设备的 IP 地址。MOUNT_POINT
:此共享的挂载点名称。NFS_SERVER_IP
:托管 NFS 服务器的设备的 IP 地址NFS_DIRECTORY
:NFS 共享的路径。OPTIONS
:以英文逗号分隔的选项列表。这些选项是 Linux 的 mount 命令允许的选项。
CIFS
在设备上运行以下命令:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
替换以下内容:
MOUNT_POINT
:此共享的挂载点名称。CIFS_SERVER_IP
:托管 CIFS 服务器的设备的 IP 地址。CIFS_NAME
:CIFS 共享名称。OPTIONS
:选项的逗号分隔列表,包括 CIFS 共享的密码和用户名。这些选项是 Linux 的 mount 命令允许的选项。
除非在挂载选项中另有说明,否则系统会在重新启动后重新挂载该挂载点,直到您使用“ta unmount”命令将其移除为止。
如需卸载设备上的所有挂载点,请运行以下命令:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
如需将数据复制到设备,请使用您选择的复制实用程序。
RClone
如需在设备上使用 RClone 运行复制命令,请运行以下命令:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
替换以下内容:
MOUNT_POINT
:包含要转移的数据的目录。
归档拉取
如需在转移期间将数据归档到 tar 文件中,请运行以下命令:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
替换以下内容:
MOUNT_POINT
:包含要转移的数据的目录。ARCHIVE_SIZE_BYTES
:要在目标位置生成的 tar 球的目标大小。默认值为 1GB,应介于 5MB 到 20GB 之间(包括这两个数值)。THREAD_COUNT
:同时运行以创建归档文件的线程数。默认为 20,应介于 1 到 10000 之间(包括这两个数值)。
归档拉取操作会在后台运行,因此您可以放心地退出终端。拉取首先会列出数据,然后才能开始传输。
开始拉取时,系统会返回一个 ID,此值可用于与拉取操作进行交互:
如需检查拉取操作的状态,请运行以下命令:
ta pull --id=ID --status
如需暂停拉取操作,请运行以下命令:
ta pull --id=ID --pause
如需恢复已暂停或中断的拉取,请运行以下命令:
ta pull --id=ID --resume
替换以下内容:
ID
:拉取 ID。
拉取完成后,您可以在
/mnt/ta_data/TA_ARCHIVE_ID/
目录下找到 tar 文件包。系统会生成一个清单文件,并将其保存在/mnt/ta_data/manifest_ID.tsv
。此文件将包含传输的文件的信息,详细说明哪个 tar 文件包含哪些文件。系统同样会将错误清单文件保存在/mnt/ta_data/manifest_ID_ERROR.tsv
,其中详细说明了拉取过程中遇到的所有错误。
建议一次运行一个拉取命令。
速度测试是在 TA7 上针对 100 GB 大小的数据集进行的。分享这些值是为了帮助您在提供的两种复制实用程序之间做出决定。传输速度可能会受到设备类型和网络连接性的影响。
方法 文件大小 归档大小(字节)(仅限归档拉取) 费率 (NFS) 费率(中小型企业) RClone 100 MB 不适用 600 MB/秒 620 MB/秒 归档拉取 100 MB 10 GB 750 MB/秒 850 MB/秒 RClone 1 MB 不适用 280 MB/秒 270 MB/秒 归档拉取 1 MB 500 MB 630 MB/秒 380 MB/秒 RClone 100 KB 不适用 150 MB/秒 150 MB/秒 归档拉取 100 KB 5 MB 270 MB/秒 90 MB/秒