Transfer Appliance 支持使用以下方法将数据复制到设备:
- 适用于 Microsoft Windows、Linux 和 macOS 的 SCP 或 SFTP。
- 适用于 Linux 和 macOS 的 NFS 共享。
- SMB 共享(适用于 Microsoft Windows 和 Linux)。
- 针对 NFS 和 CIFS 装载设备。
将数据复制到 Transfer Appliance 后,请先验证将数据转移到 Cloud Storage 存储桶的操作完成,然后再删除源数据。
文件大小和命名要求
上传到设备的文件必须符合 Cloud Storage 文件大小限制和命名准则:
Transfer Appliance 不会验证文件大小或名称。在将设备寄回给 Google 时,如果设备包含不符合这些规则的文件,我们可能无法转移这些文件。
使用 SCP 或 SFTP 复制数据
要使用 SCP 或 SFTP 将数据复制到设备,请按以下步骤操作:
Microsoft Windows
下载支持 UTF-8 文件名的 SCP 或 SFTP 客户端,如 WinSCP。
通过 SCP 工具,使用以下设置连接到设备:
- 文件协议:SFTP
- 主机名:设备的 IP 地址。
- 端口号:22
- 用户名:Transfer Appliance 团队提供的设备用户名。
- 密码:Transfer Appliance 团队提供的设备密码。
Transfer Appliance 上的目标目录必须为
/mnt/ta_data
。
Linux
运行以下命令:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
替换以下内容:
PATH_TO_FILES
:您要复制的文件的路径。USERNAME
:Transfer Appliance 团队提供的设备用户名。IP_ADDRESS
:设备的 IP 地址。
出现提示时,输入 Transfer Appliance 团队提供的设备密码。
Apple macOS
运行以下命令:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
替换以下内容:
PATH_TO_FILES
:您要复制的文件的路径。USERNAME
:Transfer Appliance 团队提供的设备用户名。IP_ADDRESS
:设备的 IP 地址。
出现提示时,输入 Transfer Appliance 团队提供的设备密码。
使用 NFS 共享来复制数据
要使用 NFS 共享将数据复制到设备,请按以下步骤操作:
如需装载 Transfer Appliance,请在数据源上运行以下命令:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
将
IP_ADDRESS
替换为设备的 IP 地址。
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
将
IP_ADDRESS
替换为设备的 IP 地址。
要将数据复制到设备,请使用您选择的复制实用程序。
复制数据是一项长时间运行的操作。在 Apple macOS 或 Linux 上,我们建议您使用
tmux
或screen
来确保复制过程在退出登录或网络断开连接后继续有效。
保存 SSH 密钥
保存 SSH 密钥可加快登录 Transfer Appliance 的速度。保存 SSH 密钥也可以加快转移速度。
在工作站上,使用以下命令生成密钥对:
posix-terminal ssh-keygen -t rsa
在设备上创建一个
/tmp/ssh_key
文件。将公钥文件的内容从工作站复制到设备上的
/tmp/ssh_key
。公钥文件位于工作站上的以下位置:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
如需授权多个密钥,请在
/tmp/ssh_key
中另起一行添加每个密钥。- Linux:
在设备上运行以下命令。所有现有密钥都会被覆盖。
ta copy_ssh_keys
登录设备。
如果私钥位于工作站上的默认位置,请使用以下命令登录设备:
ssh ta_customer@IP_ADDRESS
如果私钥不在默认位置,请使用以下命令登录设备:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
使用 SMB 传输数据
如需启用 SMB 文件共享功能,请按以下步骤操作:
使用以下文件共享协议标志将设备配置为使用 SMB:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
系统会共享
ta_data
目录并创建以下用户:- 用户名:
ta_customer
- 密码:
ta_customer
- 用户名:
根据您的主机类型,连接到 SMB 文件共享:
Microsoft Windows
文件管理器
打开文件管理器,将文件路径修改为
\\IP_ADDRESS\ta_data
。出现提示时,输入您的用户名和密码。
命令行
在 Windows 命令提示符处输入以下命令:
net use X: \\IP_ADDRESS\ta_data
出现提示时,输入您的用户名和密码。
Linux
文件管理器
打开默认的文件管理器,然后点击连接到服务器。
输入
smb://IP_ADDRESS/ta_data
。出现提示时,输入您的用户名和密码。
命令行
安装 SMB 客户端:
sudo apt-get install smbclient
。连接到 SMB 文件共享:
smbclient //IP_ADDRESS/ta_data -U USERNAME
系统会显示
smb:\>
提示。
在设备上使用您自己的文件共享
设备使用封装的 Linux 装载命令在设备上装载共享:
运行以下命令:
NFS
更新托管 NFS 服务器的设备上的 /etc/exports 文件,以便授予对服务器的 IP_ADDRESS 访问权限。
在设备上运行以下命令:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
替换以下内容:
IP_ADDRESS
:设备的 IP 地址。MOUNT_POINT
:此共享的装载点的名称。NFS_SERVER_IP
:托管 NFS 服务器的设备的 IP 地址NFS_DIRECTORY
:指向 NFS 共享的路径。OPTIONS
:以英文逗号分隔的选项列表。这些选项是 Linux 的装载命令允许使用的选项。
CIFS
在设备上运行以下命令:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
替换以下内容:
MOUNT_POINT
:此共享的装载点的名称。CIFS_SERVER_IP
:托管 CIFS 服务器的设备的 IP 地址。CIFS_NAME
:CIFS 共享名称。OPTIONS
:以英文逗号分隔的选项列表,包括 CIFS 共享的密码和用户名。这些选项是 Linux 的装载命令允许使用的选项。
除非装载选项中另有指定,否则装载点会在重新启动时重新装载,直到您使用“ta unmount”命令将其移除。
要卸载设备上的任何装载,请运行以下命令:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
要将数据复制到设备,请使用您选择的复制实用程序。
RClone
要在设备上使用 RClone 运行复制命令,请运行以下命令:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
替换以下内容:
MOUNT_POINT
:包含要转移的数据的目录。
归档拉取
如需在传输期间将数据归档为 tar 文件,请运行以下命令:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
替换以下内容:
MOUNT_POINT
:包含要转移的数据的目录。ARCHIVE_SIZE_BYTES
:将在目的地生成的 tar 球的目标大小。默认为 1 GB,介于 5 MB 到 20 GB(含)之间。THREAD_COUNT
:同时运行创建归档的线程数量。默认值为 20,预期介于 1 和 10, 000(含)之间。
归档拉取功能在后台运行,您可以安全地退出终端。拉取首先是列出数据的一个阶段,然后才开始传输。
当您开始拉取时,系统会返回一个 ID,此值可用于与拉取进行交互:
如需检查拉取状态,请运行以下命令:
ta pull --id=ID --status
如需暂停拉取,请运行以下命令:
ta pull --id=ID --pause
如需恢复已暂停或中断的拉取,请运行以下命令:
ta pull --id=ID --resume
替换以下内容:
ID
:拉取 ID。
拉取完成后,可在
/mnt/ta_data/TA_ARCHIVE_ID/
目录下找到 tar 球。系统会生成一个清单文件,并将其保存在/mnt/ta_data/manifest_ID.tsv
中。此文件将包含所传输文件的信息,并详细说明哪些 tar 压缩文件用于容纳哪些文件。同样地,错误清单文件也会保存在/mnt/ta_data/manifest_ID_ERROR.tsv
中,其中详细说明了在拉取过程中遇到的所有错误。
建议一次运行一个拉取命令。
在 TA7 上对大小为 100 GB 的数据集进行速度测试。我们之所以分享这些值,是为了给您提供建议,帮助您在我们提供的两种复制实用程序之间做出选择。传输速度受设备类型和网络连接的影响。
方法 文件大小 归档大小字节数(仅限归档拉取) 费率 (NFS) 费率 (SMB) RClone 100 MB 不适用 600 MB/秒 620 MB/秒 归档拉取 100 MB 10 GB 750 MB/秒 850 MB/秒 RClone 1 MB 不适用 280 MB/秒 270 MB/秒 归档拉取 1 MB 500 MB 630 MB/秒 380 MB/秒 RClone 100 KB 不适用 150 MB/秒 150 MB/秒 归档拉取 100 KB 5 MB 270 MB/秒 90 MB/秒