Transfer Service for On Premises Data 概述

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本页面介绍 Transfer Service for On Premises Data 及其要求和功能。

Transfer Service for On Premises Data 简介

Transfer Service for On Premises Data 是一项软件服务,可让您将大量数据从数据中心转移至 Cloud Storage 存储分区。它非常适合想要在一次转移中迁移数十亿个文件和数百 TB 数据的客户。它可以扩容到数十 Gbps 的网络连接。

Transfer Service for On Premises Data 的优势

Transfer Service for On Premises Data 是一项可扩缩、可靠的代管式服务,使用它,您无需向工程团队投入或购买现成的解决方案,即可转移大量数据。您在数据中心的计算机上安装包含 Linux 版本地代理的 Docker 容器,然后 Transfer Service for On Premises Data 会协调这些代理以将数据安全地转移到 Cloud Storage。

使用 Transfer Service for On Premises Data 处理受限的带宽

如果带宽受限,您仍可以使用 Transfer Service for On Premises Data。您可以为 Google Cloud 项目设置带宽限制,从而限制本地代理将数据复制到 Google Cloud 的速率。该带宽限制会在 Google Cloud 项目中的所有转移作业及其关联的本地代理之间共享。

Transfer Service for On Premises Data 的工作原理

下面简要概述了 Transfer Service for On Premises Data 的工作原理:

  1. 安装 Docker,并在您的私有数据中心中运行一个称为代理的小型软件。代理在 Docker 容器中运行,并且可以访问本地装载的 NFS 数据。

    如需了解详情,请参阅安装和运行本地代理

  2. 完成本地转移设置。这包括授予对 Storage Transfer Service 使用的资源(例如 Pub/Sub 和 Cloud Storage)的访问权限。

  3. 从 Google Cloud Console 启动 Transfer Service for On Premises Data。您需要提供 NFS 目录以及要将数据转移至的目标 Cloud Storage 存储分区。

    如需了解详情,请参阅创建转移作业

  4. 转移开始后,将以递归方式遍历指定的 NFS 目录,并将找到的数据迁移至 Cloud Storage 存储分区。

    系统会对已转移的数据进行校验和验证,重试出错的文件,并通过安全连接发送数据。系统会将转移的进度记录写入目标 Cloud Storage 存储分区中的日志对象。您可以在 Cloud Console 中跟踪转移进度。

  5. 转移完成后,您可以在 Cloud Console 中查看错误示例。您还可以在转移日志中查看已转移文件的目录和任何错误。

Transfer Service for On Premises Data 代理的工作原理

下面介绍了 Transfer Service for On Premises Data 代理进程的转移服务:

  • 代理进程是动态的。运行转移时,可以添加代理以提高性能。新启动的代理会加入分配的代理池,并通过现有转移作业执行工作。您可以使用此功能调整正在运行的代理数量,或调整转移性能以适应不断变化的转移需求。

  • 代理进程是容错的集合。如果其中一个代理停止运行,则其余代理将继续工作。如果所有代理都停止,则在重启代理时,转移会从代理停止的位置继续进行。这样您就无需监控代理、重试转移或实现恢复逻辑。通过协调代理与 Google Kubernetes Engine,您可以修补、迁移和动态扩缩您的代理池,而无需停止转移。

    例如,您在两个代理运行时提交两个转移作业。如果其中一个代理由于机器重启或操作系统修补而停止运行,则其余的代理将继续工作。两个转移作业仍在运行,但由于单个代理正在移动数据,速度会较慢。如果剩余的代理也停止,则所有转移作业会停止进行,因为没有代理正在运行。重启代理进程时,转移会从中断位置恢复。

  • 代理进程在一个池中。它们会以并行方式集体迁移数据。因此,所有代理都必须对您要转移的所有数据源具有相同的访问权限。

    例如,如果要从特定文件系统转移数据,则必须将文件系统装载到已安装代理的每台机器上。如果某些代理可以访问数据源,而其他代理无法连接,则无法从该数据源成功转移。

代理池的工作原理

代理池是使用同一配置的代理的集合,这些代理具有对来源和目标的统一访问权限和公开范围。例如,如果您的来源是两个使用不同文件系统的数据中心,则需要为每个数据中心创建单独的代理池。这是因为单个代理池无法具有对来源的统一访问权限或公开范围,因此无法有效转移数据。

每个代理池都各不相同,具体取决于其具体的转移作业配置。这样,您便可以让代理为不同的来源和目标执行工作,并管理每个池的转移资源(例如带宽限制)。

Transfer Service for On Premises Data 要求

如需使用本地转移,您需要:

开始转移之前,请确认:

  • TCP 端口 80 (HTTP) 和 443 (HTTPS) 对于出站连接是开放的。
  • 单个 Google Cloud 项目中的所有代理进程都将文件系统装载到相同的装载点。

后续步骤

设置本地转移