Transfer Service for On Premises Data 概述

本页面介绍 Transfer Service for On Premises Data 及其要求和功能。

Transfer Service for On Premises Data 简介

Transfer Service for On Premises Data 是一项软件服务,可让您将大量数据从数据中心转移至 Cloud Storage 存储分区。它非常适合想要在一次转移中迁移数十亿个文件和数百 TB 数据的客户。它可以扩容到数十 Gbps 的网络连接。

Transfer Service for On Premises Data 的优势

使用 Transfer Service for On Premises Data 可以转移大量数据,而无需编写自定义脚本或购买现成的解决方案。自定义脚本可能:

  • 不可靠
  • 很慢
  • 不安全
  • 难以维护和排查问题

现成解决方案的部署成本可能很高。

Transfer Service for On Premises Data 是一项可扩缩的可靠代管式服务,可让您无需投资设立工程团队或购买转移解决方案,即可迁移数据。您在数据中心的计算机上安装包含 Linux 版本地代理的 Docker 容器,然后 Transfer Service for On Premises Data 会协调这些代理以将数据安全地转移到 Cloud Storage。

使用 Transfer Service for On Premises Data 处理受限的带宽

如果带宽受限,您仍可以使用 Transfer Service for On Premises Data。您可以为 Google Cloud 项目设置带宽限制,从而限制本地代理将数据复制到 Google Cloud 的速率。该带宽限制会在 Google Cloud 项目中的所有转移作业及其关联的本地代理之间共享。

Transfer Service for On Premises Data 的工作原理

下面简要概述了 Transfer Service for On Premises Data 的工作原理:

  1. 安装 Docker,并在您的私有数据中心中运行一个称为代理的小型软件。代理在 Docker 容器中运行,并且可以访问本地装载的 NFS 数据。

    如需了解详情,请参阅安装和运行本地代理

  2. 完成本地转移首次设置。 这包括授予对 Storage Transfer Service 使用的资源(例如 Pub/Sub 和 Cloud Storage)的访问权限。

  3. 从 Google Cloud Console 启动 Transfer Service for On Premises Data。您需要提供 NFS 目录以及要将数据转移至的目标 Cloud Storage 存储分区。

    如需了解详情,请参阅创建转移作业

  4. 转移开始后,将以递归方式遍历指定的 NFS 目录,并将找到的数据迁移至 Cloud Storage 存储分区。

    系统会对已转移的数据进行校验和验证,重试出错的文件,并通过安全连接发送数据。系统会将转移的进度记录写入目标 Cloud Storage 存储分区中的日志对象。您可以在 Google Cloud Console 中跟踪转移进度。

  5. 转移完成后,您可以在 Google Cloud Console 中查看错误示例。您还可以在转移日志中查看已转移文件的目录和任何错误。

Transfer Service for On Premises Data 代理的工作原理

下面介绍了 Transfer Service for On Premises Data 代理进程的转移服务:

  • 代理进程是动态的。运行转移时,可以添加代理以提高性能。新启动的代理会加入代理池,并通过现有转移作业执行工作。您可以使用此参数调整正在运行的代理数量,或调整转移性能以适应不断变化的转移需求。

  • 代理进程是容错的集合。如果其中一个代理停止运行,则其余代理将继续工作。如果所有代理都停止,则在重启代理时,转移会从代理停止的位置继续进行。这样您就无需监控代理、重试转移或实现恢复逻辑。通过协调代理与 Google Kubernetes Engine,您可以修补、迁移和动态扩缩您的代理池,而无需停止转移。

    例如,您在两个代理运行时提交两个转移作业。如果其中一个代理由于机器重启或操作系统修补而停止运行,则其余的代理将继续工作。两个转移作业仍在运行,但由于单个代理正在移动数据,速度会较慢。如果剩余的代理也停止,则所有转移作业会停止进行,因为没有代理正在运行。重启代理进程时,转移会从中断位置恢复。

  • 代理进程是一个池。它们会以并行方式集体迁移数据。因此,所有代理都必须对您要转移的所有数据源具有相同的访问权限。

    例如,如果要从特定文件系统转移数据,则必须将文件系统装载到已安装代理的每台机器上。如果某些代理可以访问数据源,而其他代理无法连接,则无法从该数据源成功转移。

Transfer Service for On Premises Data 要求

如需使用本地转移,您需要:

  • 符合 POSIX 标准的源。

  • 网络连接速度不低于 300Mbps。

  • 支持 Docker 且可以访问您计划转移的数据的 64 位 Linux 服务器或虚拟机。

    Docker Community Edition,支持 CentOs、Debian、Fedora 和 Ubuntu 操作系统。

    如需使用其他 Linux 操作系统,请参阅 Docker Enterprise

  • 完成本地转移首次设置

开始转移之前,请确认:

  • TCP 端口 80 (HTTP) 和 443 (HTTPS) 对于出站连接是开放的。
  • 单个 Google Cloud 项目中的所有代理进程都将文件系统装载到相同的装载点。

后续步骤

完成首次设置后开始转移。