使用控制台创建和管理数据转移作业

本页面介绍如何使用 Google Cloud Console 设置和管理转移作业。如需以编程方式使用 Storage Transfer Service,请参阅创建 Storage Transfer Service 客户端以及以编程方式创建和管理转移作业

准备工作

在 Storage Transfer Service 中设置转移作业之前,请确保您拥有必要的访问权限:

  • Storage Transfer Service 访问权限:您必须获得以下角色之一:

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • 至少包含 roles/storagetransfer.user 权限的自定义角色。

      如需详细了解如何添加和查看项目级权限,请参阅使用 IAM 权限处理项目

    如需详细了解 Storage Transfer Service 中的 IAM 角色和权限,请参阅使用 IAM 角色和权限进行访问权限控制

  • 数据源和数据接收器访问权限:Storage Transfer Service 使用服务帐号执行转移作业。要访问数据源和数据接收器,此服务帐号必须具有数据源权限数据接收器权限

设置转移作业

  1. 在 Google Cloud Console 中打开“转移”页面。

    打开转移页面

  2. 点击创建转移作业

    选择下方标签以获取设置说明。各类数据源的创建步骤不同,具体取决于您的数据源是 Cloud Storage 存储分区、Amazon S3 存储分区、Microsoft Azure Storage Blob 还是网址列表

Cloud Storage

  1. 选择数据源下,选择 Google Cloud Storage 存储分区

  2. Cloud Storage 存储分区文本框中,输入数据源存储分区名称(不带前缀 gs://)或点击“浏览”找到该存储分区并选择。

    如需从另一个项目指定 Cloud Storage 存储分区,请在 Cloud Storage 存储分区文本框中准确输入名称。

  3. 要指定数据源中的文件子集,点击存储分区字段下的指定文件过滤条件。您可以根据文件名前缀和文件存在时间包含或排除文件。如需了解详情,请参阅选择要转移的数据源对象

  4. 选择目标位置下,选择一个接收器存储分区或创建新存储分区。

    要选择现有存储分区,输入存储分区的名称(不带前缀 gs://),或点击浏览找到该存储分区。

    要将文件转移到新的存储分区,点击浏览,然后点击新建存储分区图标。

  5. 视需要启用覆盖/删除选项。

    默认情况下,仅当数据源与数据接收器中文件版本不匹配时,Storage Transfer Service 才会覆盖对象。其他对象不会被覆盖或删除。在转移选项下,视需要启用覆盖/删除选项。如需详细了解您的选项,请参阅 API 参考文档中的 TransferOptions

  6. 配置转移作业下,安排您的转移作业立即运行(一次性)或在本地时区的某个时间每天运行一次 (Run daily)。

  7. 可选:在描述下修改转移作业名称。使用唯一的说明性名称有助于您日后识别转移作业。

  8. 点击创建

Amazon S3

  1. 选择数据源下,选择 Amazon S3 存储分区

  2. Amazon S3 存储分区文本框中,指定数据源 Amazon S3 存储分区名称。

    存储分区名称是其在 AWS 管理控制台中显示的名称。

  3. 在相应的文本框中,输入与 Amazon S3 存储分区相关的访问密钥 ID密钥

  4. 要指定数据源中的文件子集,点击存储分区字段下的指定文件过滤条件。您可以根据文件名前缀和文件存在时间包含或排除文件。如需了解详情,请参阅选择要转移的数据源对象

  5. 选择目标位置下,选择一个接收器存储分区或创建新存储分区。

    要选择现有存储分区,输入存储分区的名称(不带前缀 gs://),或点击浏览找到该存储分区。

    要将文件转移到新的存储分区,点击浏览,然后点击新建存储分区图标。

  6. 视需要启用覆盖/删除选项。

    默认情况下,仅当来源版本与接收器版本不同时,转移作业才会覆盖对象。其他对象不会被覆盖或删除。在转移选项下,视需要启用覆盖/删除选项。如需详细了解您的选项,请参阅 API 参考文档中的 TransferOptions

  7. 配置转移作业下,安排您的转移作业立即运行(一次性)或在您指定的本地时间每天运行一次 (Run daily)。

  8. 可选:在描述下修改转移作业名称。使用唯一的说明性名称有助于您日后识别转移作业。

  9. 点击创建

Microsoft Azure Blob Storage

  1. 选择来源下,选择 Microsoft Azure Storage 容器

  2. 指定下列内容:

    1. 存储帐号名称 - 源 Microsoft Azure Storage 帐号名称。

      存储帐号名称显示在 Microsoft Azure Storage 门户中,位于所有服务 > 存储 > 存储帐户下。

    2. 容器名称 - Microsoft Azure Storage 容器名称。

      容器名称显示在 Microsoft Azure Storage 门户中,位于 Storage Explorer > Blob 容器下。

    3. 共享访问签名 (SAS) - 从存储的访问权限政策创建的 Microsoft Azure Storage SAS 令牌。如需了解详情,请参阅使用共享访问签名 (SAS) 授予对 Azure 存储资源的受限访问权限

      SAS 令牌的默认到期时间为 8 小时。在创建 SAS 令牌时,请确保设置合理的到期时间,以便成功完成转移。
  3. 可选:点击指定文件过滤条件,为您的转移作业指定文件过滤条件。

网址列表

  1. 选择数据源下,选择对象网址列表

  2. TSV 文件网址下,提供制表符分隔值 (TSV) 文件的网址,然后点击继续。如需详细了解如何创建 TSV 文件,请参阅创建网址列表

  3. 选择目标位置下,选择一个接收器存储分区或创建新存储分区。

    要选择现有存储分区,输入存储分区的名称(不带前缀 gs://),或点击浏览找到该存储分区。

    要将文件转移到新的存储分区,点击浏览,然后点击新建存储分区图标。

  4. 视需要启用覆盖/删除选项。

    默认情况下,仅当来源版本与接收器版本不同时,转移作业才会覆盖对象。其他对象不会被覆盖或删除。在转移选项下,视需要启用覆盖/删除选项。如需详细了解您的选项,请参阅 API 参考文档中的 TransferOptions

  5. 配置转移作业下,安排您的转移作业立即运行(一次性)或在您指定的本地时间每天运行一次 (Run daily)。

  6. 可选:在描述下修改转移作业名称。使用唯一的说明性名称有助于您日后识别转移作业。

  7. 点击创建

本地数据

Storage Transfer Service 允许您将在线数据转移到 Cloud Storage。要将 Cloud Storage 存储分区同步到本地数据,请使用 gsutil rsync

修改转移作业

仅当传输作业属于以下类型时,您才可以对其进行修改:

  • 不会停止的周期性传输作业
  • 尚未开始执行的一次性传输作业

如果满足上述任一条件,请按如下步骤修改配置:

  1. 在 Google Cloud Console 中打开“转移”页面。

    打开转移页面

  2. 点击转移作业名称以获取作业详情。

  3. 选择修改配置,然后按照设置转移作业中的说明进行操作。

    对当前正在运行的周期性传输作业所做的更改将在传输作业下次运行时生效。

查看转移作业的历史记录

  1. 在 Google Cloud Console 中打开“转移”页面。

    打开转移页面

  2. 点击转移作业名称以获取作业详情。

  3. 选择操作标签。

  4. 在条目列表中,点击传输操作的开始日期以查看详细信息,其中包括可能出现过的错误。

    一次性传输作业仅运行一次,因此传输操作历史记录中只有一个条目。

暂停或取消正在执行的传输操作

要暂停或取消正在执行的转移操作,请执行以下操作:

  1. 在 Google Cloud Console 中打开“转移”页面。

    打开转移页面

  2. 点击转移作业名称以获取作业详情。

  3. 选择操作标签。

    在条目列表中,正在执行的转移操作的状态列右侧有暂停 (||) 和取消 (X) 按钮。

  4. 点击“暂停”按钮以暂停传输操作,或点击“按钮”以永久取消传输操作。

  5. 如果选择暂停传输操作,点击恢复按钮 (►) 可继续执行传输操作。

    如果选择取消传输操作,则会出现确认窗口。点击取消传输以确认取消请求。

删除已安排的转移作业或周期性转移作业

  1. 在 Google Cloud Console 中打开“转移”页面。

    打开转移页面

  2. 选中要移除的转移作业的复选框。

  3. 点击传输作业列表上方的删除

  4. 在出现的确认窗口中,点击确定

选择要传输的数据源对象

您可以使用 Storage Transfer Service 的前缀,以选择要在数据源中包含或排除哪些文件。通常,您可以利用前缀缩小传输对象的范围。您可以单独使用包含前缀或排除前缀,或同时使用两者。以下指南对于 Amazon S3、Microsoft Azure Blob Storage 和 Cloud Storage 数据源均适用。

  • 请勿在前缀开头添加斜杠。例如,要在转移来自以下存储分区路径 s3://my-aws-bucket/logs/y=2015/requests.gz 的数据时包含 requests.gz 对象,请将包含前缀指定为 logs/y=2015/requests.gz

  • 如果同时使用包含前缀和排除前缀,则排除前缀必须以其中一个包含前缀的值开头。例如,如果指定 a 作为包含前缀,则有效的排除前缀为 a/baaaabc

  • 如果单独使用排除前缀,可以使用的前缀则不受限制。

  • 如果未指定任何前缀,则将传输存储分区中的所有对象。

  • 请勿为数据源或数据接收器存储分区名称提供路径名称。例如,s3://my-aws-bucketgs://example-bucket 为有效值,但 s3://my-aws-bucket/subfoldergs://example-bucket/files 为无效值。要包含路径,请使用包含和排除前缀。

  • Storage Transfer Service 不支持重新映射,也就是说,您不能将数据源中的路径 files/2015 复制到数据接收器中的 files/2016

如需详细了解如何使用包含和排除前缀,请参阅 API 中的 includePrefixesexcludePrefixes 字段说明。

如需了解有关前缀的更多常规信息,请参阅 Amazon S3 文档中的使用前缀和分隔符分层列出密钥或 Cloud Storage 的对象 list 方法

创建 Amazon S3 IAM 用户

以下步骤概述了创建 Amazon S3 凭据的过程,您可以利用这些凭据,将数据从 Amazon S3 存储分区转移到 Cloud Storage 存储分区。如需了解详情,请参阅在 AWS 帐号中创建 IAM 用户存储分区政策示例

如需了解我们的用户凭据数据保留政策,请参阅用户凭据

  1. AWS Identity and Access Management 控制台中创建新用户。

  2. 记下访问凭据或下载凭据。

    下载的凭据包含用户名、访问密钥 ID 和私有访问密钥。在 Cloud Storage 中配置传输作业时,您只需要访问密钥 ID 和私有访问密钥。

  3. 将代管式政策附加到拥有完成转移作业所需权限的 IAM 用户。

    如果您的转移作业配置为删除源对象,请附加 AmazonS3FullAccess 政策;否则,请附加 AmazonS3ReadyOnlyAccess 政策。例如,通过 IAM 控制台附加到用户的 AmazonS3FullAccess 代管式政策如下所示:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. 可选:创建比代管式政策更具限制性的政策。

    例如,您可以创建一个仅限对 Amazon S3 存储分区进行访问的政策。如需了解详情,请参阅存储分区政策示例

后续步骤

了解如何使用 Cloud Storage