使用控制台创建和管理数据转移作业

本页面介绍如何使用 Google Cloud Console 设置和管理转移作业。如需以编程方式使用 Storage Transfer Service,请参阅创建 Storage Transfer Service 客户端以及以编程方式创建和管理转移作业

前期准备

在创建传输作业之前,请执行以下操作:

  1. 检查您是否拥有以下角色之一,以验证您是否拥有 Storage Transfer Service 访问权限:

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • 至少包含 roles/storagetransfer.user 权限的自定义角色。

      如需详细了解如何添加和查看项目级权限,请参阅使用 IAM 权限处理项目

    如需了解详情,请参阅排查访问权限问题

    如需详细了解 Storage Transfer Service 中的 IAM 角色和权限,请参阅使用 IAM 角色和权限进行访问权限控制

  2. 配置对数据源和数据接收器的访问权限

转移本地数据

我们提供以下本地数据转移解决方案:

设置转移作业

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击创建转移作业

  3. 选择一个数据源:

    Cloud Storage

    您的用户帐号必须具有 storage.buckets.get 权限才能选择来源和目标存储桶。或者,您可以直接输入存储桶的名称。如需了解详情,请参阅排查访问权限问题

    1. 数据源类型下,选择 Google Cloud Storage 存储桶

    2. 通过执行以下操作之一来选择存储桶:

      • 存储桶名称字段中输入现有 Cloud Storage 存储桶名称,不加前缀 gs://。如需从另一个项目指定 Cloud Storage 存储桶,请在存储桶名称字段中准确输入名称。

      • 通过点击浏览,在您的项目中选择现有存储桶的列表,然后选择一个存储桶。

        点击浏览时,您可以通过点击项目 ID 并选择新项目 ID 和存储桶来选择其他项目中的存储桶。

      • 如需创建新存储桶,请点击 创建新存储桶

    3. 可选:如需添加特定路径中的文件,请在文件夹路径字段中输入路径。

    4. 可选:如需包含数据源中的部分文件,请点击添加前缀。您可以根据文件名前缀添加文件。如需了解详情,请参阅选择要转移的数据源对象
    5. 可选:如需对转移作业应用更多过滤器,请点击高级过滤器。系统会显示以下项:
      • 排除带以下前缀的文件:根据您指定的名称前缀,从转移作业中排除文件。如需指定前缀,请点击添加前缀
      • 仅包含上次修改时间符合以下条件的文件:在进行转移之前,根据文件的上次修改时间来包含文件。

        您可以指定绝对时间范围相对时间范围。相对时间范围相对于转移作业的开始时间。

    6. 点击下一步

    Amazon S3

    1. 选择数据源下,选择 Amazon S3 存储分区

    2. 存储桶名称字段中,输入数据源存储桶名称。

      存储桶名称是其在 AWS 管理控制台中显示的名称。

    3. 访问密钥 ID私有访问密钥字段中输入 Amazon Web Services (AWS) 安全凭据。

      如需详细了解 Amazon S3 IAM 用户,请参阅创建 Amazon S3 IAM 用户

    4. 点击下一步

    5. 可选:如需包含数据源中的部分文件,请点击添加前缀。您可以根据文件名前缀添加文件。如需了解详情,请参阅选择要转移的数据源对象
    6. 可选:如需对转移作业应用更多过滤器,请点击高级过滤器。系统会显示以下项:
      • 排除带以下前缀的文件:根据您指定的名称前缀,从转移作业中排除文件。如需指定前缀,请点击添加前缀
      • 仅包含上次修改时间符合以下条件的文件:在进行转移之前,根据文件的上次修改时间来包含文件。

        您可以指定绝对时间范围相对时间范围。相对时间范围相对于转移作业的开始时间。

    Microsoft Azure Blob Storage

    1. 选择数据源下,选择 Azure Storage 容器

    2. 指定下列内容:

      1. 存储帐号名称 - 源 Microsoft Azure Storage 帐号名称。

        存储帐号名称显示在 Microsoft Azure Storage 门户中,位于所有服务 > 存储 > 存储帐号下。

      2. 容器名称 - Microsoft Azure Storage 容器名称。

        容器名称显示在 Microsoft Azure Storage 门户中,位于 Storage Explorer > Blob 容器下。

      3. 共享访问签名 (SAS) - 从存储的访问权限政策创建的 Microsoft Azure Storage SAS 令牌。如需了解详情,请参阅使用共享访问签名 (SAS) 授予对 Azure Storage 资源的受限访问权限

        SAS 令牌的默认到期时间为 8 小时。在创建 SAS 令牌时,请确保设置合理的到期时间,以便成功完成转移。
    3. 可选:如需包含数据源中的部分文件,请点击添加前缀。您可以根据文件名前缀添加文件。如需了解详情,请参阅选择要转移的数据源对象
    4. 可选:如需对转移作业应用更多过滤器,请点击高级过滤器。系统会显示以下项:
      • 排除带以下前缀的文件:根据您指定的名称前缀,从转移作业中排除文件。如需指定前缀,请点击添加前缀
      • 仅包含上次修改时间符合以下条件的文件:在进行转移之前,根据文件的上次修改时间来包含文件。

        您可以指定绝对时间范围相对时间范围。相对时间范围相对于转移作业的开始时间。

    5. 点击下一步

    网址列表

    1. 选择数据源下,选择网址列表

    2. TSV 文件网址下,提供制表符分隔值 (TSV) 文件的网址。如需详细了解如何创建 TSV 文件,请参阅创建网址列表

    3. 可选:如需包含数据源中的部分文件,请点击添加前缀。您可以根据文件名前缀添加文件。如需了解详情,请参阅选择要转移的数据源对象
    4. 可选:如需对转移作业应用更多过滤器,请点击高级过滤器。系统会显示以下项:
      • 排除带以下前缀的文件:根据您指定的名称前缀,从转移作业中排除文件。如需指定前缀,请点击添加前缀
      • 仅包含上次修改时间符合以下条件的文件:在进行转移之前,根据文件的上次修改时间来包含文件。

        您可以指定绝对时间范围相对时间范围。相对时间范围相对于转移作业的开始时间。

    5. 点击下一步

  4. 通过完成以下步骤选择目标:

    1. 存储桶名称字段中,输入目标存储桶名称,或点击浏览以从当前项目的现有存储桶列表中选择一个存储桶。如需创建新存储桶,请点击 创建新存储桶

    2. 可选:如需将文件转移到特定路径,请在文件夹路径字段中输入路径。

  5. 完成以下步骤,为转移作业选择设置:

    1. 描述转移作业字段中,输入转移作业说明。最佳做法是输入有意义且唯一的说明,以便区分作业。

    2. 何时覆盖下,选择以下选项之一:

      • 如果不同:如果同名的源文件具有不同的 ETag 或校验和值,则覆盖目标文件。

      • 始终:当源文件同名时,即使源文件相同,也始终覆盖目标文件。

    3. 何时删除下,选择以下选项之一:

      • 永不:永不从源或目标中删除文件。

      • 在转移文件后从数据源删除文件:将文件转移到目标位置后,从数据源中删除文件。

      • 如果文件不在数据源中则从目标位置删除文件:如果目标 Cloud Storage 存储桶中的文件也不在数据源中,则从 Cloud Storage 存储桶中删除文件。

        此选项可确保目标 Cloud Storage 存储桶与您的数据源完全匹配。

    4. 点击下一步

  6. 选择时间安排选项:

    1. 运行一次下拉列表中,选择以下选项之一:

      • 运行一次:从您选择的时间开始运行一次转移作业。

      • 每天运行:每天从您选择的时间开始,每天运行转移作业。

        您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。

      • 每周运行:从您选择的时间开始,每周运行一次转移作业。

      • 按自定义频率运行:按您选择的频率运行转移作业。您可以选择按照小时的固定间隔来重复运行转移作业。

        您可以输入可选的结束日期,或者将结束日期留空以持续运行转移作业。

    2. 立即开始下拉列表中,选择以下选项之一:

      • 立即开始:点击创建后开始转移作业。

      • 开始日期:在您选择的日期和时间开始转移作业。点击日历,以显示一个日历来选择开始日期。

    3. 要创建转移作业,请点击创建

查看转移作业详情

您可以通过 Cloud Console 查看以下作业详情:

  • 作业说明和名称
  • 数据源类型和位置
  • 目标位置
  • 作业频率
  • 作业统计信息

如需查看转移作业详情,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

从现有配置运行转移作业

您可以通过现有转移作业配置运行转移作业,从而使用先前使用的设置重新运行转移作业。

如需从现有配置运行转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 如需启动转移作业,请点击启动运行

或者,您也可以修改现有的转移作业配置,以使用新的设置。如需了解详情,请参阅修改现有转移作业配置

修改现有转移作业配置

您可以修改现有转移作业配置,以调整转移作业来满足自己的需求。您可以修改现有转移作业配置的以下各项:

  • 转移作业的说明。
  • Microsoft Azure Blob Storage 或 Amazon S3 数据源凭据。
  • 应用于转移作业的任何过滤条件。
  • 用于覆盖或删除文件的选项。
  • 转移作业的时间表。

如需修改转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 点击配置

    此时系统会显示转移作业配置。

  4. 如需更改某个项,请点击该项旁边的 修改

  5. 如需启动包含修改的作业,请点击启动运行作业

删除转移作业

您可以删除不再需要的转移作业。删除作业将执行以下操作:

  • 停止作业中的任何现有转移作业。
  • 停止作业中的任何周期性转移作业。
  • 清空作业的配置详细信息。

作业删除操作属于永久性操作。删除转移作业后,系统会将其从转移作业作业列表中移除。转移作业信息将在 30 天后从 Storage Transfer Service 中完全删除。

或者,您也可以停用转移作业,这将保留作业页面中列出的作业,并允许您重新激活或修改作业。

要删除转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 选中您要删除的转移作业旁边的复选框。

  3. 点击删除作业

    此时会显示删除转移作业吗?对话框。

  4. 阅读对话框中的内容,然后在字段中输入作业的自动分配名称并点击删除以确认删除作业。

    该作业会从作业页面中移除。

停用转移作业

停用转移作业会阻止转移作业启动任何进一步的转移操作,包括将来的已计划操作或通过启动运行作业按钮手动启动的操作。

如需停用转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 点击停用作业。此时将显示“停用转移作业?”对话框。

  4. 阅读对话框中的内容,然后点击确认以确认作业的停用操作。

    此时会在作业详情页面顶部显示一则通知,提醒您该作业已停用。

暂停转移作业

您可以暂停当前正在进行的转移作业。暂停转移作业时,作业状态将保持不变,您可以稍后取消暂停。转移作业暂停时,时间表不会触发作业再次运行。

如需暂停转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 点击暂停运行

    当前操作的状态显示为已暂停

重启已暂停的转移作业

您可以取消暂停先前暂停的转移作业,这会在暂停作业的位置重启作业。

要取消暂停转移作业,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 点击恢复运行

    当前操作的状态显示为正在进行

查看历史作业状态信息

您可以查看转移作业运行的历史状态信息。以下作业信息可用:

  • 传输状态
  • 开始和停止时间
  • 时长
  • 进度
  • 转移的数据
  • 错误数量
  • 跳过的数据
  • 估算的平均速度

要查看转移作业的历史状态信息,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 如需显示特定运行的详细信息,请点击作业运行的开始时间

    系统会显示运行详情页面。

查看作业错误详情

如果在转移作业运行期间遇到错误,您可以查看错误详细信息以帮助排查错误。

如需查看转移作业运行的错误详情,请执行以下操作:

  1. 在 Cloud Console 中,转到 Transfer service for cloud data 页面。

    转到 Transfer Service for cloud data

  2. 点击转移作业的说明。

    此时系统会显示作业详情页面。

  3. 执行以下任一操作以显示作业详情:

    • 最近的作业运行

      1. 点击查看错误详情按钮或查看错误详情链接。

        此时系统会显示错误详情页面。

    • 历史作业运行:执行以下操作:

      1. 点击作业运行的开始时间

        系统会显示运行详情页面。

      2. 点击查看错误详情链接。

        此时系统会显示错误详情页面。

  4. 要显示每个显示的错误的其他详细信息,请点击 展开

  5. 如需过滤错误,请在输入属性名称或值字段中输入要过滤的属性。

    当您将光标置于该字段中时,系统会显示一个包含相关选项的下拉菜单,以帮助您构建过滤器。

选择要转移的源对象

您可以使用 Storage Transfer Service 的前缀,以选择要在数据源中包含或排除哪些文件。通常,您可以利用前缀缩小转移对象的范围。您可以单独使用包含前缀或排除前缀,或同时使用两者。以下指南对于 Amazon S3、Microsoft Azure Blob Storage 和 Cloud Storage 数据源均适用。

  • 请勿在前缀开头添加斜杠。例如,要在转移来自以下存储桶路径 s3://my-aws-bucket/logs/y=2015/requests.gz 的数据时包含 requests.gz 对象,请将包含前缀指定为 logs/y=2015/requests.gz

  • 如果同时使用包含前缀和排除前缀,则排除前缀必须以其中一个包含前缀的值开头。例如,如果指定 a 作为包含前缀,则有效的排除前缀为 a/baaaabc

  • 如果单独使用排除前缀,可以使用的前缀则不受限制。

  • 如果未指定任何前缀,则将传输存储分区中的所有对象。

  • 请勿为数据源或数据接收器存储分区名称提供路径名称。例如,s3://my-aws-bucketgs://example-bucket 为有效值,但 s3://my-aws-bucket/subfoldergs://example-bucket/files 为无效值。要包含路径,请使用包含和排除前缀。

  • Storage Transfer Service 不支持重新映射,也就是说,您不能将数据源中的路径 files/2015 复制到数据接收器中的 files/2016

如需详细了解如何使用包含和排除前缀,请参阅 API 中的 includePrefixesexcludePrefixes 字段说明。

如需了解有关前缀的更多常规信息,请参阅 Amazon S3 文档中的使用前缀和分隔符分层列出密钥或 Cloud Storage 的对象 list 方法

创建 Amazon S3 IAM 用户

以下步骤概述了创建 Amazon S3 凭据的过程,您可以利用这些凭据,将数据从 Amazon S3 存储分区传输到 Cloud Storage 存储分区。如需了解详情,请参阅在 AWS 帐号中创建 IAM 用户存储桶政策示例

如需了解我们的用户凭据数据保留政策,请参阅用户凭据

  1. AWS Identity and Access Management 控制台中创建新用户。

  2. 记下访问凭据或下载凭据。

    下载的凭据包含用户名、访问密钥 ID 和私有访问密钥。在 Cloud Storage 中配置传输作业时,您只需要访问密钥 ID 和私有访问密钥。

  3. 将托管政策附加到拥有完成传输所需权限的 IAM 用户。

    如果您的转移作业配置为删除源对象,请附加 AmazonS3FullAccess 政策;否则,请附加 AmazonS3ReadyOnlyAccess 政策。例如,通过 IAM 控制台附加到用户的 AmazonS3FullAccess 代管式政策如下所示:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. 可选:创建比代管式政策更具限制性的政策。

    例如,您可以创建一个仅限对 Amazon S3 存储桶进行访问的政策。如需了解详情,请参阅存储分区政策示例

后续步骤

了解如何使用 Cloud Storage