数据可用性和耐用性

本页面讨论了与 Cloud Storage 中的数据可用性和耐用性相关的概念,包括 Cloud Storage 如何以冗余方式存储数据、双区域和多区域的默认复制行为,以及双区域的增强型复制功能。

主要概念

  • Cloud Storage 旨在实现 99.999999999%(11 个 9)的年度耐用性。

    • 为此,Cloud Storage 使用清除编码,并以冗余方式将数据存储到位于多个可用区的多个设备中。

    • 在认为写入成功之前,Cloud Storage 会以冗余方式将写入到其中的对象存储在至少两个不同的可用区中。

    • 系统会存储校验和并定期重新验证,以主动验证所有静态数据的完整性以及检测传输中的数据是否损坏。如果需要,系统可使用冗余数据自动进行更正。

  • Cloud Storage 中存储的数据的每月可用性取决于数据的存储类别和存储桶的位置类型。如需了解详情,请参阅可用存储类别

  • 存储在双区域多区域存储桶中的对象以冗余方式存储在至少两个不同的地理位置。

    • 对于双区域,您可选择存储对象的特定区域。

    • 对于多区域,用于存储数据的特定数据中心由 Cloud Storage 根据需要确定,但位于多区域的地理边界内,并至少分隔 100 英里。这样可以用比双区域更低的存储成本提供了跨区域的冗余。

    • 如果发生极其罕见的区域性中断(例如因自然灾害造成的中断),双区域和多区域存储桶仍会保持可用,且无需更改存储路径。

  • 存储在双区域和多区域存储桶中的对象通常使用默认复制跨地理位置进行复制。

    • 如果对象存储的位置之一在对象成功上传后但在复制到第二个位置之前变得不可用,则 Cloud Storage 的强一致性可以确保系统不会提供该对象的过时版本,并且在该区域再次可用时,系统不会还原后续的覆盖。

    • 存储在双区域中的对象可以选择使用增强型复制功能来跨区域实现更快速、更具可预测性的复制。

  • 如需在不作为双区域使用的区域配对之间实现冗余,请考虑在每个区域中创建一个单独的存储桶,并使用 Storage Transfer Service 事件驱动的传输来保持存储桶同步。

跨区域冗余

虽然传统存储模型通常依赖于具有“主要”和“次要”地理位置的主动-被动方法,但 Cloud Storage 提供基于单个存储桶的主动-主动架构,并且具有跨区域冗余。这样,用户就无需在主区域停机的情况下将数据从一个存储桶复制到另一个存储桶或手动故障切换到辅助存储桶,从而简化了灾难恢复过程。

Cloud Storage 会始终了解存储桶的当前状态,并根据需要以透明方式传送来自可用区域的对象。因此,双区域和多区域存储桶的恢复时间目标 (RTO) 为零,且临时区域性故障通常对用户不可见。如果某个区域的服务中断,则双区域和多区域存储桶会自动继续传送跨区域复制的所有数据。

但是,跨区域的冗余是异步实现的,并且在区域不可用之前未完成跨区域复制的任何数据都无法访问,直到停机的区域重新上线。如果发生物理销毁,数据可能会丢失,

Cloud Storage 中的默认复制旨在为 1 小时目标内 99.9% 的新写入对象和 12 小时目标内 100% 的新写入对象提供跨区域冗余。新写入的对象包括上传、重写、复制和组合。

增强型复制

增强型复制为双区域存储桶中的数据提供更快的跨区域冗余,可在区域服务中断后降低数据丢失的风险帮助支持不间断服务

  • 启用后,增强型复制旨在将新写入的对象 100% 复制到构成双区域的两个区域,恢复点目标为 15 分钟(无论对象大小如何)。

请注意,即使对于默认复制,大多数对象也会在几分钟内完成复制。

虽然跨区域冗余和增强型复制有助于支持业务连续性和灾难恢复 (BCDR) 工作,但管理员应规划并实现适合其工作负载的完整 BCDR 架构。

如需了解详情,请参阅为 Google Cloud 中的应用设计灾难恢复的分步指南

限制

  • 增强型复制仅适用于双区域中的存储桶。

  • 您无法通过 XML API 管理增强型复制,包括创建启用了增强型复制的新存储桶。

  • 在存储桶上启用增强型复制后,最多可能需要 10 秒才能开始应用于新写入的对象。

  • 对象写入在以默认复制速率跨区域复制的存储桶上启用增强型复制之前开始。

    • 借助过去 12 小时内使用默认复制功能写入的任何源对象的对象组合会创建一个同时使用默认复制功能的复合对象。

性能监控

Cloud Storage 会监控最旧的未复制对象。如果某个对象的未复制时长超过其 RPO(恢复点目标)时间,则该对象会被视为超过 RPO。一个或多个对象超过 RPO 的每分钟会被计为“不良”分钟。

例如,如果一个对象在上午 9:00-9:20 产生了 20 分钟不良时间,而另一个对象在上午 9:15-9:25 产生了 10 分钟不良时间,则当月有两个对象超过 RPO。当月的不良分钟总数为 25 分钟,因为从上午 9:00 到上午 9:25 期间,至少有一个对象缺少其 RPO。

  • 对于使用增强型复制功能的存储桶,对象的 RPO 为 15 分钟。

在 Google Cloud 控制台中,缺少 RPO 的分钟数图表可让您监控过去 30 天内存储桶的不良分钟数。此服务等级指标可用于监控存储桶的每月复制时间一致性。同样,使用增强型功能复制对象的次数图表会跟踪 RPO 内发生的对象复制。此服务等级指标可用于监控存储桶的每月复制量一致性。如需了解详情,请参阅 Cloud Storage 监控Cloud Storage 服务等级协议 (SLA)

后续步骤