Compute Engine 上的文件存储

Last reviewed 2023-12-20 UTC

文件存储（也称为网络附加存储 (NAS)）为应用提供文件级访问，以读取和更新可在多台机器之间共享的信息。一些本地文件存储解决方案具有纵向扩容架构，只需将存储空间添加到固定数量的计算资源即可。其他文件存储解决方案采用横向扩容架构，其中系统可根据需要将容量和计算（性能）逐步添加到现有文件系统中。在两种存储架构中，一个或多个虚拟机都可以访问存储空间。

虽然某些文件系统使用原生 POSIX 客户端，但许多存储系统使用的协议使客户端机器能够装载文件系统并访问文件，就像它们托管在本地一样。导出文件共享的最常用协议是 Linux（某些情况下是 Windows）的网络文件系统 (NFS) 和 Windows 的服务器消息块 (SMB)。

本文档介绍了共享文件的以下选项：

所有 Google Cloud 服务的性能和可预测性的一个基本要素是 Google 多年来不断发展的网络栈。借助 Jupiter Fabric，Google 构建了一个强大、可扩缩且稳定的网络栈，它可以不断发展演变，而不会影响工作负载。随着 Google 在内部改进并增强其网络功能，您的文件共享解决方案也可以从提升的性能中受益。

Google Cloud 具有可以指定自定义虚拟机类型的特点，这也是帮助您从投资中获得最大收益的关键。在选择文件管理器的大小时，您可以选择一个适当的内存和 CPU 组合，以便您的文件管理器以最佳性能运行而不会超额订阅。

此外，正确地选择 Compute Engine 永久性磁盘容量和 vCPU 数量非常重要，以确保文件服务器的存储设备能够获得所需的存储带宽、IOP 以及网络带宽。对于每个 vCPU，虚拟机接收 2 Gbps 的网络吞吐量（最高）。如需了解如何调整永久性磁盘，请参阅优化永久性磁盘和本地 SSD 性能。

请注意，Cloud Storage 也是一种以低费用存储具有高冗余级别的 PB 级数据的好方法，但 Cloud Storage 的性能配置和 API 与此处讨论的文件服务器不同。

文件服务器解决方案摘要

下表总结了文件服务器解决方案和功能：

解决方案 最佳数据集 吞吐量 托管支持 导出协议
Filestore Basic 1 TiB 到 64 TiB 高达 1.2 GiB/s 完全由 Google 管理 NFSv3
Filestore Zonal 1 TiB 到 100 TiB 高达 26 GiB/s 完全由 Google 管理 NFSv3
Filestore Enterprise 1 TiB 到 10 TiB 高达 1.2 GiB/s 完全由 Google 管理 NFSv3
Google Cloud NetApp Volumes 1 GiB 到 100 TiB MBs/s 到 4.5 GiB/s 完全由 Google 管理 NFSv3、NFSv4.1、SMB2、SMB3
NetApp Cloud Volumes ONTAP 1 GiB 到 1 PiB 不定 由客户管理 NFSv3、NFSv4.1、SMB2、SMB3、iSCSI
Nasuni 数十 TB 至大于 1 PB 高达 1.2 GBps Nasuni 和客户管理 NFSv3、NFSv4、NFSv4.1、NFSv4.2、SMB2、SMB3
只读永久性磁盘 小于 64 TB 240 到 1200 MBps 否 直接附加

永久性磁盘和本地 SSD

如果您的数据只由单个虚拟机访问或者不会随时间变化，那么您可以使用 Compute Engine 永久性磁盘卷，并完全不需要使用文件服务器。对于永久性磁盘，您可以使用 Ext4 或 XFS 等文件系统对磁盘进行格式化，并以读写或只读模式附加卷。这意味着您可以先将卷挂接到实例，将所需数据加载到卷中，然后同时将其作为只读磁盘挂接到数百个虚拟机。使用只读永久性磁盘并不适用于所有使用场景，但与使用文件服务器相比，它可以大幅度降低复杂性。

永久性磁盘可提供一致的性能。您附加到实例的所有相同大小的磁盘（以及 SSD 永久性磁盘的相同数量的 vCPU）具有相同的性能特征。在生产中使用永久性磁盘之前，您无需预热或测试永久性磁盘。

永久性磁盘的费用很容易确定，因为在预配卷之后不需要考虑 I/O 费用。您还可以根据需要调整永久性磁盘的大小。这样，您便可以从低费用和低容量的卷开始，而无需创建其他实例或磁盘来扩缩容量。

如果只关心总存储容量，则您可以使用低费用标准永久性磁盘。如需在持续耐用的同时获得最佳性能，您可以使用 SSD 永久性磁盘。

如果您的数据是临时的，并且要求延迟时间达到亚毫秒级和较高的每秒 I/O 操作次数 (IOPS)，您可以利用高达 9 TB 的本地 SSD 来获得极致性能。本地 SSD 提供 GBps 的带宽和数百万的 IOPS，同时不会耗尽分配给实例的网络带宽。但请务必注意，本地 SSD 在可用性、耐用性和灵活性方面存在一定的权衡取舍。

如需比较可用于 Compute Engine 实例的多种磁盘类型，请参阅块存储文档。

选择文件存储解决方案时的注意事项

选择文件存储解决方案时，您需要在易管理性、费用、性能和可伸缩性之间进行权衡。如果您的工作负载定义明确，那么您会更容易做出决策，但通常情况并非如此。 如果工作负载随着时间的推移而发生变化或变化很大，那么为了实现灵活性和弹性而妥协费用是明智的，如此才能获得更适合您的解决方案。另一方面，如果您有一个暂存且明确的工作负载，您可以创建一个专门构建的文件存储架构，支持轻松拆卸和重新构建，以满足您的短期存储需求。

首先，您需要决定是为托管式存储服务、包含产品支持的解决方案还是不受支持的解决方案付费。

  • 托管式文件存储服务是最容易操作的，因为 Google 或合作伙伴会处理所有操作。与大多数其他 Google Cloud 服务一样，这些服务甚至可以提供服务等级协议 (SLA) 以确保可用性。
  • 非托管但受支持的解决方案可提供额外的灵活性。合作伙伴可以帮助解决任何问题，但文件管理器的日常操作则由用户执行。
  • 不受支持的解决方案需要花费大量精力进行部署和维护，所有问题都需要由用户自己解决。本文档不涉及这些解决方案。

其次，您需要确定解决方案的耐用性和可用性要求。大多数文件解决方案都是基于可用区的解决方案。如果该可用区出现故障，默认情况下不提供保护。因此，您需要考虑是否需要能够防止可用区级故障的灾难恢复 (DR) 解决方案。您还需要了解应用的耐用性和可用性的要求。例如，您在部署中选择的本地 SSD 或永久性磁盘，以及文件解决方案软件的配置都将产生重大影响。每个解决方案都需要仔细规划，以实现高耐用性和可用性，甚至对可用区级和区域级故障的防范。

最后，应考虑您需要访问数据的位置（即可用区、区域或本地数据中心）。访问数据的计算场的位置会影响您的文件管理器解决方案选择，因为只有部分解决方案同时允许本地和云端访问。

托管式文件存储解决方案

本部分介绍了 Google 托管的文件存储解决方案。

Filestore Basic

Filestore 是 Google 的全托管式 NAS 解决方案。

Filestore Basic 实例适用于文件共享、软件开发和 GKE 工作负载。您可以选择使用 HDD 或 SSD 来存储数据，SSD 提供更好的性能。无论选择哪一种方法，容量都会逐步增加，并且您可以通过备份来保护数据。

Filestore Zonal

Filestore Zonal 可简化 Google Cloud 及混合云上的企业存储和数据管理。Filestore Zonal 支持经济高效的高性能并行全局数据访问，同时保持严格的一致性，由动态可扩缩分布式文件系统提供支持。借助 Filestore Zonal，现有 NFS 应用和 NAS 工作流可以在云端运行而无需重构，同时保留了企业数据服务的优势（高可用性、压缩、重复信息删除等）。借助 Filestore CSI 驱动程序，可实现容器化工作负载的无缝数据持久性、可移植性和共享。

您可以按需扩缩 Filestore Zonal 实例。这样，您就可以在需要时创建和扩展文件系统基础设施，确保存储性能和容量始终与您的动态工作流要求保持一致。随着 Filestore Zonal 集群的扩展，元数据和 I/O 性能都会线性扩缩。通过此扩缩，您可以增强和加速各种数据密集型工作流，包括高性能计算、分析、跨站点数据聚合、DevOps 等等。因此，Filestore Zonal 非常适合用于以数据为中心的行业，如生命科学（例如基因组测序）、金融服务以及媒体和娱乐。

Filestore Enterprise

Filestore Enterprise 是一种全托管式云原生 NFS 解决方案，可让您在 Google Cloud 中部署基于文件的关键应用，其服务等级协议 (SLA) 提供 99.99% 的区域可用性。Filestore Enterprise 提供 99.99% 的区域可用性服务等级协议 (SLA)，专为需要高可用性的应用而设计。只需点击几次鼠标（或几个 gcloud 命令或 API 调用），即可预配在一个区域内的三个可用区中同步复制的 NFS 共享。如果该区域中有任何可用区变得不可用，Filestore Enterprise 将继续向应用透明地传送数据，无需您进行任何操作。

为了进一步保护关键数据，Filestore 还允许您定期截取文件系统的快照并加以保留。通过 Filestore，您可以从前面的任何恢复点开始，在不到 10 分钟的时间内恢复单个文件或整个文件系统。

对于 SAP 等关键应用，数据库和应用层都需要具备高可用性。如需满足此要求，您可以使用内置数据库高可用性在多个可用区将 SAP 数据库层部署到永久性磁盘。同样，NetWeaver 应用层级（需要跨多个虚拟机共享可执行文件）也可以部署到 Filestore Enterprise，该映像跨一个区域内的多个可用区复制 NetWeaver 数据。最终结果是一个具备高可用性的三层关键任务应用架构。

IT 组织还在 Google Kubernetes Engine (GKE) 上的容器中部署有状态应用。这通常会导致他们重新考虑用于支持这些应用的存储基础设施。您可以使用块存储 (Persistent Disk)、文件存储（Filestore Basic、Zonal 或 Enterprise）或对象存储 (Cloud Storage)。Filestore Enterprise 具有托管式 Filestore CSI 驱动程序和多共享支持，可让需要多个 GKE Pod 的组织拥有共享文件访问权限，为任务关键型工作负载提供更高的可用性。

NetApp Volumes

NetApp Volumes 是一种全托管式 Google 服务，可让您将共享文件存储快速装载到 Google Cloud 计算实例。NetApp Volumes 支持 SMB、NFS 和多协议访问。NetApp Volumes 以低延迟时间为应用提供高性能，且具有强大的数据保护功能：快照、副本、跨区域复制和备份。该服务适用于需要连续和随机工作负载的应用，而这些工作负载可扩缩成百上千个 Compute Engine 实例。只需几秒钟，强大的数据保护功能就可以预配和保护大小介于 100 GiB 到 100 TiB 之间的卷。NetApp Volumes 提供三种服务等级（标准、优质和尊享），您可以根据需要进行更改，从而在不影响可用性的情况下为您的工作负载提供合适的性能。如需了解可以使用 NetApp Volumes 的 Google Cloud 位置，请参阅 NetApp Volumes 位置。

Cloud Marketplace 中的合作伙伴解决方案

Cloud Marketplace 中有以下合作伙伴提供的解决方案。

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP (NetApp CVO) 是一款由客户管理的云端解决方案，它在 Google Cloud 中引入了 ONTAP（NetApp 领先的数据管理操作系统）的全套功能。NetApp CVO 部署在您的 VPC 中，并由 Google 提供结算功能和相应的支持。ONTAP 软件在 Compute Engine 虚拟机上运行，并结合使用永久性磁盘和 Cloud Storage 存储桶（如果已启用分层）来存储 NAS 数据。内置文件管理器使用精简预配功能来存储 NAS 卷，因此您只需为使用的存储空间付费。随着数据规模的扩大，额外的永久性磁盘会添加到聚合容量池中。

NetApp CVO 会将底层基础设施抽象化，可让您创建从聚合池中提取的虚拟数据卷，并与任何云环境或本地环境中的所有其他 ONTAP 卷保持一致。您创建的数据卷支持所有版本的 NFS、SMB、多协议 NFS/SMB 以及 iSCSI，并且支持跨电子设计自动化 (EDA) 以及媒体和娱乐等众多行业使用的各种基于文件的工作负载（包括 Web 内容和富媒体内容）。

NetApp CVO 支持节省空间的即时时间点快照、内置块级、增量永久备份到 Cloud Storage，以及针对灾难恢复的跨区域异步复制。借助选择 Compute Engine 实例和永久性磁盘类型的选项，您可以实现工作负载所需的性能。即使在高性能配置中进行操作，NetApp CVO 也可实现存储效率，例如重复信息删除、精简、压缩，还有将不经常使用的数据自动分层到 Cloud Storage 存储桶，使您能够在存储 PB 级数据的同时显著降低总体存储费用。

DDN EXAScaler Cloud

DDN 的 EXAScaler Cloud 平台是行业领先的并行共享文件解决方案，可实现高性能数据处理，以及管理支持 AI、HPC 和分析工作负载所需的大量数据。生命科学、能源、自动驾驶汽车、金融服务及其他数据密集型客户可以在云中利用 EXAScaler Cloud AI 和分析，以最大限度地提高从 Google Cloud 资源获得的回报，并借助云爆发和长期数据保留实现敏捷的工作流。

EXAScaler Cloud 的理想用途包括深度学习和推理 AI 应用、适合云爆发的混合云架构（以充分利用按需高性能处理），以及作为存储库存储来自本地 EXAScaler 部署的长期资源。基于云的 EXAScaler 易于部署并且它运用 DDN 的并行文件系统（该文件系统支持着前 100 台超级计算机中的三分之二）。

EXAScaler Cloud 旨在优化数据密集型云工作负载，从而减少 I/O 争用并为大量客户端提供对共享存储空间的弹性访问，从而更快地获取数据洞见。EXAScaler Cloud 优化了整个环境，实现从应用到存储设备（包括网络和计算实例本身）的高性能。

借助灵活的配置，EXAScaler Cloud 适用于高性能暂存工作负载、更持久的 IOPS 或面向吞吐量的应用，甚至适用于长期永久性数据。通过在云中模仿本地架构，客户可以无缝转换工作负载，这有助于在工作负载移动时最大限度地减少最终用户的应用中断。

DDN EXAScaler Cloud 可处理可扩缩的工作负载，并以支持世界上最大的数据环境时所学习到的专业知识为后盾。凭借高级支持服务方案，客户在本地和云中都能获得同样的专家支持体验。

详情请参阅以下内容：

Nasuni Cloud 文件存储

Nasuni 用更简单且费用低廉的云替代方案替代企业文件服务器、NAS 设备以及所有关联的基础设施（包括备份和灾难恢复硬件）。Nasuni 使用 Google Cloud 对象存储来提供更高效的软件即服务 (SaaS) 存储解决方案，该解决方案能够通过扩缩来处理快速、非结构化的文件数据增长。无论员工位于何处，Nasuni 都能够帮助他们处理部门、项目和组织文件共享和应用工作流。

Nasuni Cloud 文件存储。

Nasuni 提供三个套餐，具有适合所有规模的公司和组织的价格，可根据需要增长和扩展。

它具有以下优势：

  • 云端主文件存储空间（最多可节省 70%）。Nasuni 的架构利用内置的对象生命周期管理政策。这些政策可让您灵活使用 Cloud Storage 类别，包括 Standard、Nearline、Coldline 和 Archive。通过将用于主存储的即时访问 Archive 类别与 Nasuni 搭配使用，您可以节省高达 70% 的费用。

  • 云端的部门和单位文件共享。Nasuni 的基于云的架构在 Google Cloud 区域提供了一个单一的全局命名空间，对文件、文件大小或快照的数量没有限制，可让您通过标准 NAS (SMB) 驱动器映射协议将文件从桌面直接存储到 Google Cloud。

  • 内置备份和灾难恢复。借助 Nasuni 一劳永逸的操作，您可以轻松管理全局文件存储。它包含备份和灾难恢复功能，可让您通过单个管理控制台随时随地监督和控制环境。

  • 替换陈旧的文件服务器。借助 Nasuni，您可以轻松将 Microsoft Windows 文件服务器和其他现有的文件存储系统迁移到 Google Cloud，从而降低这些环境的费用和管理复杂性。

详情请参阅以下内容：

由 IBM Spectrum Scale 推动的 Sycomp Storage

Google Cloud Marketplace 中 IBM Spectrum Scale 助力的 Sycomp Storage 可让您在 Google Cloud 中运行高性能计算 (HPC)、人工智能 (AI)、机器学习 (ML) 和大数据工作负载。借助 Sycomp Storage，您可以并发访问数千个虚拟机的数据，通过自动管理存储层级来降低费用，并在本地或 Google Cloud 中运行应用。Cloud Marketplace 中提供了由 IBM Spectrum Scale 推动的 Sycomp Storage，它可以快速部署，并且支持通过 NFS 和 IBM Spectrum Scale 客户端访问您的数据。

IBM Spectrum Scale 是一个并行文件系统，可帮助安全管理大量（PB 级）数据。IBM Spectrum Scale 并行文件系统非常适合 HPC、AI、机器学习、大数据，以及需要符合 POSIX 标准的共享文件系统的其他应用。Sycomp Storage 具有适应性强的存储容量和性能扩缩功能，可支持小型到大型 HPC、AI 和机器学习工作负载。

在 Google Cloud 中部署集群后，您可以决定要如何使用集群。可选择是仅在云中还是在混合模式下（通过连接到现有的本地 IBM Spectrum Scale 集群）进行使用。

详情请参阅以下内容：

更新日志

本部分简要介绍了本指南中的重大技术更改。

日期 变更说明
2023 年 12 月 19 日
  • 更新了 Filestore High Scale 打包和命名（现为 Filestore Zonal）。
  • 更新了对 CSI 驱动程序的 Filestore Zonal 支持。
  • 添加了 Google Cloud NetApp Volumes 托管式文件解决方案。
  • 移除了 NetApp Cloud Volume Service Cloud Marketplace 产品。
2023 年 11 月 30 日
  • 从 Cloud Marketplace 中移除了 Dell PowerScale 合作伙伴解决方案。
  • 从 Cloud Marketplace 中移除了 Panzura 合作伙伴解决方案。

贡献者

作者：Sean Derrington | 存储组合对外产品经理

其他贡献者：