许多企业都希望将其 VMware 集群迁移到云端，以便利用云端的可伸缩性、弹性和弹性，以及 Vertex AI Studio 和 BigQuery 等更高级别的服务。企业还希望将支出从资本密集型硬件模式转变为更灵活的运营支出模式。为了帮助企业快速构建遵循 Google Cloud 最佳实践的运营环境，我们创建了 Google Cloud VMware Engine 企业蓝图。此蓝图提供了有关部署适用于企业的 VMware 环境的全面指南，以便您将虚拟机工作负载迁移到云端。
VMware Engine 是一项全代管式服务，可让您在 Google Cloud 中运行 VMware 平台。您的 VMware 工作负载在专用 Google Cloud 硬件上运行，并与 Google Cloud 服务完全集成。Google 负责基础架构、网络和管理。借助此蓝图，您可以部署一个 Google Cloud 项目，其中包含 VMware Engine 私有云、Google 管理的 VMware Engine 网络以及允许端到端流量的 VPC 网络对等互连连接。
VMware Engine 企业蓝图包括以下内容：
- 包含部署 VMware Engine 平台所需的 Terraform 代码和辅助脚本的 GitHub 代码库
- 使用 GitHub 代码库实现的架构、网络和安全控制的指南（本文档）
该蓝图旨在基于基本级服务（例如 VPC 网络）运行。您可以使用企业基础蓝图或 Fabric FAST 为此蓝图创建基础。
本文档面向可以使用蓝图在 Google Cloud 上构建和部署 VMware 集群的云架构师、云平台管理员、VMware Engine 管理员和 VMware Engine 工程师。此蓝图重点介绍了如何设计和部署新的 VMware Engine 私有云，并假定您熟悉 VMware 和 VMware Engine 代管式服务。
VMware Engine 企业蓝图概览
VMware Engine 企业蓝图依赖于分层方法来实现 VMware Engine 平台。下图显示了此蓝图的各个组件与其他蓝图和服务之间的交互。
该图包含以下部分：
- Google Cloud 基础架构为您提供静态加密和传输加密等安全功能，以及计算和存储等基本基础组件。
- 企业基础为您提供网络、身份、政策、监控和日志记录等资源基准。借助这些资源，您可以快速采用 Google Cloud，同时满足组织的架构要求。
VMware Engine 企业蓝图可为您提供以下功能：
- VMware Engine 网络
- 与 Google 虚拟私有云网络、API 和服务的专用连接
- VMware Engine 私有云
- 备份功能
- Cloud Load Balancing
- Google Cloud Armor
- 用例包括数据中心迁移、数据中心弹性容量扩展、虚拟桌面基础架构 (VDI) 以及数据中心灾难恢复场景。
使用 CI/CD 流水线进行部署自动化可为您提供工具，以便自动预配、配置和管理基础架构。Automation 有助于确保一致、可靠且可审核的部署；最大限度地减少手动错误；加快整个开发周期。
架构
下图展示了 VMware Engine 企业蓝图部署的架构。
该蓝图会部署以下内容：
- 一个名为独立 VMware Engine 项目的 Google Cloud 项目，其中包含 VMware Engine 私有云
- 由 Google 管理的 VMware Engine 网络项目
- VPC 网络对等互连连接，以便流量能够从 VMware Engine 应用流向客户端
VMware Engine 私有云由以下组件组成：
- 管理工具：适用于 ESXi 主机管理网络、DNS 服务器、vCenter 服务器的 VLAN 和子网
- 备份：工作负载虚拟机的备份基础架构
- 虚拟机：工作负载虚拟机
- vCenter Server：用于集中管理私有云 vSphere 环境的设备。
- NSX Manager：提供一个界面，用于配置、监控和管理 NSX-T 网络和安全服务
- ESXi 主机：专用节点上的 Hypervisor
- vSAN 存储：超融合软件定义存储平台
- NSX-T 叠加网络：网络虚拟化和安全软件
- VMware HCX：跨数据中心和云端的应用迁移和工作负载再均衡
VMware Engine 网络概览
VMware Engine 网络是一种专用网络，用于连接 VMware Engine 私有云、VPC 网络和本地环境。VMware Engine 网络具有以下功能：
- 私有云连接：每个 VMware Engine 私有云都连接到一个 VMware Engine 网络，以便私有云中的工作负载之间进行通信。
- VMware Engine 网络连接：您可以使用 VPC 网络对等互连在 VMware Engine 网络与 Google VPC 之间建立连接。这种连接可让在 VMware Engine 上运行的工作负载与在 Google Cloud 的其他服务上运行的工作负载之间进行通信。
- 本地连接：如需创建混合云解决方案，您可以使用 Cloud VPN 或 Cloud Interconnect 将 VMware Engine 网络扩展到本地数据中心。
- 网络服务：VMware Engine 网络使用各种网络服务，包括：
在 VMware Engine 中，您负责使用 VMware 应用管理界面创建和管理工作负载虚拟机。Google Cloud 负责修补和升级基础架构组件，以及修复故障组件。
关键架构决策
| 决策区域 | 决定 | 决策推理 |
|---|---|---|
| 基础 | 您可以在企业基础蓝图、Fabric FAST 或符合指定的先决条件的基础上实现 VMware Engine 企业蓝图。 | 企业基础蓝图和 Fabric FAST 都提供了有助于企业采用 Google Cloud 的基础功能。 |
| 计算 | 您可以在特定区域部署单个专用集群，也可以在两个区域部署两个专用集群。 | 单个私有集群配置可简化管理和优化费用。 |
| 该蓝图会部署一个备用节点。 | 借助单个备用节点，您可以处理故障、维护事件和工作负载波动，同时最大限度地降低成本。 | |
| 备份和灾难恢复功能使用 Backup and DR Service 进行管理。 | 借助备份和灾难恢复服务，您可以使用代管式服务，并减少 VMware Engine 部署所需的管理工作量。 | |
| 网络 | 该蓝图支持混合连接。 | 借助混合连接，您可以将本地环境与 Google Cloud 环境连接起来。 |
| 私有云使用可路由且连续的专用 IP 地址空间。 | 连续的 IP 地址空间有助于简化 IP 地址管理。IP 地址空间可路由时，私有云可以与您的本地资源通信。 | |
| 互联网访问通过 Cloud Load Balancing 提供，并受 Google Cloud Armor 保护。 | Google Cloud Armor 可增强工作负载安全状况，而 Cloud Load Balancing 有助于实现工作负载可伸缩性和高可用性。 | |
| 此蓝图启用了 Cloud DNS。 | Cloud DNS 可解析内部和外部名称。 |
平台角色
该蓝图使用两个用户组：云平台工程组和 VMware 平台工程组。这些群组承担以下责任：
- 云平台工程团队负责部署 VMware Engine 蓝图的基础架构以及蓝图本身。
- VMware 平台工程团队负责配置和运行私有云中的 VMware 组件。
如果您要在企业基础蓝图或 Fabric FAST 上部署蓝图，系统会在初始部署流程中创建云平台工程组。VMware 平台工程组将作为此蓝图的一部分进行部署。
组织结构
VMware Engine 企业蓝图基于企业基础蓝图和 Fabric FAST 的现有组织结构构建而成。它会在生产、非生产和开发环境中添加一个独立的 VMware Engine 项目。下图展示了蓝图的结构。
网络
VMware Engine 企业蓝图为您提供了以下网络选项：
- 一个 VMware Engine 私有云的单个共享 VPC 网络
- 私有云的两个共享 VPC 实例
这两种选项都部署在单个区域，可让您管理来自本地环境的流量。
下图显示了单个区域的单个共享 VPC 网络。
通过单独的共享 VPC 实例，您可以将费用和网络流量划分到不同的业务部门，同时在 VMware Engine 私有云中保持逻辑分离。下图显示了单个区域中的多个共享 VPC 网络。
私有云网络
在私有云中，网络由 NSX-T 提供支持，它提供软件定义的网络层，具有微分段、路由和负载均衡等高级功能。VMware Engine 蓝图会为您的 VMware Engine 服务创建一个网络。该网络是一个第 3 层地址空间。路由默认处于启用状态，允许该区域内的所有私有云和子网进行通信，无需额外配置。如以下图所示，创建私有云时，系统会创建多个子网，其中包括管理子网、服务子网、工作负载子网和边缘服务子网。
配置私有云时，您必须选择一个 CIDR 范围，该范围不得与私有云中的其他网络、本地网络、私有云管理网络或 VPC 网络中的子网 IP 地址范围重叠。您选择 CIDR 范围后，VMware Engine 会自动为各种子网分配 IP 地址。下表使用示例 CIDR 范围 10.0.0.0/24 显示了蓝图的管理子网的 IP 地址范围。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| 系统管理 | 适用于 ESXi 主机管理网络、DNS 服务器和 vCenter 服务器的 VLAN 和子网 | 10.0.0.0/26 |
| VMotion | 适用于 ESXi 主机 vMotion 网络的 VLAN 和子网 | 10.0.0.64/28 |
| HCX 上行链路 | HCX IX（移动性）和 NE（扩展）设备的上行链接，用于访问其对等设备，并支持创建 HCX Service Mesh | 10.0.0.216/29 |
工作负载虚拟机包含在 NSX-T 子网中。NST-T 边缘上行链路提供外部连接。私有云 CIDR 范围大小定义了 NST-T 子网中可支持的 ESXi 节点数量。ESXi 节点使用 VSAN 子网进行存储传输。
下表显示了 NSX-T 主机传输子网、NSX-T 边缘上行链路子网和 VSAN 子网的 IP 地址范围（基于 10.0.0.0/24 CIDR 范围）。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| VSAN | VSAN 子网负责处理 ESXi 主机和 VSAN 存储集群之间的存储流量。 | 10.0.0.80/28 |
| NSX-T 主机传输 | ESXi 主机区域的 VLAN 和子网，负责网络连接，支持防火墙、路由、负载均衡和其他网络服务。 | 10.0.0.128/27 |
| NSX-T 边缘上行链路-N [N=1-4] | 借助 NSX-T 边缘上行链路，外部系统可以访问在 NSX-T 网络上运行的服务和应用。 |
|
对于服务子网和边缘服务子网，VMware Engine 不会分配 CIDR 范围或前缀。因此，您必须自行指定不重叠的 CIDR 范围和前缀；下表显示了蓝图中服务子网和边缘服务子网的 CIDR 块。
| 子网 | 说明 | IP 地址范围 |
|---|---|---|
| Service-N [N=1-5] | 借助服务子网，虚拟机可以绕过 NSX 传输层，直接与 Google Cloud 网络通信，从而实现高速通信。 |
|
| Edge 服务 | 如果启用了可选的边缘服务（例如点到站点 VPN、互联网访问和外部 IP 地址），则该范围是必需的。范围按区域确定。 | 10.0.1.0/26 |
路由
默认情况下，除了从本地网络或其他 VMware Engine 私有云延伸的网络之外，VMware Engine 内的所有通信以及与外部 IP 地址的通信都会进行路由（通过第 3 层）。该蓝图会配置与本地混合连接（使用 Cloud VPN 或 Cloud Interconnect）关联的 Cloud Router，并为 VMware Engine IP 地址范围配置摘要自定义通告路由。NSX 路段路由在 Tier-0 级别进行汇总。该蓝图通过 NSX-T DHCP 中继将 DHCP 服务启用到在 VMware Engine 私有云中设置的 DHCP 服务。
DNS 配置
VMware Engine 允许您将项目中的 Cloud DNS 地区用作对等互连 VPC 网络中连接的所有管理设备的单个 DNS 解析端点。即使您的专用云部署在不同区域，也可以执行此操作。
在为多个和单个私有云配置地址解析时，您可以使用 Cloud DNS 设置全球地址解析。
默认情况下，您可以解析任何启用了 Cloud DNS 的 VPC 网络的管理区域。
当蓝图创建与标准 VMware Engine 网络关联的私有云时，系统会创建关联的管理 DNS 区域，并自动填充管理设备条目。
如果标准 VMware Engine 网络是与 VPC 或其他 VMware Engine 网络对等互连的 VPC 网络，蓝图会自动创建管理 DNS 区域绑定。此区域绑定可确保从该网络上的 Google Cloud 虚拟机解析管理设备。下图显示了 Cloud DNS 拓扑。
从 VMware Engine 到互联网的出站流量
该蓝图为从 VMware Engine 到互联网的出站流量提供了以下三个选项：
- 通过客户的本地环境发出出站流量
- 通过 VMware Engine 互联网网关的出站流量
- 使用外部 IP 地址通过客户的附加 VPC 进行出站
下图显示了这些选项。
从互联网到 VMware Engine 的入站流量
该蓝图为从互联网流向 VMware Engine 的流量提供了以下三个选项：
- 通过客户的本地环境进行入站
- 通过客户 VPC 的入站流量，其中包含 Cloud Load Balancing 和可能的 Google Cloud Armor
- 使用外部 IP 地址通过 VMware Engine 的入站流量
下图显示了这些选项。
日志记录
借助此蓝图，您可以使用日志回流将 VMware Engine 管理操作发送到 Cloud Audit Logs。通过分析 VMware Engine 审核日志，管理员可以识别可疑行为、调查突发事件，并证明其符合法规要求。
日志导出还可以用作安全信息和事件管理 (SIEM) 系统的提取来源。Google 支持以下用于为 VMware Engine 提供服务的提取来源：
- 托管 Google Cloud 组织，其中包含 Cloud Fabric 和资产遥测
- VMware 服务组件
- 在 VMware Engine 中运行的工作负载
Google SecOps 包含用于提取组织数据的内置自动日志提取流水线，并提供转发系统，用于将 VMware Engine 和工作负载中的流式遥测数据推送到 Google SecOps 提取流水线。Google SecOps 会使用情境内容丰富遥测数据，并使其可搜索。您可以使用 Google SecOps 发现和跟踪安全问题的发展情况。
监控
该蓝图会安装一个适用于 Cloud Monitoring 的独立代理，以将指标从您的私有云转发到 Cloud Monitoring。该蓝图会设置预定义信息中心，以概览您的 VMware Engine 资源和资源利用率。在 VMware vCenter Server 中，VMware 提供了一些工具来帮助您监控环境并找到问题所在。您可以在当前的运维中使用这些工具，并作为对其他监控选项的补充。
如下图所示，蓝图使用部署在客户 VPC 中的托管实例组自动部署独立代理。该代理会从 VMware vCenter 收集指标和 syslog 日志，并将其转发到 Cloud Monitoring 和 Cloud Logging。
备份
该蓝图使用 Backup and DR 为您的 VMware 工作负载提供数据保护服务。该服务使用部署在客户 VPC 中的托管设备。该设备通过 Private Google Access 和 WebSocket 连接到 Google 控制平面。备份存储在 Cloud Storage 中，该服务提供精细的恢复选项，可让您将单个文件或整个虚拟机恢复到特定时间点。
运营方面的最佳实践
本部分介绍了一些最佳实践，您可以根据自己的环境和要求在部署蓝图后实施这些最佳实践。
添加更多备用节点
VMware Engine 集群的规模会自动调整，至少有一个备用节点以实现弹性。备用节点是 vSphere HA 中的固有行为，这意味着此节点在集群中可用，并且会相应地计费。
您可以向集群添加更多备用节点，以便在维护时间段内保证容量。此决定可能会产生额外的消耗费用，并且这些节点将由贵组织直接管理。
您添加的备用节点会显示为 vSphere 集群中的额外节点。（可选）您可以在备用节点上安排工作负载。
考虑私有云的资源限制
VMware Engine 私有云对计算、存储和网络组件设置了资源限制。在私有云部署期间，请考虑这些限制，以便您的环境能够根据工作负载需求进行扩缩。
实现费用管理选项
您可以实现以下一个或多个选项来管理费用：
- 承诺使用折扣 (CUD)
- 自动扩缩
- 核心数限制
- 计算容量超额订阅
使用承诺使用折扣
CUD 提供折扣价格，以换取您承诺在指定期限内最少使用的资源水平。VMware Engine CUD 会应用于区域中的 VMware Engine 节点总使用量，从而为您提供较低可预测的费用，而无需您进行任何手动更改或更新。折扣适用于提供相应服务以及您已购买 CUD 的区域中的 VMware Engine 节点用量。
使用自动扩缩
借助 VMware Engine，您可以根据预定义的阈值和水印在集群中自动添加或移除节点。如果指定的条件持续至少 30 分钟，系统就会触发这些政策。向 vSphere 集群（标准集群或伸缩集群）应用或更新自动扩缩政策时，请考虑以下事项：
- 默认情况下，自动扩缩功能处于停用状态。您必须为每个集群明确启用此功能。
- 在延伸集群中，系统会按可用区添加或移除您在政策中指定的节点数量，这会相应地影响结算。
- 由于计算、内存和存储空间用量通常是独立的，因此监控多个指标的自动扩缩政策会使用 OR 逻辑添加节点，使用 AND 逻辑移除节点。
- 自动扩缩上限取决于 Google Cloud 项目和 VMware Engine 私有云中的可用配额。
- 启用自动扩缩功能与手动添加或移除节点并非互斥。例如，如果您可以缩减虚拟机磁盘空间，使其足以容纳集群中的所有虚拟机，则可以使用“存储容量优化”政策手动移除节点。虽然可以手动移除节点，但在使用自动扩缩时，这并不是最佳做法。
限制核心数
借助 VMware Engine，管理员可以减少向客户机操作系统（即在 VMware Engine 上运行的虚拟机）公开的有效 CPU 核心数量。某些软件许可协议要求您减少公开的核心数量。
超额订阅 VMware Engine 计算容量
超额订阅 VMware Engine 计算容量是一种标准做法，与 Compute Engine 单租户节点不同，不会产生额外费用。超额订阅率越高，您环境中有效可结算节点的数量就越少，但可能会影响应用性能。在为企业工作负载调整大小时，我们建议您先使用 4:1 的比例，然后根据适用于您的用例的因素修改此比例。
部署蓝图
您可以在企业基础蓝图或 Fabric FAST 上部署蓝图。
如需在企业基础蓝图上部署蓝图，请完成以下操作：
- 部署企业基础蓝图。
- 部署 VMware Engine 企业蓝图。如需了解相关说明，请参阅 VMware Engine 企业蓝图仓库。
如需在 Fabric FAST 上部署蓝图，请参阅 Fabric FAST 代码库。Google Cloud VMware Engine 阶段 会部署 VMware Engine 企业蓝图。
不使用企业基础蓝图或 Fabric FAST 部署蓝图
如需在不先部署企业基础蓝图或 Fabric FAST 的情况下部署蓝图，请验证您的环境中是否存在以下资源：
- 包含
development、nonproduction和production文件夹的组织层次结构 - 每个文件夹使用一个共享 VPC 网络
- 可提供 VMware Engine 私有云需要的 IP 地址范围的 IP 地址方案
- 适用于 VMware Engine 私有云的 DNS 机制
- 符合您的安全状况的防火墙政策
- 通过内部 IP 地址访问 Google Cloud API 的机制
- 与您的本地环境连接的机制
- 用于安全和审核用途的中心化日志
- 符合您的安全状况的组织政策
- 可用于部署 VMware Engine 的流水线
后续步骤
- 了解 VMware Engine。
- 了解如何将 VMware 虚拟机实例迁移到私有云。
- 阅读计算最佳实践。
- 阅读网络最佳实践。
- 阅读 VMware Engine 安全性最佳实践。
- 阅读存储空间最佳实践。
- 阅读成本核算最佳实践。
- 访问 VMware 的 VMware Engine 页面。