許多企業都想將 VMware 叢集遷移至雲端，藉此善用雲端的擴充性、復原能力、彈性和更高層級的服務，例如 Vertex AI Studio 和 BigQuery。企業也希望將支出從資本密集型硬體模式，轉移至更彈性的營運支出模式。為協助企業快速建構符合最佳做法的作業環境，我們建立了 Google Cloud VMware Engine 企業藍圖。 Google Cloud 這份藍圖提供完整指南，協助您部署企業適用的 VMware 環境，以便將 VM 工作負載遷移至雲端。
VMware Engine 是一項全代管服務，可讓您在 Google Cloud上執行 VMware 平台。VMware 工作負載會在專屬 Google Cloud 硬體上運作，並完全整合 Google Cloud服務。Google 會負責管理基礎架構、網路和管理作業。 藍圖可讓您部署 Google Cloud 專案，其中包含 VMware Engine 私有雲、Google 管理的 VMware Engine 網路，以及虛擬私有雲網路對等互連連線，可讓流量端對端流動。
VMware Engine 企業藍圖包含下列內容：
- GitHub 存放區：內含部署 VMware Engine 平台所需的 Terraform 程式碼和輔助指令碼
- 您使用 GitHub 存放區實作的架構、網路和安全性控制項指南 (本文件)
藍圖的設計是以基礎層級服務 (例如 VPC 網路) 為基礎。您可以使用企業基礎藍圖或 Fabric FAST，為這個藍圖建立基礎。
本文適用於雲端架構師、雲端平台管理員、VMware Engine 管理員和 VMware Engine 工程師，他們可以運用藍圖在Google Cloud上建構及部署 VMware 叢集。本藍圖著重於設計及部署新的 VMware Engine 私有雲，並假設您熟悉 VMware 和 VMware Engine 受管理服務。
VMware Engine 企業藍圖總覽
VMware Engine 企業藍圖採用分層方法，啟用 VMware Engine 平台。下圖顯示此藍圖的各種元件與其他藍圖和服務的互動。
這張圖包含下列項目：
- Google Cloud 基礎架構提供安全性功能，例如靜態資料加密和傳輸中資料加密，以及運算和儲存空間等基本建構區塊。
- 企業基礎架構可提供網路、身分、政策、監控和記錄等資源的基準。這些資源可協助您快速採用 Google Cloud ，同時滿足貴機構的架構需求。
VMware Engine 企業藍圖提供下列內容：
- VMware Engine 網路
- 連至 Google 虛擬私有雲網路、API 和服務的私人連線
- VMware Engine 私人雲端
- 備份功能
- Cloud Load Balancing
- Google Cloud Armor
- 用途包括資料中心遷移、資料中心彈性容量擴充、虛擬桌面基礎架構 (VDI)，以及資料中心災難復原情境。
使用 CI/CD 管道自動部署，可自動佈建、設定及管理基礎架構。自動化可協助您確保部署作業的一致性、可靠性和可稽核性，盡量減少人為錯誤，並加快整體開發週期。
架構
下圖顯示 VMware Engine 企業藍圖部署的架構。
藍圖會部署下列項目：
- 名為「standalone VMware Engine project」的 Google Cloud 專案，其中包含 VMware Engine 私有雲
- VMware Engine 網路的 Google 管理專案
- 虛擬私有雲網路對等互連連線，讓流量可從 VMware Engine 應用程式流向用戶端
VMware Engine 私有雲包含下列元件：
- 管理工具：ESXi 主機管理網路的 VLAN 和子網路、DNS 伺服器、vCenter Server
- 備份：工作負載 VM 的備份基礎架構
- 虛擬機器：工作負載 VM
- vCenter Server：集中管理私有雲 vSphere 環境
- NSX Manager：提供單一介面，可設定、監控及管理 NSX-T 網路和安全服務
- ESXi 主機：專用節點上的管理程序
- vSAN 儲存空間：超融合軟體定義儲存空間平台
- NSX-T 疊加網路：網路虛擬化和安全軟體
- VMware HCX：在資料中心和雲端之間遷移應用程式及重新平衡工作負載
VMware Engine 網路總覽
VMware Engine 網路是專屬網路，可連結 VMware Engine 私有雲、虛擬私有雲網路和地端環境。VMware Engine 網路具備下列功能：
- 私有雲連線：每個 VMware Engine 私有雲都會連線至 VMware Engine 網路，讓私有雲內的工作負載相互通訊。
- VMware Engine 網路連線：您可以使用 VPC 網路對等互連，在 VMware Engine 網路和 Google VPC 之間建立連線。這項連線功能可讓 VMware Engine 上執行的工作負載，與 Google Cloud中其他服務上執行的工作負載進行通訊。
- 內部部署連線：如要建立混合雲解決方案，可以使用 Cloud VPN 或 Cloud Interconnect，將 VMware Engine 網路延伸至內部部署資料中心。
- 網路服務：VMware Engine 網路會使用各種網路服務，包括：
使用 VMware Engine 時，您必須透過 VMware 應用程式管理介面建立及管理工作負載 VM。Google Cloud 負責修補及升級基礎架構元件，並修復失敗的元件。
重要架構決策
| 決策領域 | 決定 | 決策理由 |
|---|---|---|
| Foundation | 您可以在企業基礎藍圖、Fabric FAST 或符合定義先決條件的基礎上，實作 VMware Engine 企業藍圖。 | 企業基礎藍圖和 Fabric FAST 都提供基本功能，協助企業採用 Google Cloud。 |
| 運算 | 您可以在特定區域中部署單一私人叢集，也可以在兩個區域中部署兩個私人叢集。 | 單一私有叢集設定可簡化管理作業，並獲得最佳成本效益。 |
| 藍圖會部署一個備用節點。 | 只要一個備用節點，就能在發生故障、維護事件和工作負載波動時處理相關問題，同時將成本降到最低。 | |
| 備份和災難復原作業由備份和災難復原服務代管。 | 備份和災難復原服務可讓您使用代管服務，並減少 VMware Engine 部署作業所需的管理工作量。 | |
| 網路 | 藍圖可啟用混合式連線。 | 混合式連線可讓您將內部部署環境與 Google Cloud 環境連線。 |
| 私有雲使用可路由的連續私人 IP 空間。 | 連續 IP 空間可簡化 IP 位址管理作業。IP 空間可路由傳輸時，私有雲就能與內部部署資源通訊。 | |
| 網際網路存取權是透過 Cloud Load Balancing 提供，並受到 Cloud Armor 保護。 | Cloud Armor 可提升工作負載安全防護措施，而 Cloud Load Balancing 則有助於提高工作負載的擴充性和可用性。 | |
| 藍圖會啟用 Cloud DNS。 | Cloud DNS 會解析內部和外部名稱。 |
平台人物角色
藍圖會使用兩個使用者群組：雲端平台工程群組和 VMware 平台工程群組。這些團隊負責：
- 雲端平台工程團隊負責部署 VMware Engine 藍圖的基礎，以及部署藍圖。
- VMware 平台工程團隊負責設定及運作私有雲中的 VMware 元件。
如果您是在企業基礎藍圖或 Fabric FAST 上部署藍圖，雲端平台工程團隊會在初始部署程序中建立。VMware 平台工程群組會部署為這個藍圖的一部分。
機構架構
VMware Engine 企業藍圖是以企業基礎藍圖和 Fabric FAST 的現有機構單位架構為基礎建構而成。在正式版、非正式版和開發環境中，新增獨立的 VMware Engine 專案。下圖顯示藍圖的結構。
網路
VMware Engine 企業藍圖提供下列網路選項：
- VMware Engine 私有雲的單一共用虛擬私有雲網路
- 兩個私有雲的共用 VPC 執行個體
這兩個選項都會部署在單一區域，方便您管理來自內部部署環境的流量。
下圖顯示單一區域的單一共用虛擬私有雲網路。
您可以透過個別的共用 VPC 執行個體，將費用和網路流量歸類至不同的業務單位，同時在 VMware Engine 私有雲中維持邏輯分離。下圖顯示單一地區中的多個共用 VPC 網路。
私有雲網路
在私有雲中，網路是由 NSX-T 驅動，提供軟體定義的網路層，以及微區隔、路由和負載平衡等進階功能。VMware Engine 藍圖會為 VMware Engine 服務建立網路。這個網路是單一第 3 層位址空間。系統預設會啟用轉送功能，讓區域內的所有私有雲和子網路都能通訊，不必額外設定。如下圖所示，建立私有雲時，系統會建立多個子網路，包括管理子網路、服務子網路、工作負載子網路和邊緣服務子網路。
設定私有雲時，您必須選取不與私有雲、內部部署網路、私有雲管理網路中的其他網路，或虛擬私有雲網路中的子網路 IP 位址範圍重疊的 CIDR 範圍。選取 CIDR 範圍後，VMware Engine 會自動為各種子網路分配 IP 位址。以下表格以 10.0.0.0/24 CIDR 範圍為例，顯示藍圖的管理子網路 IP 位址範圍。
| 子網路 | 說明 | IP 位址範圍 |
|---|---|---|
| 系統管理 | ESXi 主機管理網路、DNS 伺服器和 vCenter Server 的 VLAN 和子網路 | 10.0.0.0/26 |
| VMotion | ESXi 主機 vMotion 網路的 VLAN 和子網路 | 10.0.0.64/28 |
| HCX 上行鏈路 | HCX IX (遷移) 和 NE (擴充) 設備的上行連結，可連線至對等互連，並建立 HCX 服務網格 | 10.0.0.216/29 |
工作負載 VM 位於 NSX-T 子網路中。NST-T 邊緣上行鏈路提供外部連線。私有雲 CIDR 範圍大小決定了 NSX-T 子網路可支援的 ESXi 節點數量。ESXi 節點會使用 VSAN 子網路進行儲存空間傳輸。
下表根據 10.0.0.0/24 CIDR 範圍，列出 NSX-T 主機傳輸子網路、NSX-T 邊緣上行子網路和 VSAN 子網路的 IP 位址範圍。
| 子網路 | 說明 | IP 位址範圍 |
|---|---|---|
| VSAN | VSAN 子網路負責 ESXI 主機和 VSAN 儲存空間叢集之間的儲存空間流量。 | 10.0.0.80/28 |
| NSX-T 主機傳輸 | 負責網路連線的 ESXi 主機區域的 VLAN 和子網路，可提供防火牆、路由、負載平衡和其他網路服務。 | 10.0.0.128/27 |
| NSX-T Edge 上行鏈路 N [N=1-4] | 外部系統可透過 NSX-T 邊緣上行連結，存取在 NSX-T 網路執行的服務和應用程式。 |
|
VMware Engine 不會為服務子網路和邊緣服務子網路分配 CIDR 範圍或前置字串。因此，您必須指定不重疊的 CIDR 範圍和前置字串。下表顯示服務子網路和邊緣服務子網路的藍圖 CIDR 區塊。
| 子網路 | 說明 | IP 位址範圍 |
|---|---|---|
| 服務 N [N=1-5] | 服務子網路可讓虛擬機器略過 NSX 傳輸，直接與 Google Cloud 網路通訊，實現高速通訊。 |
|
| Edge 服務 | 如果啟用選用的邊緣服務 (例如點對站 VPN、網際網路存取和外部 IP 位址)，則必須提供這項資訊。系統會為每個區域決定範圍。 | 10.0.1.0/26 |
轉送
除了從地端部署網路或其他 VMware Engine 私有雲延伸的網路外，VMware Engine 內的所有通訊和外部 IP 位址通訊，預設都會透過第 3 層轉送。藍圖會設定與內部部署混合式連線 (使用 Cloud VPN 或 Cloud Interconnect) 相關聯的 Cloud Router，並為 VMware Engine IP 位址範圍提供摘要自訂通告路徑。NSX 區隔路徑會在 Tier-0 層級匯總。藍圖會透過 NSX-T DHCP 中繼啟用 DHCP 服務，連線至 VMware Engine 私有雲中設定的 DHCP 服務。
DNS 設定
VMware Engine 可讓您將專案中的 Cloud DNS 區域，做為對等互連虛擬私有雲網路中所有已連線管理裝置的單一 DNS 解析端點。即使私有雲部署在不同區域，您也能執行這項操作。
設定多個和單一私有雲的位址解析時，您可以使用 Cloud DNS 設定全域位址解析。
根據預設，您可以從啟用 Cloud DNS 的任何虛擬私有雲網路解析管理區域。
藍圖建立連結至標準 VMware Engine 網路的私有雲時，系統會建立相關聯的管理 DNS 區域，並自動填入管理設備項目。
如果標準 VMware Engine 網路是與虛擬私有雲或其他 VMware Engine 網路對接的虛擬私有雲網路，藍圖會自動建立管理 DNS 區域繫結。這個區域繫結可確保該網路上的 VM Google Cloud 能解析管理設備。下圖顯示 Cloud DNS 拓撲。
從 VMware Engine 到網際網路的出站流量
藍圖提供下列三種選項，可供您選擇從 VMware Engine 傳輸至網際網路的出站流量：
- 透過客戶的地端環境傳送輸出內容
- 透過 VMware Engine 網際網路閘道傳輸的出站流量
- 透過客戶附加的 VPC，使用外部 IP 位址傳送輸出流量
下圖顯示這些選項。
從網際網路傳送至 VMware Engine 的輸入流量
藍圖提供下列三種選項，可將網際網路流量導向 VMware Engine：
- 透過客戶的內部部署環境傳入
- 透過客戶的虛擬私有雲，使用 Cloud Load Balancing 和 (可能) Cloud Armor 傳入
- 透過 VMware Engine 使用外部 IP 位址連入
下圖顯示這些選項。
記錄
您可以使用記錄接收器，透過藍圖將 VMware Engine 管理動作傳送至 Cloud 稽核記錄。管理員可以分析 VMware Engine 稽核記錄，找出可疑行為、調查事件，並證明符合法規要求。
記錄匯出作業也可以做為安全性資訊和事件管理 (SIEM) 系統的擷取來源。Google 支援下列擷取來源，可為 VMware Engine 提供服務：
- 主機代管 Google Cloud 機構，包括雲端架構和資產遙測
- VMware 服務元件
- 在 VMware Engine 中執行的工作負載
Google SecOps 內建自動記錄檔擷取管道，可擷取機構資料，並提供轉送系統，將 VMware Engine 和工作負載的串流遙測資料推送至 Google SecOps 擷取管道。Google SecOps 會加入背景資訊來豐富遙測資料，並提供搜尋功能。您可以使用 Google SecOps 找出並追蹤安全性問題的發展情況。
監控
藍圖會安裝 Cloud Monitoring 的獨立代理程式，將私有雲的指標轉送至 Cloud Monitoring。藍圖會設定預先定義的資訊主頁，提供 VMware Engine 資源和資源使用率的總覽。在 VMware vCenter Server 中，VMware 提供多種工具，協助您監控環境及找出問題來源。您可以將這些工具納入持續進行的作業，並做為其他監控選項的輔助工具。
如下圖所示，藍圖會使用部署在客戶 VPC 中的代管執行個體群組，自動部署獨立代理程式。代理程式會從 VMware vCenter 收集指標和系統記錄檔，並轉送至 Cloud Monitoring 和 Cloud Logging。
備份
藍圖會使用 Backup and DR，為 VMware 工作負載提供資料保護服務。這項服務會使用部署在客戶虛擬私有雲中的受管理裝置。設備會透過私人 Google 存取權和 WebSocket 連線至 Google 控制層。備份會儲存在 Cloud Storage 中，這項服務提供精細的復原選項，可讓您將個別檔案或整個 VM 還原至特定時間點。
營運最佳做法
本節說明部署藍圖後，您可以根據環境和需求採取的最佳做法。
新增更多備用節點
VMware Engine 叢集會自動調整大小，確保至少有一個備用節點，以維持復原能力。備用節點是 vSphere HA 的固有行為，也就是說，這個節點可在叢集中使用，並會相應計費。
您可以在維護時段將更多備用節點新增至叢集，確保容量。這項決定可能會產生額外的消耗費用，且這些節點是由貴機構直接管理。
新增的備用節點會顯示為 vSphere 叢集中的額外節點。 您也可以選擇在備用節點上排定工作負載。
考量私有雲的資源限制
VMware Engine 私有雲的運算、儲存空間和網路元件有資源限制。在部署私有雲時，請考量這些限制，確保環境能因應工作負載需求進行擴充。
實作成本管理選項
您可以採用下列一或多個做法來管理費用：
- 承諾使用折扣 (CUD)
- 自動調整資源配置
- 核心數量限制
- 運算能力超額訂閱
使用承諾使用折扣
您只要承諾在指定期間內達到一定的資源用量，即可享有折扣價。VMware Engine CUD 會套用至區域內的 VMware Engine 節點總用量，讓您享有低廉且可預測的費用，不必手動變更或更新任何項目。折扣適用於服務可用區域的 VMware Engine 節點用量，以及您已購買 CUD 的區域。
使用自動調度資源功能
VMware Engine 可讓您根據預先定義的門檻和水位線，自動新增或移除叢集中的節點。如果指定條件持續至少 30 分鐘，就會觸發這些政策。對 vSphere 叢集 (標準或延伸) 套用或更新自動調度政策時，請注意下列事項：
- 自動調度資源功能預設為停用。您必須為每個叢集明確啟用這項功能。
- 在延伸叢集中，系統會依區域新增或移除政策中指定的節點數量，因此計費方式也會有所不同。
- 由於運算、記憶體和儲存空間用量通常是獨立的，因此監控多項指標的自動調整規模政策會使用 OR 邏輯新增節點，並使用 AND 邏輯移除節點。
- 自動調度資源上限取決於Google Cloud 專案和 VMware Engine 私有雲的可用配額。
- 啟用自動調度資源功能，以及手動新增或移除節點不會互斥。舉例來說，使用「儲存空間容量最佳化」政策時，如果 VM 磁碟空間縮減幅度足以容納叢集中的所有 VM，您就可以手動移除節點。雖然可以手動移除節點，但使用自動調整功能時，這並非最佳做法。
限制核心數量
管理員可以透過 VMware Engine 減少向客層 OS 公開的有效 CPU 核心數量 (也就是在 VMware Engine 上執行的 VM)。部分軟體授權協議要求您減少公開的核心。
超額訂閱 VMware Engine 的運算容量
超額訂閱 VMware Engine 的運算容量是標準做法，而且與 Compute Engine 單一用戶群節點不同，不會產生額外費用。提高超額預訂比率有助於減少環境中有效計費節點的數量，但可能會影響應用程式效能。在調整企業工作負載大小時，建議您先使用 4:1 的比例，然後根據適用於您用途的因素修改比例。
部署藍圖
您可以在企業基礎藍圖或 Fabric FAST 上部署藍圖。
如要在企業基礎藍圖上部署藍圖，請完成下列步驟：
- 部署企業基礎藍圖。
- 部署 VMware Engine 企業藍圖。如需操作說明，請參閱 VMware Engine 企業藍圖存放區。
如要在 Fabric FAST 上部署藍圖，請參閱 Fabric FAST 存放區。 Google Cloud VMware Engine 階段 會部署 VMware Engine 企業藍圖。
部署藍圖，不需企業基礎藍圖或 Fabric FAST
如要在不先部署企業基礎藍圖或 Fabric FAST 的情況下部署藍圖，請確認環境中存在下列資源：
- 機構階層，包含
development、nonproduction和production資料夾 - 每個資料夾都有一個共用虛擬私有雲網路
- IP 位址配置，其中考量了 VMware Engine 私有雲所需的 IP 位址範圍
- VMware Engine 私人雲端的 DNS 機制
- 符合安全防護機制的防火牆政策
- 透過內部 IP 位址存取 Google Cloud API 的機制
- 與內部部署環境的連線機制
- 集中式記錄，方便進行安全性和稽核
- 符合安全狀態的機構政策
- 可用於部署 VMware Engine 的管道
後續步驟
- 瞭解 VMware Engine。
- 瞭解如何將 VMware VM 執行個體遷移至私人雲端。
- 請參閱 Compute 最佳做法。
- 請參閱網路最佳做法。
- 請參閱 VMware Engine 安全性最佳做法。
- 請參閱儲存空間最佳做法。
- 請參閱成本計算最佳做法。
- 從 VMware 存取 VMware Engine 頁面。