RDMA RoCE 網路設定檔

本頁面提供 Remote Direct Memory Access (RDMA) over Converged Ethernet (RoCE) 網路設定檔的總覽。 Google Cloud

總覽

您可以使用 RDMA RoCE 網路設定檔建立虛擬私有雲 (VPC) 網路，透過RoCE v2 協定，在網路中建立的 VM 的 GPU 之間提供低延遲、高頻寬的 RDMA 通訊。 使用 RoCE 網路設定檔的 VPC 網路稱為 RoCE VPC 網路。

RoCE 虛擬私有雲網路適合執行 AI 工作負載。如要進一步瞭解如何在 Google Cloud中執行 AI 工作負載，請參閱「AI Hypercomputer 總覽」。

RoCE 網路設定檔的資源名稱格式如下：ZONE-vpc-roce，例如 europe-west1-b-vpc-roce。如要查看特定網路設定檔名稱，請參閱「列出網路設定檔」。

支援的區域

RoCE 網路設定檔僅適用於特定可用區。您只能在提供 RoCE 網路設定檔的區域中建立 RoCE VPC 網路。

如要查看支援的區域，請參閱網路設定檔清單。

或者，您也可以在 RoCE 虛擬私有雲網路中，查看您打算建立的 GPU 機器類型支援的區域。RoCE 網路設定檔與「規格」一節所述的支援機器類型位於相同可用區。詳情請參閱 GPU 供應地區和區域。

規格

RoCE 虛擬私有雲網路的規格如下：

  • NVIDIA ConnectX NIC。NVIDIA ConnectX NIC 會顯示為 MRDMA 網路介面 Google Cloud。

  • 區域限制。使用 RoCE VPC 網路的資源僅限於與 RoCE VPC 網路相關聯的 RoCE 網路設定檔所在的可用區 (在建立 RoCE 網路時)。這項區域限制會產生下列影響：

    • 凡是在 RoCE VPC 網路中具有網路介面的執行個體，都必須在與 RoCE VPC 網路所用 RoCE 網路設定檔相符的區域中建立。

    • 在 RoCE 虛擬私有雲網路中建立的所有子網路，都必須位於包含 RoCE 網路設定檔區域的地區，而 RoCE 虛擬私有雲網路會使用該設定檔。

  • 僅限 MRDMA 網路介面。RoCE VPC 網路僅支援 MRDMA 網路介面 (NIC)，且僅適用於 A3 Ultra、A4 和 A4X 系列機器。

    虛擬機器 (VM) 執行個體的所有非 MRDMA NIC 都必須附加至一般 VPC 網路。

  • 8896 位元組 MTU。為獲得最佳效能，建議 RoCE VPC 網路的傳輸單位上限 (MTU) 為 8896 位元組。這樣一來，VM 客戶作業系統中的 RDMA 驅動程式就能視需要使用較小的 MTU。

    如果您使用 gcloud CLI 或 API 建立 RoCE 虛擬私有雲網路，則預設 MTU 為 8896 位元組。如果您使用 Google Cloud 控制台建立 RoCE 虛擬私有雲網路，則必須將 MTU 設為 8896。

  • 防火牆差異。RoCE 虛擬私有雲網路使用不同的隱含防火牆規則。僅支援 RoCE 防火牆政策類型的區域網路防火牆政策。支援的區域網路防火牆政策中，規則的參數集有限。詳情請參閱 Cloud NGFW for RoCE VPC networks。

  • 不支援 Connectivity Tests。 連線測試不支援 RoCE 虛擬私有雲網路。

  • 其他 VPC 功能。RoCE 虛擬私有雲網路支援的虛擬私有雲功能有限。詳情請參閱下方的「支援與不支援的功能」一節。

支援及不支援的功能

下表列出 RoCE VPC 網路支援的 VPC 功能。

功能 支援 網路設定檔資源 網路設定檔屬性值 詳細資料
MRDMA NIC interfaceTypes MRDMA

RoCE 虛擬私有雲網路僅支援 MRDMA NIC，不支援其他類型，例如 GVNIC 或 VIRTIO_NET。
同一個網路中的多個 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

RoCE 虛擬私有雲網路支援多 NIC VM，允許兩個以上的 MRDMA VM NIC 位於相同的 RoCE 虛擬私有雲網路。每個 NIC 都必須連結至 RoCE VPC 網路中的不重複子網路。

請參閱 RoCE 虛擬私有雲網路多重 NIC 注意事項。
僅支援 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

RoCE 虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

RoCE 虛擬私有雲網路不支援雙重堆疊或僅限 IPv6 的子網路。 詳情請參閱子網路類型。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

RoCE 虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

RoCE VPC 網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱子網路用途。
GCE_ENDPOINT 地址用途 addressPurposes GCE_ENDPOINT

RoCE 虛擬私有雲網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，VM NIC 的內部 IP 位址會使用這類位址。

RoCE VPC 網路不支援特殊用途的 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
nic0 的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED RoCE 虛擬私有雲網路不支援將 VM 的nic0網路介面附加至網路。附加至 RoCE VPC 網路的每個 MRDMA NIC 不得為 nic0。
VM 的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED RoCE 虛擬私有雲網路不支援將外部 IP 位址指派給 MDRMA VM NIC。因此，MDRMAVM NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED RoCE VPC 網路不支援動態 NIC。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED RoCE VPC 網路不支援將別名 IP 範圍指派給 MRDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED RoCE 虛擬私有雲網路不支援 IP 轉送。
VM 網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED RoCE VPC 網路不支援在網路之間遷移 VM NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED RoCE 虛擬私有雲網路無法設為自動模式網路。詳情請參閱子網路建立模式。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED RoCE VPC 網路不支援使用 VPC 網路對等互連連線至其他 VPC 網路。因此，RoCE 虛擬私有雲網路不支援使用私人服務存取權連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED RoCE 虛擬私有雲網路不支援靜態路徑。
封包鏡像 allowPacketMirroring PACKET_MIRRORING_BLOCKED RoCE 虛擬私有雲網路不支援封包鏡像。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED RoCE 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED RoCE 虛擬私有雲網路不支援 Cloud Router 和動態路徑。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED RoCE 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED RoCE 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED RoCE 虛擬私有雲網路不支援 Network Connectivity Center。您無法將 RoCE 虛擬私有雲網路新增為 Network Connectivity Center 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED RoCE 虛擬私有雲網路不支援 Cloud Load Balancing。因此，RoCE 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
私人 Google 存取權 allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED RoCE 虛擬私有雲網路不支援私人 Google 存取權。
Private Service Connect allowPsc PSC_BLOCKED RoCE 虛擬私有雲網路不支援私人服務連線。

RoCE 虛擬私有雲網路多重 NIC 注意事項

為支援可從跨軌 GPU 對 GPU 通訊獲益的工作負載，RoCE 虛擬私有雲網路支援在網路中有多個 MRDMA NIC 的 VM。每個 MRDMA NIC 都必須位於專屬子網路。在相同的 RoCE 虛擬私有雲網路中放置兩個以上的 MRDMA NIC，可能會影響網路效能，包括增加延遲時間。MRDMA NIC 使用 NCCL。NCCL 會嘗試對齊所有網路傳輸，即使是跨通道通訊也一樣。舉例來說，系統會使用 PXN 透過 NVlink 將資料複製到與導軌對齊的 GPU，然後透過網路傳輸資料。

後續步驟