使用 IRDMA RDMA 驅動程式

Cloud RDMA 使用 IRDMA RDMA 驅動程式，提供低延遲的可靠訊息傳輸功能。這個驅動程式支援 Compute Engine 執行個體之間的遠端直接記憶體存取 (RDMA)。RDMA 會透過網路介面在遠端機器和本機記憶體之間傳輸資料，不需要使用主機 CPU 或中繼主機緩衝區。

支援 RDMA 的執行個體至少需要兩個虛擬網路介面 (vNIC)：

  • 用於 RDMA 通訊的 vNIC，使用 IDPF 網路和 IRDMA RDMA 驅動程式。這個 vNIC 無法連上網際網路。執行個體只能有一個使用 IRDMA 的 vNIC。
  • 用於一般網路流量的 vNIC。這個 vNIC 已完全連線至「Google Cloud 」網路，可以連上網際網路。這個 vNIC 使用 gVNIC 網路驅動程式。您最多可新增八個額外 GVNIC 網路介面，因此每個執行個體最多可有 10 個 NIC。

H4D 執行個體支援 IRDMA 網路驅動程式。

設定使用 IRDMA 驅動程式的 vNIC 時，必須指定使用 Falcon RDMA 網路設定檔建立的虛擬私有雲網路。

事前準備

  • 如果尚未設定驗證，請先完成設定。 驗證可確認您的身分，以便存取 Google Cloud 服務和 API。如要從本機開發環境執行程式碼或範例，可以選取下列任一選項，向 Compute Engine 進行驗證：

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. 安裝 Google Cloud CLI。 安裝完成後，執行下列指令初始化 Google Cloud CLI： 

      gcloud init

      如果您使用外部識別資訊提供者 (IdP)，請先 使用聯合身分登入 gcloud CLI。

    2. Set a default region and zone.

    REST

    如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

      安裝 Google Cloud CLI。 安裝完成後，執行下列指令初始化 Google Cloud CLI： 

      gcloud init

      如果您使用外部識別資訊提供者 (IdP)，請先 使用聯合身分登入 gcloud CLI。

    詳情請參閱 Google Cloud 驗證說明文件中的「Authenticate for using REST」。

作業系統支援

在預先發布期間，請使用HPC VM 映像檔，其中已預先安裝 Cloud RDMA 驅動程式。

搭配 Compute Engine 執行個體使用 IRDMA 的總覽

如要建立使用 Cloud RDMA 的運算執行個體，您必須至少有一個一般 VPC 網路和一個 Falcon VPC 網路。Falcon 虛擬私人雲端網路使用 RDMA 網路設定檔，可在 H4D 執行個體之間啟用 RDMA 流量。這個網路與一般虛擬私有雲網路不同，後者會將非 RDMA 流量傳輸至其他 Google Cloud服務或網際網路。

如要建立使用 Cloud RDMA 的運算執行個體，請完成下列工作：

  1. 選擇支援 IRDMA 的公開 OS 映像檔，或建立標記為使用 IRDMA 的自訂 OS 映像檔。

  2. 找出或建立至少兩個虛擬私有雲網路：

    • 用於透過 gVNIC 網路介面傳輸流量的一般 VPC 網路
    • 用於 RDMA 流量的 Falcon 虛擬私有雲網路

  3. 使用公開或自訂 OS 映像檔建立運算執行個體。建立執行個體時，請設定至少兩個網路介面：一個使用 gVNIC 驅動程式，另一個使用 IRDMA 驅動程式。

  4. 確認 IRDMA 已啟用。

建立支援 IRDMA 的自訂 OS 映像檔

您可以使用 Google Cloud CLI 或 REST 建立 OS 映像檔。如需建立自訂 OS 映像檔的詳細資訊和最佳做法，請參閱「建立自訂 OS 映像檔」。

gcloud

  1. 選取支援 IRDMA 的 OS 映像檔或映像檔系列。 在預先發布期間，請使用 HPC VM 映像檔。

  2. 使用上一個步驟中選取的 OS 映像檔或映像檔系列，建立自訂 OS 映像檔。如要建立自訂 OS 映像檔，請使用 gcloud compute images create 指令。舉例來說，下列指令會建立支援 IRDMA 的自訂 OS 映像檔，並以特定 OS 映像檔為基礎。

    gcloud compute images create IMAGE_NAME \
    --source-image=SOURCE_IMAGE \
    --source-image-project=SOURCE_IMAGE_PROJECT \

    更改下列內容：

    • IMAGE_NAME：要建立的映像檔名稱

    • SOURCE_IMAGE：支援 IRDMA 的特定 OS 映像檔，例如： hpc-rocky-linux-8-v20250721

      如要在映像檔系列中使用最新的 OS 映像檔，請將 --source-image 標記替換為 --source-image-family 標記，並將其值設為支援 IRDMA 的映像檔系列。例如： --source-image-family=hpc-rocky-linux-8。

    • SOURCE_IMAGE_PROJECT：包含來源 OS 映像檔或映像檔系列的專案名稱

    如要進一步瞭解何時該使用映像檔系列，請參閱映像檔系列最佳做法。

REST

  1. 選取支援 IRDMA 的 OS 映像檔或映像檔系列。詳情請參閱作業系統詳細資料。

  2. 使用上一步選取的 OS 映像檔或映像檔系列，透過 images.insert 方法建立 OS 映像檔。

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/images
{
  "name":"IMAGE_NAME",
  "sourceImage":"SOURCE_IMAGE_URI"
}

    更改下列內容：

    • PROJECT_ID：要在哪個專案中建立新圖片的 ID
    • IMAGE_NAME：自訂圖片的名稱

    • SOURCE_IMAGE_URI：要使用的特定 OS 映像檔或映像檔系列的 URI

      例如：

      • 特定 OS 映像檔："sourceImage": "projects/rocky-linux-cloud/global/images/hpc-rocky-linux-8-v20250721"
      • 映像檔系列："sourceImage": "projects/rocky-linux-cloud/global/images/family/hpc-rocky-linux-8"

      指定映像檔系列時，Compute Engine 會從該系列中未淘汰的最新 OS 映像檔建立 VM。如要進一步瞭解何時該使用映像檔系列，請參閱映像檔系列最佳做法。

建立支援 IRDMA 的 VM

您可以透過支援的公開 OS 映像檔建立 VM，也可以使用按照「建立支援 IRDMA 的自訂 OS 映像檔」一文步驟建立的自訂 OS 映像檔。

如要在執行個體中使用 RDMA，您必須為執行個體設定多個網路介面 (NIC)。其中一個 NIC 必須使用 GVNIC 驅動程式 (指定 nic-type=GVNIC)，另一個 NIC 則必須使用 IRDMA 驅動程式 (指定 nic-type=IRDMA)。

使用公開 OS 映像檔建立 VM

如要使用 HPC VM 映像檔或支援 IRDMA 的公開 OS 映像檔建立 VM，請按照下列頁面的操作說明進行：

使用自訂 OS 映像檔建立 VM

如果您使用的公開 OS 映像檔不支援 IRDMA，請先建立支援 IRDMA 的自訂 OS 映像檔。接著，您可以使用 Google Cloud 控制台、Google Cloud CLI 或 REST，透過該自訂 OS 映像檔建立 VM。

如需如何使用自訂映像檔建立執行個體的操作說明，請參閱「透過自訂映像檔建立執行個體」。

確認已啟用 IRDMA

部署 VM 後，請執行下列效能頻寬測試，確保您是在啟用 RDMA 的正常 VM 執行個體上執行。

ib_send_bw -aF & # start the server
ib_send_bw -aF $(hostname) # start the client (can be done on the same machine)

如果資料列大於 4096 B，單一連線頻寬 BW average [MB/s] 應至少達到 11,000 MB/s；如果訊息大小較小，則預期值會較低。

後續步驟