本頁面由 Cloud Translation API 翻譯而成。

在 MIG 中建立大小調整要求

本文說明如何為已附加 GPU 的虛擬機器 (VM) 執行個體，在代管執行個體群組 (MIG) 中建立大小調整要求。如要進一步瞭解大小調整要求，請參閱關於 MIG 中的大小調整要求。

建立 MIG 大小調整要求，有助於取得 GPU 等需求量高的資源，並一次建立確切數量的 VM，進而節省成本。如要建立可使用 Cluster Director 功能和服務的 MIG 大小調整要求，請參閱 AI Hypercomputer 文件中的「建立 MIG 和大小調整要求」。

事前準備

如要使用 MIG 規模調整要求，在資源可供執行最多七天的工作負載使用時，立即建立 VM，請確認您有足夠的標準或可搶占配額，可供要求資源使用。詳情請參閱如何查看 GPU 配額。
如果尚未設定驗證，請先完成設定。「驗證」是指驗證身分的程序，確認您有權存取 Google Cloud 服務和 API。如要從本機開發環境執行程式碼或範例，請選取下列任一選項，向 Compute Engine 進行驗證：

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. 安裝 Google Cloud CLI。安裝完成後，執行下列指令初始化 Google Cloud CLI：
  gcloud init
  如果您使用外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。
  
  注意：如果您先前已安裝 gcloud CLI，請執行 gcloud components update，確認您使用的是最新版本。
2. Set a default region and zone.
REST

如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。
詳情請參閱 Google Cloud 驗證說明文件中的「Authenticate for using REST」。

必要的角色

如要取得建立 MIG 調整大小要求所需的權限，請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色具備建立 MIG 大小調整要求的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要建立 MIG 大小調整要求，您必須具備下列權限：

如要建立執行個體範本： compute.instanceTemplates.create 在專案上
如要建立可用區 MIG： compute.instanceGroupManagers.create 專案
如要建立 MIG 調整大小要求： compute.instanceGroupManagers.update 在專案上

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

準備 MIG 以處理大小調整要求

如要建立 MIG 調整大小要求，請按照下列各節的說明設定執行個體範本和 MIG。

建立執行個體範本

根據 MIG 規模調整要求的使用案例，使用下列任一方法建立執行個體範本：

如要盡快建立 VM，以便執行最多七天的工作負載，請使用彈性啟動佈建模式建立執行個體範本。
如要建立 VM，並使用日曆模式中未來預留項目的自動建立預留項目，請使用與預留項目綁定的佈建模式建立執行個體範本。

使用彈性啟動佈建模式

如要建立為 MIG 調整大小要求設定的執行個體範本，並在資源可用時立即建立 VM，您必須在範本中指定下列項目：

使用GPU 機器類型，但 A4X 機器類型除外。
在主機維護事件期間停止 VM。
使用 maxRunDuration 和 instanceTerminationAction 欄位，在 VM 執行時間結束時刪除 VM。
避免預訂量消耗。
使用彈性啟動佈建模式。

如要建立執行個體範本，請選取下列任一選項：

主控台

前往 Google Cloud 控制台的「Instance Templates」(執行個體範本) 頁面。

前往「Instance templates」(執行個體範本) 頁面
按一下「建立執行個體範本」。「建立執行個體範本」頁面隨即開啟。
在「Name」(名稱) 欄位中，輸入執行個體範本的名稱。
在「位置」部分中，選取下列其中一個選項：
- 如要建立區域執行個體範本，請選取「區域 (建議)」，然後選取要建立範本的區域。
- 如要建立全域執行個體範本，請選取「全域」。
在「機器設定」專區中，執行下列操作：
1. 按一下「GPU」分頁標籤。
2. 在「GPU type」(GPU 類型) 清單中，選取 GPU 類型。
3. 在「Number of GPUs」(GPU 數量) 清單中，選取 GPU 數量。
4. 選用：如果您選擇的 GPU 類型支援適用於圖形工作負載的 NVIDIA RTX 虛擬工作站 (vWS)，且您打算執行需要大量圖形的工作負載，請選取「啟用虛擬工作站 (NVIDIA GRID)」。
5. 在「Machine type」(機器類型) 部分中，選取機器類型。
在「Provisioning model」(佈建模型) 區段中，完成下列步驟：
1. 在「VM 佈建模式」欄位中，選取「彈性啟動」。
2. 展開「VM 佈建模式進階設定」。
3. 選取「設定 VM 的時間限制」核取方塊。
4. 如要為透過執行個體範本建立的 VM 設定執行時間，請在「Enter number of hours」(輸入時數) 欄位中輸入時數。這個值必須介於 36 秒 (0.01) 和七天 (168) 之間。
(選用) 如要變更預設開機磁碟類型或映像檔，請按一下「Boot disk」(開機磁碟) 部分中的「Change」(變更)。然後按照提示變更開機磁碟。
點選「建立」。

gcloud

如要建立執行個體範本，請使用 beta instance-templates create 指令搭配下列旗標：

--instance-termination-action 旗標設為 DELETE。
--maintenance-policy 旗標設為 TERMINATE。
--max-run-duration 標記。
--provisioning-model 旗標設為 FLEX_START。
--reservation-affinity 旗標設為 none。

舉例來說，如要建立區域執行個體範本，請執行下列指令。如要建立全域執行個體範本，請使用相同的指令，但不要加上 --instance-template-region 旗標。

gcloud beta compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --image-project=IMAGE_PROJECT \
    --image-family=IMAGE_FAMILY \
    --instance-template-region=REGION \
    --instance-termination-action=DELETE \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --max-run-duration=RUN_DURATION \
    --provisioning-model=FLEX_START \
    --reservation-affinity=none

更改下列內容：

INSTANCE_TEMPLATE_NAME：要建立的執行個體範本名稱。
IMAGE_PROJECT：含有映像檔的映像檔專案，例如 debian-cloud。如要進一步瞭解支援的映像檔專案，請參閱「公開映像檔」。
IMAGE_FAMILY：圖片系列。這會指定最新的非已淘汰 OS 映像檔。舉例來說，如果您指定 debian-12，系統會使用 Debian 12 映像檔系列中的最新版本。如要進一步瞭解如何使用映像檔系列，請參閱「映像檔系列最佳做法」。

注意： 如要使用特定版本的 OS 映像檔 (例如 debian-12-bookworm-v20240701)，請將 --image-family 旗標替換為 --image 旗標。
REGION：要建立執行個體範本的區域。
MACHINE_TYPE：用於 VM 的 GPU 機型。如果您指定 N1 機器類型，則必須加入 --accelerator 旗標，定義要附加至 VM 的 GPU 數量和類型。
RUN_DURATION：要求的 VM 執行時間長度。您必須將值格式化為天數、時數、分鐘數或秒數，並分別加上 d、h、m 和 s。舉例來說，您可以指定 30m 代表 30 分鐘，或指定 1d2h3m4s 代表 1 天 2 小時 3 分 4 秒。這個值必須介於 10 分鐘至七天之間。

REST

如要建立執行個體範本，請對下列其中一種方法發出 POST 要求：

如要建立地區執行個體範本：beta regionInstanceTemplates.insert 方法
如要建立全域執行個體範本：beta instanceTemplates.insert 方法

在要求主體中加入下列欄位：

reservationAffinity.consumeReservationType 欄位設為 NO_RESERVATION。
scheduling.instanceTerminationAction 欄位設為 DELETE。
scheduling.maxRunDuration 欄位。
scheduling.onHostMaintenance 欄位設為 TERMINATE。
scheduling.provisioningModel 欄位設為 FLEX_START。

舉例來說，如要建立地區執行個體範本，請提出下列要求：

POST https://compute.googleapis.com/compute/beta/projects/PROJECT_ID/regions/REGION/instanceTemplates

{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
        }
      }
    ],
    "machineType": "MACHINE_TYPE",
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ],
    "reservationAffinity": {
      "consumeReservationType": "NO_RESERVATION"
    },
    "scheduling": {
      "instanceTerminationAction": "DELETE",
      "maxRunDuration": {
        "seconds": RUN_DURATION
      },
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "FLEX_START"
    }
  }
}

更改下列內容：

PROJECT_ID：要在其中建立執行個體範本的專案 ID。
REGION：要建立執行個體範本的區域。
INSTANCE_TEMPLATE_NAME：要建立的執行個體範本名稱。
IMAGE_PROJECT：含有映像檔的映像檔專案，例如 debian-cloud。如要進一步瞭解支援的映像檔專案，請參閱「公開映像檔」。
IMAGE：指定下列其中一項：
- 特定版本的 OS 映像檔，例如 debian-12-bookworm-v20240617。
- 映像檔系列，格式必須為 family/IMAGE_FAMILY。這會指定最新的非已淘汰 OS 映像檔。舉例來說，如果您指定 family/debian-12，系統會使用 Debian 12 映像檔系列中的最新版本。如要進一步瞭解如何使用映像檔系列，請參閱「映像檔系列最佳做法」。
MACHINE_TYPE：用於 VM 的 GPU 機型。如果您指定 N1 機器類型，則必須加入 guestAccelerators 欄位，定義要附加至 VM 的 GPU 數量和類型。
RUN_DURATION：要求的 VM 執行時間長度 (以秒為單位)。這個值必須介於 600 (600 秒，也就是 10 分鐘) 和 604800 (604,800 秒，也就是 7 天) 之間。

如要進一步瞭解如何建立執行個體範本，請參閱建立執行個體範本。

使用「取決於預留項目」的佈建模式

如要建立執行個體範本，並設定 MIG 規模調整要求和預留項目用量，您必須在範本中指定下列項目：

使用預留項目中指定的 A4 或 A3 Ultra 機型。
在主機維護事件期間停止 VM。
在預留期限結束時，使用 instanceTerminationAction 欄位刪除 VM。
指定要使用的預留項目。
使用取決於預留項目的佈建模式。

如要建立執行個體範本，請選取下列任一選項：

主控台

前往 Google Cloud 控制台的「Instance Templates」(執行個體範本) 頁面。

前往「Instance templates」(執行個體範本) 頁面
按一下「建立執行個體範本」。「建立執行個體範本」頁面隨即開啟。
在「Name」(名稱) 欄位中，輸入執行個體範本的名稱。
在「位置」部分中，選取下列其中一個選項：
- 如要建立區域執行個體範本，請選取「區域 (建議)」，然後選取要建立範本的區域。
- 如要建立全域執行個體範本，請選取「全域」。
在「機器設定」專區中，執行下列操作：
1. 按一下「GPU」分頁標籤。
2. 在「GPU type」(GPU 類型) 清單中，選取要使用的預留項目所指定的下列其中一個選項：
  - 如要使用 A4 VM，請選用 NVIDIA B200 180GB。
  - 如要使用 A3 Ultra VM，請選用 NVIDIA H200 141GB。
  這項動作會自動將執行個體範本的佈建模式設為「取決於預留項目」。
3. 在「Number of GPUs」(GPU 數量) 清單中，選取 GPU 數量。
4. 選用：如果您選擇的 GPU 類型支援適用於圖形工作負載的 NVIDIA RTX 虛擬工作站 (vWS)，且您打算執行需要大量圖形的工作負載，請選取「啟用虛擬工作站 (NVIDIA GRID)」。
5. 在「Machine type」(機器類型) 部分中，選取機器類型。
在「Provisioning model」(佈建模型) 區段中，完成下列步驟：
1. 展開「VM 佈建模式進階設定」。
2. 在「On VM termination」(VM 終止時) 清單中，選取「Delete」(刪除)。
(選用) 如要變更預設開機磁碟類型或映像檔，請按一下「Boot disk」(開機磁碟) 部分中的「Change」(變更)。然後按照提示變更開機磁碟。
展開「Advanced options」(進階選項) 區段，然後執行下列操作：
1. 展開「管理」部分。
2. 在「Reservations」(預留項目) 部分，選取「Choose a reservation」(選取預留項目)，然後點選「Choose reservation」(選取預留項目)。在隨即顯示的窗格中，按照提示選取要使用的預訂。
點選「建立」。

gcloud

如要建立執行個體範本，請使用 instance-templates create 指令搭配下列旗標：

--instance-termination-action 旗標設為 DELETE。
--maintenance-policy 旗標設為 TERMINATE。
--provisioning-model 旗標設為 RESERVATION_BOUND。
--reservation-affinity 旗標設為 specific。
--reservation 標記。

舉例來說，如要建立區域執行個體範本，請執行下列指令。如要建立全域執行個體範本，請使用相同的指令，但不要加上 --instance-template-region 旗標。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --image-project=IMAGE_PROJECT \
    --image-family=IMAGE_FAMILY \
    --instance-termination-action=DELETE \
    --instance-template-region=REGION \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --provisioning-model=RESERVATION_BOUND \
    --reservation-affinity=specific \
    --reservation=RESERVATION_URL

更改下列內容：

INSTANCE_TEMPLATE_NAME：要建立的執行個體範本名稱。
IMAGE_PROJECT：含有映像檔的映像檔專案，例如 debian-cloud。如要進一步瞭解支援的映像檔專案，請參閱「公開映像檔」。
IMAGE_FAMILY：圖片系列。這會指定最新的非已淘汰 OS 映像檔。舉例來說，如果您指定 debian-12，系統會使用 Debian 12 映像檔系列中的最新版本。如要進一步瞭解如何使用映像檔系列，請參閱「映像檔系列最佳做法」。

注意： 如要使用特定版本的 OS 映像檔 (例如 debian-12-bookworm-v20240701)，請將 --image-family 旗標替換為 --image 旗標。
REGION：要建立執行個體範本的區域。
MACHINE_TYPE：您要使用的預留項目中指定的 A4 或 A3 Ultra 機型。
RESERVATION_URL：您想在日曆模式中使用的預訂網址，該預訂是系統自動建立，且預訂時間在未來。請指定下列其中一個值：
- 如果專案中已有自動建立的預留項目： RESERVATION_NAME。
- 如果自動建立的預留項目位於其他專案： projects/PROJECT_ID/reservations/RESERVATION_NAME。

REST

如要建立執行個體範本，請對下列其中一種方法發出 POST 要求：

如要建立地區執行個體範本：regionInstanceTemplates.insert 方法
如要建立全域執行個體範本，請使用 instanceTemplates.insert 方法。

在要求主體中加入下列欄位：

reservationAffinity.consumeReservationType 欄位設為 SPECIFIC_RESERVATION。
reservationAffinity.key 欄位設為 compute.googleapis.com/reservation-name。
reservationAffinity.values 欄位設為自動建立的預留項目網址。
scheduling.instanceTerminationAction 欄位設為 DELETE。
scheduling.onHostMaintenance 欄位設為 TERMINATE。
scheduling.provisioningModel 欄位設為 RESERVATION_BOUND。

舉例來說，如要建立地區執行個體範本，請提出下列要求：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates

{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
        }
      }
    ],
    "machineType": "MACHINE_TYPE",
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ],
    "reservationAffinity": {
      "consumeReservationType": "SPECIFIC_RESERVATION",
      "key": "compute.googleapis.com/reservation-name",
      "values": [
        "RESERVATION_URL"
      ]
    },
    "scheduling": {
      "instanceTerminationAction": "DELETE",
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "RESERVATION_BOUND"
    }
  }
}

更改下列內容：

PROJECT_ID：要在其中建立執行個體範本的專案 ID。
REGION：要建立執行個體範本的區域。
INSTANCE_TEMPLATE_NAME：要建立的執行個體範本名稱。
IMAGE_PROJECT：含有映像檔的映像檔專案，例如 debian-cloud。如要進一步瞭解支援的映像檔專案，請參閱「公開映像檔」。
IMAGE：指定下列其中一項：
- 特定版本的 OS 映像檔，例如 debian-12-bookworm-v20240617。
- 映像檔系列，格式必須為 family/IMAGE_FAMILY。這會指定最新的非已淘汰 OS 映像檔。舉例來說，如果您指定 family/debian-12，系統會使用 Debian 12 映像檔系列中的最新版本。如要進一步瞭解如何使用映像檔系列，請參閱「映像檔系列最佳做法」。
MACHINE_TYPE：您要使用的預留項目中指定的 A4 或 A3 Ultra 機型。
RESERVATION_URL：您想在日曆模式中使用的預訂網址，該預訂是系統自動建立，且預訂時間在未來。請指定下列其中一個值：
- 如果專案中已有自動建立的預留項目： RESERVATION_NAME
- 如果自動建立的預留項目位於其他專案： projects/PROJECT_ID/reservations/RESERVATION_NAME

如要進一步瞭解如何建立執行個體範本，請參閱建立執行個體範本。

建立或更新 MIG

如上一節所述建立執行個體範本後，請使用該範本建立 MIG，或更新 MIG。此外，您必須執行下列操作，為調整大小要求準備 MIG：

將 MIG 的更新類型設為「投機」(預設)。
關閉修復功能。
如果您已在 MIG 中設定自動調度資源，請刪除自動調度資源設定。
如果您使用區域性 MIG，請設定目標分配型態為 ANY_SINGLE_ZONE。

如要建立與規模調整要求相容的 MIG，請選取下列任一選項：

主控台

前往 Google Cloud 控制台的「Instance groups」(執行個體群組) 頁面。

前往「Instance groups」(執行個體群組) 頁面
按一下「建立執行個體群組」。「建立執行個體群組」頁面隨即開啟。
在「Name」(名稱) 欄位中，輸入 MIG 的名稱。
選取執行個體範本前，請先刪除自動調度資源設定，並依下列步驟停用修復功能：
1. 如要刪除自動調度資源設定，請按照下列步驟操作：
  1. 在「Autoscaling」(自動調度資源) 區段中，按一下「Autoscaling mode」(自動調度資源模式) 清單，然後按一下「Delete autoscaling configuration」(刪除自動調度資源設定)。
  2. 在確認對話方塊中按一下「刪除」。
2. 如要關閉修復功能，請在「VM instance lifecycle」(VM 執行個體生命週期) 部分，按一下「Default action on failure」(失敗時的預設動作) 清單，然後選取「No action」(不採取任何動作)。
返回「Instance template」(執行個體範本) 欄位。在「Instance template」(執行個體範本) 清單中，選取您在上一個部分中建立的執行個體範本。如果選取區域執行個體範本，系統會將「Region」(區域) 清單設為範本的區域。
執行下列其中一個步驟：
- 如要在建立 MIG 時建立規模調整要求，請執行下列步驟：
  1. 在「Number of instances」(執行個體數量) 欄位中，輸入要一次建立的 VM 數量。
  2. 勾選「透過大小調整要求一次建立多個 VM」核取方塊。
  3. 選用：如果 MIG 的執行個體範本指定了執行時間長度，您可以指定不同的執行時間長度。如要這麼做，請在「要求的執行時長」欄位和「單位」清單中，指定執行時長。您必須指定一小時到七天的時間長度。
- 如要在建立 MIG 後建立規模調整要求，請在「Number of instances」(執行個體數量) 欄位中輸入 0。
在「Location」(位置) 部分中，指定要建立區域性或地區性 MIG，方法如下：
1. 如要建立可用區 MIG，請選取「單一可用區」。如要建立區域性 MIG，請選取「Multiple zones」(多個可用區)。
2. 選取 MIG 的「Region」(區域) 和「Zones」(可用區)。
3. 如要建立區域性 MIG，請執行下列步驟：
  1. 在「目標分配型態」欄位中，選取「任何單一可用區」。
  2. 在隨即顯示的對話方塊中，按一下「停用執行個體重新分配」。
點選「建立」。

gcloud

使用 instance-groups managed create 指令，並將 --default-action-on-vm-failure 旗標設為 do_nothing。如要建立區域 MIG，則必須一併加入 --target-distribution-shape 旗標 (設為 any-single-zone) 和 --instance-redistribution-type 旗標 (設為 none)。

如要建立可用區 MIG，請執行下列指令：

gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --zone=ZONE \
    --default-action-on-vm-failure=do_nothing

如要建立地區 MIG，請執行下列指令：

gcloud compute instance-groups managed create INSTANCE_GROUP_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --region=REGION \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none \
    --default-action-on-vm-failure=do_nothing

更改下列內容：

INSTANCE_GROUP_NAME：要建立的 MIG 名稱。
INSTANCE_TEMPLATE_URL：您在上一節建立的執行個體範本部分網址。如要使用區域執行個體範本建立 MIG，只能在範本的區域內建立 MIG。指定下列其中一個值：
- 如果是區域執行個體範本： projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_NAME
- 全域執行個體範本： INSTANCE_TEMPLATE_NAME
ZONE：要建立 MIG 的可用區。
REGION：要建立 MIG 的區域。

REST

如要建立區域 MIG，請使用 instanceGroupManagers.insert 方法傳送 POST 要求，如下所示：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers

{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "INSTANCE_GROUP_NAME",
  "targetSize": 0,
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  }
}

如要建立區域 MIG，請使用 regionInstanceGroupManagers.insert 方法傳送 POST 要求，如下所示：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers

{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "INSTANCE_GROUP_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE"
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  },
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  }
}

更改下列內容：

PROJECT_ID：您在上一節中建立的執行個體範本所在專案的 ID。
INSTANCE_TEMPLATE_URL：您在上一節建立的執行個體範本部分網址。如要使用區域執行個體範本建立 MIG，只能在範本的區域內建立 MIG。指定下列其中一個值：
- 如果是區域執行個體範本： regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_NAME
- 全域執行個體範本： global/instanceTemplates/INSTANCE_TEMPLATE_NAME
ZONE：要建立 MIG 的可用區。
REGION：要建立 MIG 的區域。
INSTANCE_GROUP_NAME：要建立的 MIG 名稱。