新增或移除 GPU

Google Compute Engine 提供圖型處理器 (GPU)，方便您將 GPU 加入虛擬機器執行個體。您可以利用這些 GPU 加快執行個體上特定工作負載的速度，例如機器學習和資料處理。

如要進一步瞭解可以利用 GPU 執行哪些作業，以及我們提供的 GPU 硬體類型，請參閱 Compute Engine 的 GPU 一文。

事前準備

如要使用本指南中的指令列範例，請完成下列事項：
1. 安裝或更新至最新版 gcloud 指令列工具。
2. 設定預設地區和區域。
如要使用本指南中的 API 範例，請設定 API 存取。
如要瞭解在執行個體中使用 GPU 所需的費用，請參閱 Compute Engine 的 GPU 定價。
如要瞭解這類執行個體的運作方式與大多數執行個體有何不同，請參閱具有 CPU 的執行個體的限制。
瞭解執行個體因主機維護作業而排定終止時的運作方式。如要為執行個體新增 GPU，您必須一併設定在主機維護期間自動終止執行個體。
查看「Quotas」(配額) 頁面，確保您的專案擁有足夠的 GPU。如果需要更多的 GPU 配額，請參閱如何申請更多配額的說明。

建立具有 GPU 的執行個體

在建立具有 GPU 的執行個體之前，請先選取您要用於執行個體的開機磁碟映像檔，並確保您已安裝合適的 GPU 驅動程式。

如果您要使用 GPU 進行機器學習，則可讓執行個體使用深度學習 VM 映像檔。深度學習 VM 映像檔已預先安裝 GPU 驅動程式，並且包含 TensorFlow 和 PyTorch 這類套件。您也可以將深度學習 VM 映像檔用於一般 GPU 工作負載。如需可用映像檔及映像檔上已安裝套件的相關資訊，請參閱深層學習 VM 說明文件。

您也可以使用任何公開映像檔或自訂映像檔，不過請注意，部分映像檔可能會需要特別的驅動程式或安裝處理程序，但本指南並未提供相關介紹。因此請自行確認哪些驅動程式適用於您的映像檔。

如需驅動程式安裝步驟，請參閱安裝 GPU 驅動程式一節。

建立具有一或多個 GPU 的執行個體時，您必須設定在主機維護期間自動終止執行個體。由於具有 GPU 的執行個體已指派給特定的硬體裝置，因此無法即時遷移。詳情請參閱 GPU 限制。

您可以使用 Google Cloud Platform 主控台、gcloud 指令列工具或 API 來建立具有一或多個 GPU 的執行個體。

主控台

前往「VM instances」(VM 執行個體) 頁面。
前往「VM instances」(VM 執行個體) 頁面
點選 [Create instance] (建立執行個體)。
選取提供 GPU 的區域。請參閱提供 GPU 的區域清單。
在「Machine configuration」(機器設定) 區段中，選取您要用於這個執行個體的機器類型。您也可以視需要指定自訂機器類型設定。
在「Machine configuration」(機器設定) 區段中，按一下 [CPU platform and GPU] (CPU 平台和 GPU)，查看進階機器類型選項和可用的 GPU。
按一下 [GPU] 查看可用的 GPU 清單。
指定您需要的 GPU 類型和 GPU 數量。
如有必要，請根據您需要的 GPU 設定來調整機器類型。如果不調整這些設定，執行個體就會使用您在開啟機器類型自訂畫面前指定的預先定義機器類型。
如要設定開機磁碟，請按一下「Boot disk」(開機磁碟) 部分的 [Change] (變更)。
在「OS images」(OS 映像檔) 分頁中選擇映像檔。
按一下 [Select] (選取) 來確認開機磁碟選項。
您可以選擇是否要加入可在執行個體啟動時安裝 GPU 驅動程式的開機指令碼。如有需要，請在「Automation」(自動) 部分的「Startup script」(開機指令碼) 下方加入您的開機指令碼內容。如需指令碼範例，請參閱安裝 GPU 驅動程式一文。
為其他執行個體調整所需設定。舉例來說，您可以變更「Preemptibility」(先佔功能) 設定，將執行個體設為先佔執行個體，進而降低執行個體和連結 GPU 的費用。詳情請參閱先佔執行個體上的 GPU。
在頁面底端，按一下 [Create] (建立) 即可建立執行個體。

gcloud

請執行 regions describe 指令，確保您在要用於建立具有 GPU 的執行個體的地區中具有足夠的 GPU 配額。

gcloud compute regions describe [REGION]

[REGION] 代表您要檢查 GPU 配額的地區。

使用來自映像檔系列的最新映像檔啟動執行個體：

gcloud compute instances create [INSTANCE_NAME] \
    --machine-type [MACHINE_TYPE] --zone [ZONE] \
    --accelerator type=[ACCELERATOR_TYPE],count=[ACCELERATOR_COUNT] \
    --image-family [IMAGE_FAMILY] --image-project [IMAGE_PROJECT] \
    --maintenance-policy TERMINATE --restart-on-failure \
    --metadata startup-script='[STARTUP_SCRIPT]' \
    [--preemptible]

其中：

[INSTANCE_NAME] 是新執行個體的名稱。
[MACHINE_TYPE] 是您為執行個體選取的機器類型。如要瞭解哪些機器類型可提供您需要的 GPU 數量，請參閱 Compute Engine 的 GPU。
[ZONE] 是這個執行個體所在的區域。
[IMAGE_FAMILY] 是可用映像檔系列中的映像檔之一。
[ACCELERATOR_COUNT] 是您要為執行個體新增的 GPU 數量。如需適用執行個體機器類型的 GPU 限制清單，請參閱 Compute Engine 的 GPU。
[ACCELERATOR_TYPE] 是您要使用的 GPU 模型。請使用下列任何一個值：
- NVIDIA® Tesla® T4：nvidia-tesla-t4
- 隨附 NVIDIA® GRID® 的 NVIDIA® Tesla® T4 虛擬工作站：nvidia-tesla-t4-vws
- NVIDIA® Tesla® P4：nvidia-tesla-p4
- 隨附 NVIDIA® GRID® 的 NVIDIA® Tesla® P4 虛擬工作站：nvidia-tesla-p4-vws
- NVIDIA® Tesla® P100：nvidia-tesla-p100
- 隨附 NVIDIA® GRID® 的 NVIDIA® Tesla® P100 虛擬工作站：nvidia-tesla-p100-vws
- NVIDIA® Tesla® V100：nvidia-tesla-v100
- NVIDIA® Tesla® K80：nvidia-tesla-k80
如需可用的 GPU 模型清單，請參閱 Compute Engine 的 GPU。
[IMAGE_PROJECT] 是映像檔系列所屬的映像檔專案。
[STARTUP_SCRIPT] 是選用的開機指令碼，可用於在執行個體啟動時安裝 GPU 驅動程式。如需相關範例，請參閱安裝 GPU 驅動程式一文。
--preemptible 是選用的標記，可用於將執行個體設為先佔執行個體，進而降低執行個體和連結 GPU 的費用。詳情請參閱先佔執行個體上的 GPU。

舉例來說，只要使用下列 gcloud 指令，即可啟動位於 us-east1-d 區域、具有 1 個 NVIDIA® Tesla® K80 GPU 和 2 個 vCPU 的 Ubuntu 16.04 執行個體。startup-script 中繼資料會指示執行個體使用建議的驅動程式版本安裝 CUDA Toolkit。

gcloud compute instances create gpu-instance-1 \
    --machine-type n1-standard-2 --zone us-east1-d \
    --accelerator type=nvidia-tesla-k80,count=1 \
    --image-family ubuntu-1604-lts --image-project ubuntu-os-cloud \
    --maintenance-policy TERMINATE --restart-on-failure \
    --metadata startup-script='#!/bin/bash
    echo "Checking for CUDA and installing."
    # Check for CUDA and try to install.
    if ! dpkg-query -W cuda-10-0; then
      curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
      dpkg -i ./cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
      apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
      apt-get update
      apt-get install cuda-10-0 -y
    fi'

這個指令範例可啟動執行個體，但 CUDA 和驅動程式需要幾分鐘才能安裝完成。

API

確定您要為執行個體新增的 GPU 類型。如要列出特定區域中適用於專案的 GPU 類型，請提交 GET 要求。

GET https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/acceleratorTypes

其中：

[PROJECT_ID] 是您的專案 ID。
[ZONE] 是您想要列出可用 GPU 類型的區域。

在 API 中，建立 POST 要求即可新建執行個體。加入 acceleratorType 參數可以指定您要使用的執行個體類型，而加入 acceleratorCount 參數則能指定您要新增的 GPU 數量。另外，請將 onHostMaintenance 參數設為 TERMINATE。

POST https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/instances?key={YOUR_API_KEY}
{
  "machineType": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/machineTypes/n1-highmem-2",
  "disks":
  [
    {
      "type": "PERSISTENT",
      "initializeParams":
      {
        "diskSizeGb": "[DISK_SIZE]",
        "sourceImage": "https://www.googleapis.com/compute/v1/projects/[IMAGE_PROJECT]/global/images/family/[IMAGE_FAMILY]"
      },
      "boot": true
    }
  ],
  "name": "[INSTANCE_NAME]",
  "networkInterfaces":
  [
    {
      "network": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/global/networks/[NETWORK]"
    }
  ],
  "guestAccelerators":
  [
    {
      "acceleratorCount": [ACCELERATOR_COUNT],
      "acceleratorType": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/acceleratorTypes/[ACCELERATOR_TYPE]"
    }
  ],
  "scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    ["preemptible": true]
  },
  "metadata":
  {
    "items":
    [
      {
        "key": "startup-script",
        "value": "[STARTUP_SCRIPT]"
      }
    ]
  }
}

其中：

[INSTANCE_NAME] 是執行個體的名稱。
[PROJECT_ID] 是您的專案 ID。
[ZONE] 是這個執行個體所在的區域。
[MACHINE_TYPE] 是您為執行個體選取的機器類型。如要瞭解哪些機器類型可提供您需要的 GPU 數量，請參閱 Compute Engine 的 GPU。
[IMAGE_PROJECT] 是映像檔所屬的映像檔專案。
[IMAGE_FAMILY] 是執行個體的開機磁碟映像檔。請指定可用公開映像檔清單中的映像檔系列。
[DISK_SIZE] 是開機磁碟的大小 (以 GB 為單位)。
[NETWORK] 是您要用於這個執行個體的 VPC 網路。如要使用預設網路，請指定 default。
[ACCELERATOR_COUNT] 是您要為執行個體新增的 GPU 數量。如需適用執行個體機器類型的 GPU 限制清單，請參閱 Compute Engine 的 GPU。
[ACCELERATOR_TYPE] 是您要使用的 GPU 模型。如需可用的 GPU 模型清單，請參閱 Compute Engine 的 GPU。
[STARTUP_SCRIPT] 是選用的開機指令碼，可用於在執行個體啟動時安裝 GPU 驅動程式。如需相關範例，請參閱安裝 GPU 驅動程式一文。
"preemptible": true 是選用的參數，可用於將執行個體設為先佔執行個體，進而降低執行個體和連結 GPU 的費用。詳情請參閱先佔執行個體上的 GPU。

如果您已利用開機指令碼來自動安裝 GPU 裝置驅動程式，請確認是否已正確安裝 GPU 驅動程式。

如果您並未在執行個體建立期間利用開機指令碼來安裝 GPU 驅動程式，請在執行個體上手動安裝 GPU 驅動程式，如此一來系統才能使用該裝置。

為現有的執行個體新增或移除 GPU

您可以為現有的執行個體新增或移除 GPU，但您必須先停止執行個體並變更其主機維護設定，這樣才能終止執行個體，而不是在執行時遷移。由於具有 GPU 的執行個體已指派給特定的硬體裝置，因此無法即時遷移。詳情請參閱 GPU 限制。

另外請注意，您必須在新增 GPU 後在執行個體上安裝 GPU 驅動程式。您用來建立執行個體的開機磁碟映像檔會影響您所需的驅動程式，因此請自行確認哪些驅動程式適用於執行個體的永久開機磁碟映像檔上的作業系統。詳情請參閱安裝 GPU 驅動程式。

您也可以使用 Google Cloud Platform 主控台或 API 為執行個體新增或移除 GPU。

主控台

如要為執行個體新增或移除 GPU，請停止執行個體並編輯相關設定。

確認執行個體上的所有重要應用程式皆已停止運作。您必須先停止執行個體，才能新增 GPU。
前往「VM instances」(VM 執行個體) 頁面，查看執行個體清單。
前往「VM instances」(VM 執行個體) 頁面
在執行個體清單中，按一下您要新增 GPU 的執行個體名稱，執行個體詳細資料頁面隨即會開啟。
在執行個體詳細資料頁面的最上方，按一下 [Stop] (停止) 來停止執行個體。
執行個體停止運作後，請點選 [Edit] (編輯) 來變更執行個體屬性。
如果執行個體為共用核心機器類型，您必須將機器類型變更為具有一或多個 vCPU。您無法為共用核心機器類型的執行個體新增加速器。
在「Machine configuration」(機器設定) 區段中，按一下 [CPU platform and GPU] (CPU 平台和 GPU)，查看進階機器類型選項和可用的 GPU。
按一下 [GPU] 查看可用的 GPU 清單。
選取您要為執行個體新增的 GPU 數量和 GPU 模型。或者只要將 GPU 數量設為 [None] (無)，即可從執行個體中移除現有的 GPU。
如果您已為執行個體新增 GPU，請將主機維護設定設為 [Terminate] (終止)。如果已從執行個體中移除 GPU，您可以選擇將主機維護設定設回 [Migrate VM instance] (遷移 VM 執行個體)。
在執行個體詳細資料頁面的最下方，按一下 [Save] (儲存) 來套用變更。
執行個體設定儲存完成之後，請按一下執行個體詳細資料頁面頂端的 [Start] (開始)，再次啟動執行個體。

API

您可以透過 API 來停止執行個體及變更相關設定，藉此為執行個體新增或移除 GPU。

確認執行個體上的所有重要應用程式皆已停止運作，然後建立 POST 指令來停止執行個體，這樣執行個體才能移動至具有 GPU 的主機系統。
```
POST https://www.googleapis.com/compute/v1/projects/compute/zones/[ZONE]/instances/[INSTANCE_NAME]/stop
```
其中：
- [INSTANCE_NAME] 是您要新增 GPU 的執行個體名稱。
- [ZONE] 是執行個體所在的區域。
確定您要為執行個體新增的 GPU 類型。如要列出特定區域中適用於專案的 GPU 類型，請提交 GET 要求。
```
GET https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/acceleratorTypes
```
其中：
- [PROJECT_ID] 是您的專案 ID。
- [ZONE] 是您想要列出可用 GPU 類型的區域。
如果執行個體為共用核心機器類型，您必須將機器類型變更為具有一或多個 vCPU。您無法為共用核心機器類型的執行個體新增加速器。
執行個體停止之後，請建立 POST 要求，為執行個體新增或移除一或多個 GPU。
```
POST https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/instances/[INSTANCE_NAME]/setMachineResources

{
 "guestAccelerators": [
  {
    "acceleratorCount": [ACCELERATOR_COUNT],
    "acceleratorType": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/acceleratorTypes/[ACCELERATOR_TYPE]"
  }
 ]
}
```
其中：
- [INSTANCE_NAME] 是執行個體的名稱。
- [PROJECT_ID] 是您的專案 ID。
- [ZONE] 是這個執行個體所在的區域。
- [ACCELERATOR_COUNT] 是您要為執行個體新增的 GPU 數量。如需適用執行個體機器類型的 GPU 限制清單，請參閱 Compute Engine 的 GPU。
- [ACCELERATOR_TYPE] 是您要使用的 GPU 模型。如需可用的 GPU 模型清單，請參閱 Compute Engine 的 GPU。
建立 POST 指令來設定執行個體的排程選項。如要為執行個體新增 GPU，您必須指定 "onHostMaintenance": "TERMINATE"。如要從執行個體中移除 GPU，您也可以選擇指定 "onHostMaintenance": "MIGRATE"。
```
POST https://www.googleapis.com/compute/v1/projects/compute/zones/[ZONE]/instances/[INSTANCE_NAME]/setScheduling

{
 "onHostMaintenance": "[MAINTENANCE_TYPE]",
 "automaticRestart": true
}
```
其中：
- [INSTANCE_NAME] 是您要新增 GPU 的執行個體名稱。
- [ZONE] 是執行個體所在的區域。
- [MAINTENANCE_TYPE] 是您希望執行個體在必須執行主機維護時執行的動作。如要為執行個體新增 GPU，請指定 TERMINATE。如果您已從執行個體中移除所有 GPU，並且希望執行個體恢復遷移主機維護事件，您也可以指定 "onHostMaintenance": "MIGRATE"。
啟動執行個體。
```
POST https://www.googleapis.com/compute/v1/projects/compute/zones/[ZONE]/instances/[INSTANCE_NAME]/start
```
其中：
- [INSTANCE_NAME] 是您要新增 GPU 的執行個體名稱。
- [ZONE] 是執行個體所在的區域。

接著請在執行個體上安裝 GPU 驅動程式，如此一來系統才能使用該裝置。

利用執行個體範本建立 GPU 執行個體群組

您可以利用執行個體範本建立代管執行個體群組，並為每個執行個體新增 GPU。代管執行個體群組會使用該範本建立多個完全相同的執行個體。您可以根據工作負載而調整群組中的執行個體數量。

如需建立執行個體範本的操作步驟，請參閱建立執行個體範本。

如果您要使用主控台建立執行個體範本，請自訂機器類型，並選取您要新增到執行個體範本的 GPU 類型和數量。

如果使用的是 gcloud 指令列工具，請加入 --accelerators 和 --maintenance-policy TERMINATE 標記。您可以選擇是否要加入 --metadata startup-script 標記，並指定可在執行個體啟動時安裝 GPU 驅動程式的開機指令碼。如需適用於 GPU 執行個體的指令碼範例，請參閱安裝 GPU 驅動程式。

以下範例會建立具有 2 個 vCPU、250GB 的 Ubuntu 16.04 開機磁碟、1 個 NVIDIA® Tesla® K80 GPU，以及內含開機指令碼的執行個體範本。開機指令碼會使用建議的驅動程式版本安裝 CUDA Toolkit。

gcloud beta compute instance-templates create gpu-template \
    --machine-type n1-standard-2 \
    --boot-disk-size 250GB \
    --accelerator type=nvidia-tesla-k80,count=1 \
    --image-family ubuntu-1604-lts --image-project ubuntu-os-cloud \
    --maintenance-policy TERMINATE --restart-on-failure \
    --metadata startup-script='#!/bin/bash
    echo "Checking for CUDA and installing."
    # Check for CUDA and try to install.
    if ! dpkg-query -W cuda-10-0; then
      curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
      dpkg -i ./cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
      apt-get update
      apt-get install cuda-10-0 -y
    fi'

建立範本之後，請使用該範本來建立執行個體群組。每次您新增執行個體至群組時，系統都會使用執行個體範本中的設定來啟動執行個體。

如要建立地區代管執行個體群組，請務必選取特別支援所需 GPU 型號的區域。如需 GPU 型號和可用區域清單，請參閱 Compute Engine 的 GPU。以下範例會建立支援 nvidia-tesla-k80 型號並位於 2 個區域的地區代管執行個體群組。

gcloud beta compute instance-groups managed create example-rmig \
    --template gpu-template --base-instance-name example-instances \
    --size 30 --zones us-east1-c,us-east1-d

注意事項：由於區域選取功能目前仍為 Beta 版，因此如要選擇特定區域，請使用 gcloud beta 元件。

如要進一步瞭解如何管理及調度執行個體群組，請參閱建立代管執行個體群組。

安裝 GPU 驅動程式

建立具有一或多個 GPU 的執行個體之後，您必須為系統安裝裝置驅動程式，應用程式才能存取該裝置。本指南將說明如何在使用公開映像檔的執行個體上安裝 NVIDIA 專屬驅動程式。

您可以透過下列任一種方式安裝 GPU 驅動程式：

使用指令碼範例來安裝驅動程式。您也可以將這些指令碼設為執行個體的開機指令碼，或透過終端機直接在執行個體上執行這些指令碼。
如果是 Windows Server 執行個體或無法使用這類指令碼的執行個體，請手動安裝驅動程式。

透過指令碼安裝 GPU 驅動程式

每個 CUDA 版本都需要最低 GPU 驅動程式版本或較新版本。如要查看您 CUDA 版本需要的最低驅動程式版本，請參閱 CUDA Toolkit 和相容的驅動程式版本。

在 Google Compute Engine 上執行的 NVIDIA GPU 必須使用下列驅動程式版本：

Linux 執行個體：
- NVIDIA 410.79 以上版本的驅動程式
Windows Server 執行個體：
- NVIDIA 411.98 以上版本的驅動程式

只要安裝 NVIDIA CUDA Toolkit，即可取得大多數驅動程式。

對於部分映像檔，您可以透過指令碼來簡化驅動程式的安裝過程。您可以將這些指令碼設為執行個體的開機指令碼，或將指令碼複製至執行個體，然後以具備 sudo 權限的使用者身分透過終端機執行這些指令碼。

您的指令碼必須適用於所選的開機磁碟映像檔。如果已將自訂開機磁碟映像檔匯入執行個體，您可能必須自訂開機指令碼，才能在該自訂映像檔上順利運作。

對於無法自動執行驅動程式安裝程序的執行個體 (例如 Windows Server 和 SLES 12 執行個體)，請手動安裝驅動程式。

以下指令碼範例會在公開映像檔上安裝 CUDA 和相關的 NVIDIA® GPU 驅動程式。如果您使用的軟體需要特定版本的 CUDA，請修改指令碼，下載所需的 CUDA 版本。

如要瞭解 CUDA 支援資訊和修改 CUDA 安裝程序的步驟，請參閱 CUDA Tooltkit 說明文件。

如要確認開機指令碼是否已完成，請查看記錄檔或序列主控台。

CentOS

這些指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 10 套件及相關的專屬驅動程式。

CentOS 7 - CUDA 10：

#!/bin/bash
# Install kernel headers and development packages
echo "Installing kernel headers and development packages."
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-10-0; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-10.0.130-1.x86_64.rpm
  rpm -i --force ./cuda-repo-rhel7-10.0.130-1.x86_64.rpm
  yum clean all
  rm -rf /var/cache/yum
  # Install Extra Packages for Enterprise Linux (EPEL) for dependencies
  yum install epel-release -y
  yum update -y
  yum install cuda-10-0 -y
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-10-0; then
  yum install cuda-10-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

在使用 CentOS 7 映像檔的執行個體上，指令碼完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.

CentOS 6 - CUDA 10：

#!/bin/bash
# Install kernel headers and development packages
echo "Installing kernel headers and development packages."
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-10-0; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-10.0.130-1.x86_64.rpm
  rpm -i --force ./cuda-repo-rhel6-10.0.130-1.x86_64.rpm
  yum clean all
  # Install Extra Packages for Enterprise Linux (EPEL) for dependencies
  yum install epel-release -y
  yum update -y
  yum install cuda-10-0 -y
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-10-0; then
  yum install cuda-10-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

在使用 CentOS 6 映像檔的執行個體上，指令碼完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.

RHEL

這些指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 10 套件及相關的專屬驅動程式。

RHEL 7 - CUDA 10：

#!/bin/bash
# Install kernel headers and development packages
echo "Installing kernel headers and development packages."
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-10-0; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-10.0.130-1.x86_64.rpm
  rpm -i --force ./cuda-repo-rhel7-10.0.130-1.x86_64.rpm
  yum clean all
  rm -rf /var/cache/yum
  # Install Extra Packages for Enterprise Linux (EPEL) for dependencies
  yum install epel-release -y
  yum update -y
  yum install cuda-10-0 -y
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-10-0; then
  yum install cuda-10-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

在使用 RHEL 7 映像檔的執行個體上，指令碼完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.

RHEL 6 - CUDA 10：

#!/bin/bash
# Install kernel headers and development packages
echo "Installing kernel headers and development packages."
yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-10-0; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-10.0.130-1.x86_64.rpm
  rpm -i --force ./cuda-repo-rhel6-10.0.130-1.x86_64.rpm
  yum clean all
  # Install Extra Packages for Enterprise Linux (EPEL) for dependencies
  yum install epel-release -y
  yum update -y
  yum install cuda-10-0 -y
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-10-0; then
  yum install cuda-10-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

在使用 RHEL 6 映像檔的執行個體上，指令碼完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.

如要確認指令碼是否已完成，您可以查看序列主控台。

SLES

SLES 15 - CUDA 10：

這個指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 10 套件及相關的專屬驅動程式。

#!/bin/bash
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-10-0; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/sles15/x86_64/cuda-repo-sles15-10.0.130-1.x86_64.rpm
  rpm -i --force ./cuda-repo-sles15-10.0.130-1.x86_64.rpm
  zypper --gpg-auto-import-keys refresh
  zypper install -ny cuda-10-0
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-10-0; then
  zypper install -ny cuda-10-0
fi
# Enable persistence mode
nvidia-smi -pm 1

SLES 12 Service Pack 3 - CUDA 9.1：

這個指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 9.1 套件及相關的專屬驅動程式。

#!/bin/bash
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! rpm -q cuda-9-1; then
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/sles123/x86_64/cuda-repo-sles123-9.1.85-1.x86_64.rpm
  rpm -i --force ./cuda-repo-sles123-9.1.85-1.x86_64.rpm
  zypper --gpg-auto-import-keys refresh
  zypper install -ny cuda-9-1
fi
# Verify that CUDA installed; retry if not.
if ! rpm -q cuda-9-1; then
  zypper install -ny cuda-9-1
fi
# Enable persistence mode
nvidia-smi -pm 1

SLES 12：

如果是 SLES 12 執行個體，請手動安裝驅動程式。

Ubuntu

Ubuntu 18.04 - Cuda 10：

這個指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 10 套件及相關的專屬驅動程式。

 #!/bin/bash
 echo "Checking for CUDA and installing."
 # Check for CUDA and try to install.
 if ! dpkg-query -W cuda-10-0; then
   curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
   dpkg -i ./cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
   apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
   apt-get update
   apt-get install cuda-10-0 -y
 fi
# Enable persistence mode
nvidia-smi -pm 1

Ubuntu 17.04 和 17.10 - CUDA 9：

這個指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 9 套件及相關的專屬驅動程式。

#!/bin/bash
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! dpkg-query -W cuda-9-0; then
  # The 17.04 installer works with 17.10.
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1704_9.0.176-1_amd64.deb
  dpkg -i ./cuda-repo-ubuntu1704_9.0.176-1_amd64.deb
  apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
  apt-get update
  apt-get install cuda-9-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

Ubuntu 16.04 LTS - CUDA 10：

這個指令碼範例會檢查是否已安裝 CUDA，然後安裝完整的 CUDA 10 套件及相關的專屬驅動程式。

#!/bin/bash
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! dpkg-query -W cuda-10-0; then
  # The 16.04 installer works with 16.10.
  curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
  dpkg -i ./cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
  apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
  apt-get update
  apt-get install cuda-10-0 -y
fi
# Enable persistence mode
nvidia-smi -pm 1

Windows Server

如果是 Windows Server 執行個體，您必須手動安裝驅動程式。

指令碼執行完成之後，您可以確認是否已順利安裝 GPU 驅動程式。

手動安裝 GPU 驅動程式

如果無法透過指令碼安裝 GPU 驅動程式，您可以自行手動安裝驅動程式。您必須自行選取最適合應用程式的安裝程式和驅動程式版本。如果您需要特定驅動程式，或您必須在自訂映像檔或不支援任一安裝指令碼的公開映像檔上安裝驅動程式，請採用手動安裝方式。

在使用大多數公開映像檔的執行個體上，您都可以透過這種方式手動安裝驅動程式。如為自訂映像檔，您可能必須修改程序，才能在獨特的環境中順利執行。

CentOS

連線至您要安裝驅動程式的執行個體。

安裝核心標頭和開發套件。

yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y

選取驅動程式存放區，然後新增至執行個體中。舉例來說，使用 curl 指令可以下載 CUDA Toolkit，而使用 rpm 指令則能將存放區新增至系統：

CentOS 7

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-10.0.130-1.x86_64.rpm

$ sudo rpm -i cuda-repo-rhel7-10.0.130-1.x86_64.rpm

CentOS 6

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-10.0.130-1.x86_64.rpm

$ sudo rpm -i cuda-repo-rhel6-10.0.130-1.x86_64.rpm

安裝 epel-release 存放區。這個存放區包含在 CentOS 上安裝 NVIDIA 驅動程式需要的 DKMS 套件。
```
$ sudo yum install epel-release
```
清除 Yum 快取：
```
$ sudo yum clean all
```
安裝內含 NVIDIA 驅動程式的 CUDA 10。
```
$ sudo yum install cuda-10-0
```
在使用 CentOS 映像檔的執行個體上，完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：
```
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.
```

啟用常駐模式。

$ sudo nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:00:04.0.
Enabled persistence mode for GPU 00000000:00:05.0.
All done.

RHEL

連線至您要安裝驅動程式的執行個體。

安裝核心標頭和開發套件。

yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y

選取驅動程式存放區，然後新增至執行個體中。舉例來說，使用 curl 指令可以下載 CUDA Toolkit，而使用 rpm 指令則能將存放區新增至系統：

RHEL 7

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/cuda-repo-rhel7-10.0.130-1.x86_64.rpm

$ sudo rpm -i cuda-repo-rhel7-10.0.130-1.x86_64.rpm

RHEL 6

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-10.0.130-1.x86_64.rpm

$ sudo rpm -i cuda-repo-rhel6-10.0.130-1.x86_64.rpm

安裝 epel-release 存放區。這個存放區包含安裝 NVIDIA 驅動程式所需的 DKMS 套件。在 RHEL 上，您必須從 fedoraproject.org 下載這個存放區專屬的 .rpm，然後將其新增至系統。

RHEL 7

$ curl -O https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

$ sudo rpm -i epel-release-latest-7.noarch.rpm

RHEL 6

$ curl -O https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

$ sudo rpm -i epel-release-latest-6.noarch.rpm

清除 Yum 快取：
```
$ sudo yum clean all
```
安裝內含 NVIDIA 驅動程式的 CUDA 10。
```
$ sudo yum install cuda-10-0
```
在使用 RHEL 映像檔的執行個體上，完成驅動程式和 CUDA 套件的安裝程序後，您可能必須重新啟動執行個體。如果指令碼已執行完成，且 nvidia-smi 回傳以下錯誤，請重新啟動執行個體：
```
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
driver. Make sure that the latest NVIDIA driver is installed and
running.
```

啟用常駐模式。

$ sudo nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:00:04.0.
Enabled persistence mode for GPU 00000000:00:05.0.
All done.

SLES

連線至您要安裝驅動程式的執行個體。

選取驅動程式存放區，然後新增至執行個體中。舉例來說，使用 curl 指令可以下載 CUDA Toolkit，而使用 rpm 指令則能將存放區新增至系統：

SLES 15

$ curl -O https://developer.download.nvidia.com/compute/cuda/repos/sles15/x86_64/cuda-repo-sles15-10.0.130-1.x86_64.rpm

$ sudo rpm -i cuda-repo-sles15-10.0.130-1.x86_64.rpm

SLES 12 with Service Pack 3

$ curl -O https://developer.download.nvidia.com/compute/cuda/repos/sles123/x86_64/cuda-repo-sles123-9.1.85-1.x86_64.rpm

$ sudo rpm -i cuda-repo-sles123-9.1.85-1.x86_64.rpm

SLES 12 with Service Pack 2

$ curl -O https://developer.download.nvidia.com/compute/cuda/repos/sles122/x86_64/cuda-repo-sles122-9.0.176-1.x86_64.rpm

$ sudo rpm -i cuda-repo-sles122-9.0.176-1.x86_64.rpm

重新整理 Zypper：
```
$ sudo zypper refresh
```
安裝內含 NVIDIA 驅動程式的 CUDA。
```
$ zypper install cuda
```

啟用常駐模式。

$ sudo nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:00:04.0.
Enabled persistence mode for GPU 00000000:00:05.0.
All done.

Ubuntu

連線至您要安裝驅動程式的執行個體。

選取驅動程式存放區，然後新增至執行個體中。舉例來說，使用 curl 指令可以下載 CUDA Toolkit，而使用 dpkg 指令則能將存放區新增至系統。接著，請使用 apt-key 指令來驗證下載項目：

Ubuntu 18.04

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb

$ sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1704/x86_64/7fa2af80.pub

Ubuntu 17.04 和 17.10

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1704/x86_64/cuda-repo-ubuntu1704_9.0.176-1_amd64.deb

$ sudo dpkg -i cuda-repo-ubuntu1704_9.0.176-1_amd64.deb
$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1704/x86_64/7fa2af80.pub

Ubuntu 16.04 和 16.10 LTS

$ curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.0.130-1_amd64.deb

$ sudo dpkg -i cuda-repo-ubuntu1604_10.0.130-1_amd64.deb
$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub

更新套件清單：
```
$ sudo apt-get update
```
安裝內含 NVIDIA 驅動程式的 CUDA。
- Ubuntu 16.04、16.10 和 18.04
```
$ sudo apt-get install cuda-10-0
```
- Ubuntu 17.04 和 17.10
```
$ sudo apt-get install cuda-9-0
```

啟用常駐模式。

$ sudo nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:00:04.0.
Enabled persistence mode for GPU 00000000:00:05.0.
All done.

Windows Server

連線至您要安裝驅動程式的執行個體。
將含有 R384 分支版本 (NVIDIA 386.07 以上版本的驅動程式) 的 .exe 安裝程式檔案下載至執行個體。對於大多數 Windows Server 執行個體，您可以採用下列任一種方式：
- 下載內含 NVIDIA 驅動程式的 CUDA Toolkit
- 僅下載 NVIDIA 驅動程式
以 Windows Server 2016 為例，請以管理員身分開啟 PowerShell 終端機，然後使用 wget 指令下載您所需的驅動程式安裝程式。
```
PS C:\> wget https://developer.nvidia.com/compute/cuda/10.0/Prod/network_installers/cuda_10.0.130_win10_network -o cuda_10.0.130_win10_network.exe
```
執行 .exe 安裝程式。舉例來說，您可以用系統管理員身分開啟 PowerShell 終端機，然後執行下列指令。
```
PS C:\> .\\cuda_10.0.130_win10_network.exe
```

安裝程式執行完成之後，請確認是否已順利安裝 GPU 驅動程式。

確認是否已順利安裝 GPU 驅動程式

驅動程式安裝完成後，請確認驅動程式是否已正確安裝及初始化。

Linux

連線至 Linux 執行個體，然後使用 nvidia-smi 指令確認驅動程式是否正常執行。

$ nvidia-smi

Wed Jan  2 19:51:51 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.79       Driver Version: 410.79       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla P4            Off  | 00000000:00:04.0 Off |                    0 |
| N/A   42C    P8     7W /  75W |     62MiB /  7611MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

Windows Server

連線至 Windows Server 執行個體，然後使用 nvidia-smi.exe 工具確認驅動程式是否正常執行。

PS C:\> & 'C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi.exe'

Fri Jan 04 16:47:42 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 411.31                 Driver Version: 411.31                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla P4            TCC  | 00000000:00:04.0 Off |                    0 |
| N/A   31C    P8     6W /  75W |      0MiB /  7611MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

如果驅動程式未正常運作，而且您是透過指令碼安裝驅動程式，請檢查開機指令碼記錄，確認指令碼已執行完成，並且未在安裝過程中發生錯誤。

為虛擬工作站安裝 GRID® 驅動程式

如需可在 Compute Engine 上使用的 NVIDIA 驅動程式完整清單，請參閱 NVIDIA 驅動程式 Cloud Storage 值區。

Linux

使用以下指令來下載 GRID 驅動程式：

curl -O https://storage.googleapis.com/nvidia-drivers-us-public/GRID/GRID7.1/NVIDIA-Linux-x86_64-410.92-grid.run

使用以下指令來啟動安裝程式：

sudo bash NVIDIA-Linux-x86_64-410.92-grid.run

安裝期間請選擇以下選項：
- 如果系統提示您安裝 32 位元的二進位檔，請按一下 [Yes] (是)。
- 如果系統提示您修改 x.org 檔案，請選取 [No] (否)。

Windows Server

請依照您的 Windows Server 版本來下載適用的 NVIDIA GRID 驅動程式：
- Windows Server 2016。
- Windows Server 2012 和 Windows Server 2008 R2 (64 位元)
執行安裝程式並選擇 [Express installation] (快速安裝)。
安裝完成後請重新啟動 VM。重新啟動時，系統會中斷您的工作階段連線。
使用遠端桌面協定或 PCoIP 用戶端重新連線至執行個體。

確認 GRID 驅動程式已安裝

Linux

執行下列指令：

sudo nvidia-smi --persistence-mode=1
nvidia-smi

指令輸出結果類似以下格式：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.92                Driver Version: 410.92                     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla P100-PCIE...  On   | 00000000:00:04.0 Off |                    0 |
| N/A   34C    P0    26W / 250W |      0MiB / 16276MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

Windows Server

使用遠端桌面協定或 PCoIP 用戶端連線至 Windows 執行個體。
在桌面上按一下右鍵，然後選取 [NVIDIA Control Panel] (NVIDIA 控制台)。
從 NVIDIA 控制台中的「Help」(說明) 選單中，選取 [System Information] (系統資訊)。資訊會顯示 VM 目前使用的 GPU 和驅動程式版本。

最佳化 GPU 效能

一般來說，如要讓 Linux 執行個體的 GPU 裝置達到最佳效能，您可以採用以下設定：

啟用常駐模式。這項設定適用於執行個體上的所有 GPU。

$ sudo nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:00:04.0.
Enabled persistence mode for GPU 00000000:00:05.0.
All done.

如果是使用 NVIDIA® Tesla® K80 GPU 的執行個體，請停用 Auto Boost 功能：
```
$ sudo nvidia-smi --auto-boost-default=DISABLED
All done.
```

處理主機維護事件

GPU 執行個體無法進行即時遷移。系統進行主機維護事件時，GPU 執行個體必須終止，但可以自動重新啟動。這些維護作業通常每週一次，但在必要時可能會更頻繁地執行。

您可以透過以下方式處理主機維護作業：

安排在不影響應用程式的時程，並且定期重新啟動執行個體，避免發生服務中斷情況。
指出執行個體的主機維護作業時間，並準備工作負載，以便在重新啟動系統時進行轉換。

如需接收主機維護作業的進階通知，請監控 /computeMetadata/v1/instance/maintenance-event 中繼資料值。如果傳送至中繼資料伺服器的要求傳回 NONE，表示執行個體未排定終止。舉例來說，請在執行個體內執行下列指令：

$ curl http://metadata.google.internal/computeMetadata/v1/instance/maintenance-event -H "Metadata-Flavor: Google"

NONE

如果中繼資料伺服器傳回 TERMINATE_ON_HOST_MAINTENANCE，則表示已排定終止執行個體。Compute Engine 會提前 1 小時傳送終止通知給 GPU 執行個體，而一般執行個體則會在 60 秒前收到通知。請設定應用程式，在維護作業過程中進行轉換。舉例來說，您可以採用下列任一方式：

將應用程式設為暫時將執行中的工作轉移到 Google Cloud Storage 值區，再於執行個體重新啟動之後擷取相關資料。
將資料寫入次要永久磁碟。執行個體自動重新啟動時，重新連結永久磁碟就能讓應用程式恢復運作。

您也可以在不輪詢的情況下接收這個中繼資料值的異動通知。如需在不輪詢的情況下接收主機維護事件進階通知的範例，請參閱取得即時遷移作業通知。

後續步驟

進一步瞭解 Compute Engine 的 GPU。
為執行個體新增本機 SSD。如果您的應用程式需要高效能的儲存空間，本機 SSD 裝置和 GPU 是絕佳拍檔。
嘗試按照使用 TensorRT5 和 NVIDIA T4 GPU 執行大規模 TensorFlow 推論工作負載教學課程操作。

事前準備

建立具有 GPU 的執行個體

主控台

gcloud

API

為現有的執行個體新增或移除 GPU

主控台

API

利用執行個體範本建立 GPU 執行個體群組

安裝 GPU 驅動程式

透過指令碼安裝 GPU 驅動程式

CentOS

RHEL

SLES

Ubuntu

Windows Server

手動安裝 GPU 驅動程式

CentOS

RHEL

SLES

Ubuntu

Windows Server

確認是否已順利安裝 GPU 驅動程式

Linux

Windows Server

為虛擬工作站安裝 GRID® 驅動程式

Linux

Windows Server

確認 GRID 驅動程式已安裝

Linux

Windows Server

最佳化 GPU 效能

處理主機維護事件

後續步驟

傳送您對下列選項的寶貴意見...