使用 NVIDIA GPU

本頁說明如何使用具有 NVIDIA 圖形處理單元 (GPU) 硬體加速器的節點集區，為 Knative 服務容器執行個體提供運算能力，以驅動深度學習工作，例如圖片辨識、自然語言處理，以及其他需要大量運算資源的工作。

將含有 GPU 的節點集區新增至 GKE 叢集

請管理員建立具有 GPU 的節點集區：

  1. 將啟用 GPU 的節點集區新增至 GKE 叢集。

  2. 將 NVIDIA 的裝置驅動程式安裝至節點。

設定服務以使用 GPU

部署新服務、更新現有服務或部署修訂版本時，您可以使用 Google Cloud 控制台或 Google Cloud CLI，指定服務的 GPU 資源限制：

控制台

  1. 前往 Knative serving

  2. 按一下「建立服務」，顯示「建立服務」表單。

  3. 在「服務設定」部分：

    1. 選取啟用 GPU 的節點集區所在的 GKE 叢集。
    2. 指定要為服務命名的名稱。
    3. 按一下「下一步」繼續前往下一個部分。

  4. 在「設定服務的第一個修訂版本」部分中：

    圖片

    1. 新增容器映像檔網址。
    2. 按一下「進階設定」，然後在「已分配的 GPU」選單中，選取要分配給服務的 GPU 數量。圖片

  5. 按一下「下一步」繼續前往下一個部分。

  6. 在「設定這項服務的觸發方式」部分，選取要用來叫用服務的連線。

  7. 按一下「建立」，將映像檔部署到 Knative 服務，然後等待部署作業完成。

指令列

您可以使用 gcloud run services describe 指令和 --format=export 標記，將現有服務的設定下載到 YAML 檔案中。然後修改該 YAML 檔案，並使用 gcloud run services replace 指令部署這些變更。請務必只修改指定的屬性。

  1. 將服務設定下載到本機工作區中名為 service.yaml 的檔案：

    gcloud run services describe SERVICE --format export > service.yaml

    將 SERVICE 替換為 Knative 服務服務名稱。

  2. 在你的本機檔案中，更新 nvidia.com/gpu 屬性：

    apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: SERVICE_NAME
spec:
template:
 spec:
   containers:
   – image: IMAGE_URL
     resources:
       limits:
        nvidia.com/gpu: "GPU_UNITS"

    將 GPU_UNITS 替換為 Kubernetes GPU 單位中所需的 GPU 值。例如，指定 1 代表 1 個 GPU。

  3. 部署 YAML 檔案並執行下列指令，以新設定取代服務：

    gcloud run services replace service.yaml

如要進一步瞭解 GPU 效能和費用，請參閱「GPU」。