配額政策

AI 平台訓練對資源的分配及使用設有限制,並會依據每項專案的情況調整可用配額。具體規定會因資源供應情形、使用者結構、服務使用記錄和其他因素而不同,並且隨時可能變更,恕不另行通知。

以下各節概略說明系統目前的配額限制。

服務要求限制

您每 60 秒可提出的獨立 API 要求次數有一定的額度限制,特定 API 或 API 群組適用的限制如下所述。

在 Google Cloud Console 的 AI 平台訓練 API 管理員頁面中,您可以查看專案的要求配額。如想申請提高配額,請依序點選配額限制旁的「編輯」圖示和 [申請更多配額]

工作要求

以下限制適用於 projects.jobs.create 要求 (訓練和批次預測工作合併計算):

期間 限制
60 秒 60

線上預測要求

以下限制適用於 projects.predict 要求:

期間 限制
60 秒 6,000

資源管理要求

以下限制適用於系統支援的下列要求 (所有要求的次數合併計算):

期間 限制
60 秒 300

除此之外,上述所有 delete 要求,以及所有版本的 create 要求,都有最多合計 10 個並行要求的限制。

資源配額

除了一定時間內的要求次數有所限制之外,您能夠使用的資源配額具有以下限制:

  • 模型數量上限:100 個。
  • 版本數量上限:200 個。此版本數量限制針對的是專案內版本總數,您可以根據需要分配給各個有效模型。

申請提高配額

本頁面所列的配額是以專案為單位進行分配。使用一段時間後,配額可能會隨之提高。如需提高處理能力,您可以申請更多配額。

  • 透過 Google Cloud Console 申請提高 AI 平台訓練 API 管理員中列出的配額:

    1. 找到您要提高的配額區塊。

    2. 找到配額使用量圖表底部的配額值,然後點選旁邊的「鉛筆」圖示。

    3. 輸入您想申請提高的額度:

      • 如果所需配額值在配額限制對話方塊中顯示的數量範圍以內,請輸入新的值並點選 [儲存]。

      • 如果您要提高的配額量超過畫面上顯示的額度上限,請點選 [申請更多配額] 並按照第二種申請增加配額的指示操作。

  • 如果您要申請增加的配額項目未列在 Google Cloud Console 中、所需配額超出列出的上限值,或是您需要部署超出預設上限 (500 MB) 的模型,請使用自訂申請表:

    1. 前往 AI 平台訓練配額申請表 (或者,您也可以透過任一配額提高對話方塊中的「申請更多配額」連結開啟表單)。

    2. 填妥所有必填欄位,包括用途說明和需要提高配額的原因。

    3. 按一下 [提交]。提出申請後,我們會透過電子郵件回覆您。

虛擬機器的並行用量限制

專案的 Google Cloud 處理資源用量是依據下列項目計算得出:用來進行訓練的虛擬機器數量,以及用來進行批次預測的節點數量。本節將說明這些資源在專案中的並行用量限制。

用於訓練的並行 CPU 用量限制

一般專案的並行虛擬 CPU 數量限制會根據專案的用量記錄調整。

  • 並行 CPU 總數:一般可從 20 個 CPU 擴充至 450 個 CPU。這是單一專案中所有機器類型可並行使用的 CPU 總數上限。

您在訓練模型時使用的 CPU 不會計為 Compute Engine 的 CPU。另外,即便您有其他運算需求,也無法使用 AI 平台訓練的配額存取任何 Compute Engine VM。如要啟動 Compute Engine VM,您必須申請 Compute Engine 配額。相關指示請參閱 Compute Engine 說明文件

用於訓練的並行 GPU 用量限制

初次使用 AI 平台訓練時,一般專案用於訓練機器學習模型的並行 GPU 數量會有下列限制:

  • 並行 GPU 總數:此為並行使用的 GPU 數量上限,依類型區分如下:

    • Tesla K80 GPU 並行數量:30 個。
    • Tesla P4 GPU 並行數量:8 個。
    • Tesla P100 GPU 並行數量:30 個。
    • Tesla V100 GPU 並行數量:8 個。
    • Tesla T4 GPU 並行數量:6 個。

請注意,專案的配額取決於多項因素,因此特定專案的配額量可能會低於上方列出的數額。您在訓練模型時使用的 GPU 不會計入 Compute Engine 的 GPU 配額。另外,您也無法使用 AI 平台訓練的配額存取任何採用 GPU 的 Compute Engine VM。如要啟動採用 GPU 的 Compute Engine VM,您必須申請 Compute Engine GPU 配額。相關指示請參閱 Compute Engine 說明文件

請參閱使用 GPU 在雲端訓練模型一文,深入瞭解 GPU。

用於訓練的並行 TPU 用量限制

如同 GPU,系統會分開計算 AI 平台訓練的 TPU 配額和 Cloud TPU 配額,因此您可以直接搭配使用 Cloud TPU 和 Compute Engine VM。您在訓練模型時使用的 TPU 不會計入 Compute Engine 的 TPU 配額。另外,您也無法使用 AI 平台訓練的配額存取任何採用 TPU 的 Compute Engine VM。

Cloud Console 只會顯示 Compute Engine 的 Cloud TPU 配額。如想取得用於 Compute Engine 的 Cloud TPU 配額,請向 Cloud TPU 團隊提交要求

所有 Google Cloud 專案都會獲派預設的 AI 平台訓練配額,也就是至少一個 Cloud TPU。系統會以每個 Cloud TPU 8 個 TPU 核心為單位指派配額。不過請注意,這項配額不會顯示在 Cloud Console 中。

如要申請提高用於 AI 平台訓練的 TPU 配額,請填妥 AI 平台訓練要求表單。我們會在配額申請通過核准後通知您。接下來,您必須設定 Google Cloud 專案才能使用 TPU,詳情請參閱使用 TPU 的相關說明。

提醒您,由於申請人數眾多,我們可能不會核准每一項配額申請。

後續步驟