Google Distributed Cloud (GDC) 氣隙裝置上的 Vertex AI，可將機器學習 (ML) 和人工智慧 (AI) 平台的功能帶到安全的可攜式裝置。GDC 實體隔離裝置可存取一組預先訓練的 Vertex AI API，在私有雲解決方案中啟用 AI 功能。
主要功能與特色
GDC 實體隔離裝置上的 Vertex AI 提供下列功能：
- 無網路連線部署：完全在可攜式裝置中執行 Vertex AI 服務，確保資料主權和法規遵循。
- 熟悉的 Vertex AI 體驗：運用與 Google Cloud相同的工具和 API，簡化開發和管理作業。
- 預先建構的模型和演算法：存取一系列預先訓練的模型，用於常見的機器學習工作，加快實現價值。
可用服務
GDC 實體隔離裝置上的 Vertex AI 提供下列預先訓練服務：
- 光學字元辨識 (OCR)： 從圖片和檔案中擷取文字。
- 語音轉文字： 將語音轉換成文字。
- Vertex AI Translation： 多語言文字互譯。
容量規劃和運算需求
每項 Vertex AI 服務都需要不同的運算資源。下表列出各個預先訓練模型的相關需求：
| 預先訓練的 API | 運算資源 | GPU 數量需求 | GPU 記憶體需求 |
|---|---|---|---|
| 光學字元辨識 (OCR) | GPU | 單一 A100 80 GB GPU | 40 GB |
| Speech-to-Text | CPU | 不適用 (僅限 CPU) | 不適用 (僅限 CPU) |
| Vertex AI Translation | GPU | 單一 A100 80 GB GPU | 50 GB |
GDC 氣隙裝置包含單一 NVIDIA A100 80 GB GPU。這會限制裝置一次只能執行一個需要 GPU 的 Vertex AI 預先訓練 API。如果您嘗試同時啟用 Vertex AI Translation 和 OCR，系統會顯示 GPU 資源不足的錯誤訊息，導致第二個 API 無法啟用。不過，您可以同時執行 Speech-to-Text 和 Vertex AI Translation 或 OCR，因為 Speech-to-Text 只需要 CPU 資源。
為協助您判斷 AI/ML 工作負載所需的設備單元數量，請查看各 Vertex AI 預先訓練 API 的容量限制：
| 預先訓練的 API | 每個裝置單位的容量 |
|---|---|
| 光學字元辨識 (OCR) | 每分鐘最多 30 張圖片 (每兩秒一張圖片)。 |
| Speech-to-Text | 每分鐘最多可轉錄七分鐘的音訊 (每秒最多可轉錄七秒的音訊)。 |
| Vertex AI Translation | 每分鐘最多 61,000 個字元 (每秒 1,024 個字元)。 |
規劃部署作業時，請參考下列指引：
容量限制為約略值，無法保證。實際容量可能會受下列因素影響：
- 輸入資料的複雜度 (例如翻譯的語言、OCR 的圖片品質，以及語音轉文字的音訊清晰度)。
- 設備的特定設定。
- 在裝置上同時使用其他服務。
由於 GDC 氣隙裝置僅限使用單一 A100 80 GB GPU，因此一次只能啟用一個 GPU 密集型 API (Vertex AI Translation 或 OCR)。
預估尖峰用量和未來的潛在成長。
如果工作負載要求嚴苛，需要較高的輸送量，建議部署多個設備單元。
下表列出 GDC 離線裝置上各項 Vertex AI 服務的儲存空間需求：
| 元件 | 儲存空間需求 |
|---|---|
| OCR 前端 | 0.1 GB |
| OCR 後端 | 5 GB |
| OCR 擷取器 | 0.1 GB |
| Speech-to-Text 前端 | 0.1 GB |
| Speech-to-Text 後端 | 1.5 GB |
| Vertex AI Translation 前端 | 0.7 GB |
| Vertex AI Translation 後端 | 61.4 GB |
確認設備有足夠的儲存空間，可容納您打算使用的 Vertex AI 服務。
優點
在 GDC 實體隔離裝置上使用 Vertex AI 的優點如下：
- 流暢的開發體驗：在 Google Cloud上使用與 Vertex AI 相同的工具、API 和工作流程，讓開發和管理作業直覺又有效率。
- 提升安全性和隱私權：全面控管您的資料，並遵守法規要求。
- 加快價值實現速度：使用預先訓練模型執行常見的機器學習工作。
- 簡化 MLOps：運用強大的機器學習運作功能，在與網際網路隔離的環境中順暢整合 AI。
開始使用
如要在 GDC 氣密式裝置上開始使用 Vertex AI，請完成下列步驟：