Vertex AI 概览

Google Distributed Cloud (GDC) 空气隔离设备上的 Vertex AI 可将机器学习 (ML) 和人工智能 (AI) 平台的强大功能引入您的安全便携式设备。GDC 网闸隔离设备可提供对一组精选的预训练 Vertex AI API 的访问权限，从而在您的私有云解决方案中实现 AI 功能。

主要特性

Vertex AI on GDC air-gapped appliance 为您提供以下功能：

  • 气隙部署：完全在便携式设备中运行 Vertex AI 服务，确保数据主权和合规性。
  • 熟悉的 Vertex AI 体验：利用 Google Cloud中的相同工具和 API，简化开发和管理。
  • 预建模型和算法：访问一系列预训练模型，用于常见的机器学习任务，从而更快实现价值。

可获得的服务

GDC 空气隔离设备上的 Vertex AI 提供以下预训练服务：

容量规划和计算要求

每项 Vertex AI 服务都需要不同的计算资源。下表列出了每种预训练模型的要求：

预先训练的 API 计算资源 GPU 数量要求 GPU 内存要求
光学字符识别 (OCR) GPU 单个 A100 80 GB GPU 40 GB
Speech-to-Text CPU 不适用（仅限 CPU） 不适用（仅限 CPU）
Vertex AI Translation GPU 单个 A100 80 GB GPU 50 GB

GDC 空气隔离设备包含单个 NVIDIA A100 80 GB GPU。这会限制设备一次只能运行一个依赖于 GPU 的 Vertex AI 预训练 API。如果您尝试同时启用 Vertex AI Translation 和 OCR，则第二个 API 将无法启用，并显示一条错误消息，指出 GPU 资源不足。不过，您可以将 Speech-to-Text 与 Vertex AI Translation 或 OCR 一起运行，因为 Speech-to-Text 只需要 CPU 资源。

为帮助您确定 AI/ML 工作负载所需的设备单元数，请查看以下各项 Vertex AI 预训练 API 的容量限制：

预先训练的 API 每个设备单元的容量
光学字符识别 (OCR) 每分钟最多 30 张图片（每两秒一张图片）。
Speech-to-Text 每分钟最多转写 7 分钟的音频（每秒转写 7 秒的音频）。
Vertex AI Translation 每分钟最多 61,000 个字符（每秒 1,024 个字符）。

规划部署时，请考虑以下指导原则：

  • 容量限额为近似值，恕不保证。实际容量可能会因以下因素而异：

    • 输入数据的复杂程度（例如，翻译的语言、OCR 的图片质量以及 Speech-to-Text 的音频清晰度）。
    • 设备的具体配置。
    • 设备上同时使用其他服务。

  • 由于 GDC 空气隔离设备仅限使用单个 A100 80 GB GPU，因此一次只能有一个 GPU 密集型 API（Vertex AI Translation 或 OCR）处于活动状态。

  • 估算您的峰值使用量和未来的潜在增长。

  • 对于需要更高吞吐量的要求苛刻的工作负载，请考虑部署多个设备单元。

下表概述了 GDC 气隙式设备上每项 Vertex AI 服务的存储空间要求：

组件 存储空间要求
OCR 前端 0.1 GB
OCR 后端 5 GB
OCR 提取器 0.1 GB
Speech-to-Text 前端 0.1 GB
Speech-to-Text 后端 1.5 GB
Vertex AI Translation 前端 0.7 GB
Vertex AI Translation 后端 61.4 GB

确保设备有足够的存储空间容量来容纳您打算使用的 Vertex AI 服务。

优势

Vertex AI on GDC 气隙设备具有以下优势：

  • 顺畅的开发体验：在 Google Cloud上使用 Vertex AI 的相同工具、API 和工作流，使开发和管理变得直观高效。
  • 增强的安全性和隐私保护：完全掌控您的数据并遵守法规要求。
  • 更快实现价值：使用预训练模型来完成常见的机器学习任务。
  • 简化的 MLOps：受益于强大的机器学习运维功能，可在气隙环境中实现无缝 AI 集成。

使用入门

如需开始使用 GDC 空气隔离设备上的 Vertex AI，请执行以下操作：