El dispositivo aislado de Vertex AI en Google Distributed Cloud (GDC) lleva el poder de una plataforma de aprendizaje automático (AA) y de inteligencia artificial (IA) a tu dispositivo portátil seguro. El dispositivo aislado de GDC proporciona acceso a un conjunto selecto de APIs de Vertex AI previamente entrenadas, lo que habilita las capacidades de IA en tu solución de nube privada.
Características clave
Vertex AI en el dispositivo aislado de GDC te ofrece las siguientes funciones:
- Implementación aislada de Internet: Ejecuta los servicios de Vertex AI por completo dentro de tu dispositivo portátil, lo que garantiza la soberanía y el cumplimiento de los datos.
- Experiencia familiar de Vertex AI: Aprovecha las mismas herramientas y APIs de Google Cloud, lo que simplifica el desarrollo y la administración.
- Modelos y algoritmos compilados previamente: Accede a una variedad de modelos entrenados previamente para tareas comunes de aprendizaje automático, lo que acelera el tiempo de obtención de valor.
Servicios disponibles
El dispositivo aislado de Vertex AI en GDC ofrece los siguientes servicios preentrenados:
- Reconocimiento óptico de caracteres (OCR): Extrae texto de imágenes y archivos.
- Speech-to-Text: Convierte el lenguaje hablado en texto escrito.
- Vertex AI Translation: Traduce texto entre varios idiomas.
Planificación de la capacidad y requisitos de procesamiento
Cada servicio de Vertex AI requiere diferentes recursos de procesamiento. En la siguiente tabla, se proporcionan los requisitos para cada modelo previamente entrenado:
| API previamente entrenada | Recursos de procesamiento | Requisitos de recuento de GPU | Requisitos de memoria de GPU |
|---|---|---|---|
| Reconocimiento óptico de caracteres (OCR) | GPU | Una sola GPU A100 de 80 GB | 40 GB |
| Speech‑to‑Text | CPU | No aplicable (solo CPU) | No aplicable (solo CPU) |
| Vertex AI Translation | GPU | Una sola GPU A100 de 80 GB | 50 GB |
El dispositivo aislado de GDC incluye una sola GPU NVIDIA A100 de 80 GB. Esto limita el dispositivo a ejecutar solo una API de Vertex AI previamente entrenada que depende de la GPU a la vez. Si intentas habilitar Vertex AI Translation y OCR, la segunda API no se habilitará y mostrará un mensaje de error que indica que no hay suficientes recursos de GPU. Sin embargo, puedes ejecutar Speech-to-Text junto con Vertex AI Translation o OCR, ya que Speech-to-Text solo requiere recursos de CPU.
Para ayudarte a determinar la cantidad de unidades de dispositivos que necesitas para tus cargas de trabajo de IA/AA, revisa los siguientes límites de capacidad para cada API preentrenada de Vertex AI:
| API previamente entrenada | Capacidad por unidad de electrodoméstico |
|---|---|
| Reconocimiento óptico de caracteres (OCR) | Hasta 30 imágenes por minuto (una imagen cada dos segundos). |
| Speech‑to‑Text | Se transcriben hasta siete minutos de audio por minuto (siete segundos de audio por segundo). |
| Vertex AI Translation | Hasta 61,000 caracteres por minuto (1,024 caracteres por segundo). |
Cuando planifiques tu implementación, ten en cuenta las siguientes indicaciones:
Los límites de capacidad son aproximados y no están garantizados. La capacidad real puede variar según factores como los siguientes:
- Complejidad de los datos de entrada (por ejemplo, el idioma para la traducción, la calidad de la imagen para el OCR y la claridad del audio para la función de Speech-to-Text)
- Configuración específica del dispositivo.
- Uso simultáneo de otros servicios en el dispositivo
Solo una API que requiere mucha GPU (Vertex AI Translation o OCR) puede estar activa a la vez, ya que el dispositivo aislado de GDC se limita a una sola GPU A100 de 80 GB.
Estima tu uso máximo y el posible crecimiento futuro.
Para cargas de trabajo exigentes que requieren una mayor capacidad de procesamiento, considera implementar varias unidades de dispositivos.
En la siguiente tabla, se describen los requisitos de almacenamiento para cada servicio de Vertex AI en el dispositivo aislado de GDC:
| Componente | Requisitos de almacenamiento |
|---|---|
| Frontend de OCR | 0.1 GB |
| Backend de OCR | 5 GB |
| Extractor de OCR | 0.1 GB |
| Frontend de Speech-to-Text | 0.1 GB |
| Backend de Speech-to-Text | 1.5 GB |
| Frontend de Vertex AI Translation | 0.7 GB |
| Backend de Vertex AI Translation | 61.4 GB |
Asegúrate de que tu dispositivo tenga suficiente capacidad de almacenamiento para admitir los servicios de Vertex AI que deseas usar.
Beneficios
Vertex AI en el dispositivo aislado de GDC ofrece los siguientes beneficios:
- Experiencia de desarrollo fluida: Usa las mismas herramientas, APIs y flujos de trabajo de Vertex AI en Google Cloud, lo que hace que el desarrollo y la administración sean intuitivos y eficientes.
- Mayor seguridad y privacidad: Mantén el control total de tus datos y cumple con los requisitos reglamentarios.
- Tiempo de obtención de valor acelerado: Usa modelos previamente entrenados para tareas comunes de aprendizaje automático.
- MLOps optimizadas: Benefíciate de sólidas capacidades de operaciones de aprendizaje automático para lograr integraciones de IA sin problemas en tu entorno aislado.
Cómo comenzar
Para comenzar a usar Vertex AI en el dispositivo aislado de GDC, haz lo siguiente:
- Obtén información sobre los roles y permisos esenciales para los servicios disponibles.
- Configura un proyecto para tus cargas de trabajo de IA y aprendizaje automático.
- Aprovisiona GPUs y habilita los servicios de Vertex AI.
- Instala las bibliotecas cliente de Vertex AI.