Documentación de la organización de IA/AA en GKE
Ejecuta cargas de trabajo de IA/AA optimizadas con las funciones de organización de la plataforma Google Kubernetes Engine (GKE). Con Google Kubernetes Engine (GKE), puedes implementar una plataforma de IA y AA sólida y lista para la producción con todos los beneficios de Kubernetes administrado y estas capacidades:
- Organización de infraestructura que admite GPU y TPU para el entrenamiento y la entrega de cargas de trabajo a gran escala.
- Integración flexible en frameworks de procesamiento distribuido y procesamiento de datos.
- Compatibilidad con varios equipos en la misma infraestructura a fin de maximizar el uso de los recursos
Recursos de documentación
Entrega modelos abiertos en GKE
-
Instructivo
Entrega Gemma mediante GPU en GKE con Hugging Face TGI
-
Instructivo
Entrega Gemma con GPU en GKE con vLLM
-
Instructivo
Entrega Gemma con GPU en GKE con NVIDIA Triton y TensorRT-LLM
-
Instructivo
Entrega Gemma con TPU en GKE con JetStream
-
Instructivo
Guía de inicio rápido: Entrega un modelo con una sola GPU en GKE Autopilot
Organiza TPU y GPU a gran escala
-
Video
Introducción a Cloud TPU para el aprendizaje automático
-
Video
Compila aprendizaje automático a gran escala en Cloud TPU con GKE
-
Video
Entrega modelos de lenguaje grande con KubeRay en TPU
-
Blog
Aprendizaje automático con JAX en Kubernetes con GPU de NVIDIA
-
Blog
Compila una plataforma de aprendizaje automático (AA) con Kubeflow y Ray en GKE
Optimización de costos y organización de trabajos
-
¡NUEVO!
Arquitectura de referencia para una plataforma de procesamiento por lotes en GKE
-
Blog
Almacenamiento de IA/AA de alto rendimiento mediante la compatibilidad con SSD locales en GKE
-
Blog
Simplifica las MLOps con pesos y sesgos con Google Kubernetes Engine
-
Práctica recomendada
Prácticas recomendadas para ejecutar cargas de trabajo por lotes en GKE
-
Práctica recomendada
Ejecuta aplicaciones de Kubernetes con optimización de costos en GKE
-
Práctica recomendada
Mejora en 4 veces el tiempo de lanzamiento de la Stable Diffusion en GKE