Para optimizar de forma eficaz, debes tener claras las dos fases de la inferencia de LLMs:

1. Describe el objetivo: empiezas con un despliegue de modelo no optimizado.
2. Aplicar cuantización: reduce los pesos del modelo (por ejemplo, a 4 bits) para que quepan lotes más grandes en la memoria.
3. Optimizar la atención: usa FlashAttention o la atención de consultas agrupadas (GQA) para minimizar los costes de movimiento de memoria.
4. Gestión de la memoria: implementa PagedAttention para almacenar las cachés de KV en bloques no contiguos, lo que elimina la fragmentación.
5. Ejecutar y supervisar: despliega el procesamiento por lotes en tiempo de ejecución para iniciar nuevas solicitudes en cuanto se completen otras.

Así es como se compara la inferencia optimizada con la aplicación de modelos "ingenua" tradicional:

Google Cloud ofrece una serie de herramientas diseñadas para distintos niveles de conocimientos y necesidades arquitectónicas.

Usar Model Garden es la forma más rápida de desplegar versiones optimizadas de modelos abiertos líderes en el sector, como Llama, Gemma y Mistral.

Ve a Model Garden y busca un modelo de código abierto compatible. Haz clic en Desplegar. En la configuración, selecciona un tiempo de ejecución optimizado, como vLLM o NVIDIA NIM.

Elige una versión cuantificada del modelo (por ejemplo, de 4 u 8 bits) para reducir su uso de memoria. Esto te permite servir tamaños de lote más grandes en la misma GPU, lo que aumenta directamente el rendimiento.

Asegúrate de que el contenedor de publicación esté configurado para usar PagedAttention. Esta técnica permite que el modelo almacene su "memoria" (caché de clave-valor) en bloques no contiguos, lo que evita el desperdicio de memoria y permite ventanas de contexto más largas.

Una vez implementado, Vertex AI se encarga automáticamente de agrupar las solicitudes en curso y de procesar las nuevas en cuanto una solicitud existente completa un token. Usa Vertex AI Model Monitoring para hacer un seguimiento de la latencia y asegurarte de que el "mood" de la salida siga siendo de alta calidad.

Para los equipos que necesitan un control granular sobre su orquestación y sus kernels de inferencia personalizados, GKE es la opción estándar del sector.

Aprovisiona un clúster de GKE con nodos de GPU especializados (por ejemplo, L4 o H100). Instala el operador de GPU NVIDIA para gestionar automáticamente la gestión de controladores y el ajuste del rendimiento.

Usa un motor de inferencia en contenedores como vLLM o Triton Inference Server. Estos servidores admiten el procesamiento por lotes continuo y el paralelismo de tensores, lo que te permite fragmentar modelos grandes en varias GPUs. vLLM también te da la posibilidad de cambiar entre TPUs y GPUs con una cantidad mínima de código adicional.

Para las necesidades de latencia de misión crítica, configura la decodificación especulativa. Esto implica usar un modelo a modo de "borrador" más pequeño y rápido para predecir tokens, que luego se verifican en paralelo con tu modelo "objetivo" más grande, lo que suele traducirse en un aumento de la velocidad de 2 a 3 veces.

GKE Inference Quickstart actúa como base de datos preconfigurada de configuraciones de pila de inferencia probadas. Al especificar tu modelo, los requisitos de latencia y las prioridades de costes, la herramienta proporciona un conjunto de recomendaciones basadas en prácticas recomendadas y en las últimas comparativas. De esta forma, puedes monitorizar métricas de rendimiento específicas de la inferencia y ajustar dinámicamente tu despliegue para asegurarte de que siempre se ejecuta con tecnología optimizada.

GKE Inference Gateway ya está disponible de forma general y ofrece dos funciones avanzadas para gestionar aplicaciones complejas de IA generativa.

• Enrutamiento con reconocimiento de prefijos: en aplicaciones como las conversaciones multiturno o el análisis de documentos, esta función enruta las solicitudes a los mismos aceleradores que ya tienen el contexto en caché, lo que mejora los tiempos de respuesta.
• Servicio desagregado: esta técnica separa la fase inicial de "relleno automático" (procesamiento de la petición) de la fase de "decodificación" (generación de tokens). Como estas fases tienen diferentes necesidades de recursos, puedes ejecutarlas en grupos de máquinas independientes y optimizados para maximizar la eficiencia.

Anywhere Cache es una nueva caché de lectura totalmente coherente que funciona con los segmentos de Google Cloud Storage (GCS) que ya tengas para almacenar datos en caché en la misma zona que tus aceleradores. Esto reduce la latencia de lectura hasta un 96 % y minimiza los costes de red asociados a las cargas de trabajo con muchas lecturas.

Cloud WAN, una red global totalmente gestionada y basada en la infraestructura de Google a escala planetaria, es lo que une toda la infraestructura. Cloud WAN conecta recursos de computación de IA en diferentes regiones, nubes y entornos on-premise, lo que supone una mejora del 40 % en la experiencia de las aplicaciones de inferencia y un 40 % menos de coste total de propiedad en comparación con las soluciones de WAN tradicionales.