Para optimizar de manera eficaz, debes comprender las dos fases distintas de la inferencia de LLM:

1. Describe el objetivo: Comienzas con una implementación de modelo no optimizada.
2. Aplica la cuantización: Reduce los pesos del modelo (por ejemplo, a 4 bits) para ajustar lotes más grandes a la memoria.
3. Optimiza la atención: Usa FlashAttention o la atención de consultas agrupadas (GQA) para minimizar los costos de movimiento de memoria.
4. Administra la memoria: Implementa PagedAttention para almacenar cachés de KV en bloques no contiguos, lo que elimina la fragmentación.
5. Ejecuta y supervisa: Implementa con procesamiento por lotes continuo para iniciar de inmediato nuevas solicitudes a medida que se completan otras.

Aquí se compara la inferencia optimizada con la entrega de modelos tradicional "simple":

Google Cloud ofrece una variedad de herramientas diseñadas para diferentes niveles de habilidad y necesidades arquitectónicas.

Model Garden es la ruta más rápida para implementar versiones optimizadas de modelos abiertos líderes como Llama, Gemma y Mistral.

Ve a Model Garden y busca un modelo de OSS compatible. Haz clic en Implementar. En la configuración, selecciona un entorno de ejecución optimizado, como vLLM o NVIDIA NIM.

Elige una versión cuantizada del modelo (por ejemplo, de 4 bits o de 8 bits) para reducir su huella de memoria. Esto te permite entregar tamaños de lote más grandes en la misma GPU, lo que aumenta directamente la capacidad de procesamiento.

Asegúrate de que el contenedor de entrega esté configurado para usar PagedAttention. Esta técnica permite que el modelo almacene su “memoria” (caché de clave-valor) en bloques no contiguos, lo que evita el desperdicio de memoria y permite ventanas de contexto más largas.

Una vez implementado, Vertex AI maneja automáticamente el procesamiento por lotes en tránsito y procesa las nuevas solicitudes tan pronto como una solicitud existente completa un token. Usar Vertex AI Model Monitoring para hacer un seguimiento de la latencia y garantizar que la “vibra” del resultado siga siendo de alta calidad.

Para los equipos que necesitan un control detallado sobre su organización y los kernels de inferencia personalizados, GKE es la opción estándar de la industria.

Aprovisiona un clúster de GKE con nodos de GPU especializados (como L4 o H100). Instala el operador de GPU de NVIDIA para controlar la administración de controladores y el ajuste de rendimiento de forma automática.

Usar un motor de inferencia en contenedores como vLLM o Triton Inference Server Estos servidores admiten el procesamiento por lotes continuo y el paralelismo de tensores, lo que te permite fragmentar modelos grandes en varias GPUs. vLLM también te permite cambiar entre TPU y GPUs con una mínima codificación adicional.

Para necesidades de latencia esenciales, configura la decodificación especulativa. Esto implica usar un modelo de “borrador” más pequeño y rápido para predecir tokens, que luego son verificados en paralelo por tu modelo “objetivo” más grande, lo que a menudo proporciona una aceleración de 2x a 3x.

GKE Inference Quickstart actúa como una base de datos preconfigurada de configuraciones de pila de inferencia probadas. Cuando especificas tu modelo, los requisitos de latencia y las prioridades de costo, la herramienta proporciona un conjunto de recomendaciones basadas en prácticas recomendadas y los comparativos más recientes. Esto te permite supervisar las métricas de rendimiento específicas de la inferencia y ajustar dinámicamente tu implementación para garantizar que siempre se ejecute con tecnología optimizada.

GKE Inference Gateway ya está disponible de forma general y presenta dos capacidades avanzadas para administrar aplicaciones complejas de IA generativa.

• Enrutamiento con reconocimiento de prefijos: Para aplicaciones como el chat de varios turnos o el análisis de documentos, esta función enruta las solicitudes a los mismos aceleradores que ya tienen el contexto almacenado en caché, lo que mejora los tiempos de respuesta.
• Entrega desagregada: Esta técnica separa la fase inicial de “relleno previo” (procesamiento de instrucciones) de la fase de “decodificación” (generación de tokens). Como estas etapas tienen diferentes necesidades de recursos, puedes ejecutarlas en grupos de máquinas separados y optimizados para maximizar la eficiencia.

Anywhere cache es una nueva caché de lectura totalmente coherente que funciona con buckets de Google Cloud Storage (GCS) existentes para almacenar en caché los datos dentro de la misma zona que tus aceleradores. Esto reduce la latencia de lectura hasta un 96% y minimiza los costos de red asociados con cargas de trabajo con muchas lecturas.

Cloud WAN, una red global completamente administrada creada en la infraestructura a escala planetaria de Google, une toda la infraestructura. Cloud WAN conecta recursos de computación de IA en diferentes regiones, nubes y entornos locales, lo que ofrece una mejora del 40% en la experiencia de la aplicación de inferencia y un TCO un 40% más bajo en comparación con las soluciones WAN tradicionales.