Per ottimizzare in modo efficace, devi comprendere le due fasi distinte dell'inferenza LLM:

1. Descrivi l'obiettivo: inizia con un deployment del modello non ottimizzato
2. Applica la quantizzazione: riduci i pesi del modello (ad esempio, a 4 bit) per adattare batch più grandi alla memoria
3. Ottimizza l'attenzione: utilizza FlashAttention o Grouped-Query Attention (GQA) per ridurre al minimo i costi di spostamento della memoria
4. Gestione della memoria: implementa PagedAttention per archiviare le cache KV in blocchi non contigui, eliminando la frammentazione
5. Esegui e monitora: esegui il deployment con il raggruppamento in volo per avviare immediatamente nuove richieste al termine delle altre

Ecco un confronto tra l'inferenza ottimizzata e l'erogazione del modello "naive" tradizionale:

Google Cloud offre una gamma di strumenti progettati per diversi livelli di competenza ed esigenze architetturali.

Model Garden è il percorso più rapido per il deployment di versioni ottimizzate dei principali modelli open come Llama, Gemma e Mistral.

Vai a Model Garden e trova un modello OSS supportato. Fai clic su Esegui il deployment. Nella configurazione, seleziona un runtime ottimizzato come vLLM o NVIDIA NIM.

Scegli una versione quantizzata del modello (ad esempio a 4 o 8 bit) per ridurre il footprint della memoria. Ciò consente di erogare dimensioni dei batch più grandi sulla stessa GPU, aumentando direttamente il throughput.

Assicurati che il container di distribuzione sia configurato per utilizzare PagedAttention. Questa tecnica consente al modello di archiviare la propria "memoria" (cache chiave-valore) in blocchi non contigui, evitando lo spreco di memoria e consentendo finestre di contesto più lunghe.

Una volta eseguito il deployment, Vertex AI gestisce automaticamente il raggruppamento in-flight, elaborando nuove richieste non appena una richiesta esistente completa un token. Utilizza Vertex AI Model Monitoring per monitorare la latenza e assicurarti che la "qualità" dell'output rimanga elevata.

Per i team che hanno bisogno di un controllo granulare sull'orchestrazione e sui kernel di inferenza personalizzati, GKE è la scelta standard del settore.

Esegui il provisioning di un cluster GKE con nodi GPU specializzati (ad esempio, L4 o H100). Installa l'operatore GPU NVIDIA per gestire automaticamente la gestione dei driver e l'ottimizzazione delle prestazioni.

Utilizza un motore di inferenza containerizzato come vLLM o Triton Inference Server. Questi server supportano il batching continuo e il parallelismo dei tensori, consentendoti di suddividere modelli di grandi dimensioni su più GPU. vLLM ti offre anche la possibilità di passare da TPU a GPU, con una minima codifica aggiuntiva.

Per le esigenze di latenza mission-critical, configura la decodifica speculativa. Ciò comporta l'utilizzo di un modello "bozza" più piccolo e veloce per prevedere i token, che vengono poi verificati in parallelo dal modello "target" più grande, spesso con un aumento della velocità di 2-3 volte.

GKE Inference Quickstart funge da database preconfigurato di configurazioni dello stack di inferenza testate. Specificando il modello, i requisiti di latenza e le priorità di costo, lo strumento fornisce una serie di consigli basati sulle best practice e sugli ultimi benchmark. Ciò ti consente di monitorare le metriche delle prestazioni specifiche per l'inferenza e di ottimizzare dinamicamente il deployment per garantire che venga sempre eseguito su una tecnologia ottimizzata.

GKE Inference Gateway è ora disponibile a livello generale e introduce due funzionalità avanzate per la gestione di applicazioni di AI generativa complesse.

• Routing con riconoscimento del prefisso: per applicazioni come la chat a più turni o l'analisi di documenti, questa funzionalità indirizza le richieste agli stessi acceleratori che hanno già la cache del contesto, migliorando i tempi di risposta.
• Distribuzione disaggregata: questa tecnica separa la fase iniziale di "prefill" (elaborazione del prompt) dalla fase di "decodifica" (generazione di token). Poiché queste fasi hanno esigenze di risorse diverse, puoi eseguirle su pool di macchine separati e ottimizzati per massimizzare l'efficienza.

Anywhere cache è una nuova cache di lettura completamente coerente che funziona con i bucket Google Cloud Storage (GCS) esistenti per memorizzare nella cache i dati all'interno della stessa zona degli acceleratori. Ciò riduce la latenza di lettura fino al 96% e minimizza i costi di rete associati ai carichi di lavoro con molte letture.

A tenere insieme l'intera infrastruttura è Cloud WAN, una rete globale completamente gestita basata sull'infrastruttura di Google su scala planetaria. Cloud WAN connette le risorse di computing AI in diverse regioni, cloud e ambienti on-premise, offrendo un miglioramento del 40% nell'esperienza delle applicazioni di inferenza e un TCO inferiore del 40% rispetto alle soluzioni WAN tradizionali.