Para otimizar de forma eficaz, você precisa entender as duas fases distintas da inferência de LLM:

1. Descrever a meta: você começa com uma implantação de modelo não otimizada
2. Aplicar quantização: reduza os pesos do modelo (por exemplo, para 4 bits) para ajustar lotes maiores na memória
3. Otimizar a atenção: use o FlashAttention ou a atenção de consulta agrupada (GQA) para minimizar os custos de movimentação de memória
4. Gerenciar memória: implemente o PagedAttention para armazenar caches KV em blocos não contíguos, eliminando a fragmentação
5. Executar e monitorar: faça a implantação com o agrupamento em voo para iniciar imediatamente novas solicitações à medida que outras terminam

Veja como a inferência otimizada se compara à disponibilização de modelos "ingênuo" tradicional:

O Google Cloud oferece uma variedade de ferramentas projetadas para diferentes níveis de habilidade e necessidades arquitetônicas.

O Model Garden é o caminho mais rápido para implantar versões otimizadas de modelos abertos líderes como Llama, Gemma e Mistral.

Acesse o Model Garden e encontre um modelo OSS compatível. Clique em implantar. Na configuração, selecione um ambiente de execução otimizado, como vLLM ou NVIDIA NIM.

Escolha uma versão quantizada do modelo (por exemplo, 4 ou 8 bits) para reduzir o consumo de memória. Isso permite disponibilizar tamanhos de lote maiores na mesma GPU, aumentando diretamente a capacidade de processamento.

Verifique se o contêiner de exibição está configurado para usar o PagedAttention. Essa técnica permite que o modelo armazene sua "memória" (cache de chave-valor) em blocos não contíguos, evitando o desperdício de memória e permitindo janelas de contexto mais longas.

Depois de implantada, a Vertex AI lida automaticamente com o agrupamento em trânsito, processando novas solicitações assim que uma solicitação atual conclui um token. Usar a Vertex AI Model Monitoring para monitorar a latência e garantir que a "vibe" da saída continue com alta qualidade.

Para equipes que precisam de controle granular sobre a orquestração e os kernels de inferência personalizados, o GKE é a opção padrão do setor.

Provisionar um cluster do GKE com nós de GPU especializados (como L4 ou H100). Instale o operador de GPU NVIDIA para lidar com o gerenciamento de drivers e o ajuste de desempenho automaticamente.

Usar um mecanismo de inferência conteinerizado, como o vLLM ou o Triton Inference Server. Esses servidores oferecem suporte a lote contínuo e paralelismo de tensor, permitindo que você fragmente modelos grandes em várias GPUs. O vLLM também permite alternar entre TPUs e GPUs com o mínimo de codificação adicional.

Para necessidades de latência de missão crítica, configure a decodificação especulativa. Isso envolve o uso de um modelo de "rascunho" menor e mais rápido para prever tokens, que são verificados em paralelo pelo seu modelo "alvo" maior, geralmente proporcionando um aumento de velocidade de 2 a 3 vezes.

O Guia de início rápido de inferência do GKE funciona como um banco de dados pré-configurado de configurações de pilha de inferência testadas. Ao especificar o modelo, os requisitos de latência e as prioridades de custo, a ferramenta fornece um conjunto de recomendações com base nas práticas recomendadas e nos benchmarks mais recentes. Isso permite monitorar métricas de performance específicas de inferência e ajustar dinamicamente sua implantação para garantir que ela sempre seja executada em tecnologia otimizada.

O GKE Inference Gateway já está disponível para todos os usuários, com dois recursos avançados para gerenciar aplicativos complexos de IA generativa.

• Roteamento com reconhecimento de prefixo: para aplicativos como conversa multiturno ou análise de documentos, esse recurso direciona solicitações para os mesmos aceleradores que já têm o contexto em cache, melhorando os tempos de resposta.
• Serviço desagregado: essa técnica separa a fase inicial de "preenchimento" (processamento de comandos) da fase de "decodificação" (geração de tokens). Como essas fases têm necessidades de recursos diferentes, você pode executá-las em pools de máquinas separados e otimizados para maximizar a eficiência.

O cache em qualquer lugar é um novo cache de leitura totalmente consistente que funciona com os buckets do Google Cloud Storage (GCS) para armazenar dados em cache na mesma zona dos seus aceleradores. Isso reduz a latência de leitura em até 96% e minimiza os custos de rede associados a cargas de trabalho com muitas leituras.

A Cloud WAN, uma rede global totalmente gerenciada criada na infraestrutura em escala planetária do Google, conecta toda a infraestrutura. O Cloud WAN conecta recursos de computação de IA em diferentes regiões, nuvens e ambientes no local, oferecendo uma melhoria de 40% na experiência do aplicativo de inferência e um TCO 40% menor em comparação com as soluções WAN tradicionais.