O que é inferência de IA?

O ciclo de vida completo da IA envolve tudo, desde a coleta de dados até o monitoramento de longo prazo, mas a jornada central de um modelo, da criação à execução, tem três etapas principais. As duas primeiras são sobre aprendizado, enquanto a última é sobre colocar esse aprendizado em prática.

• O treinamento de IA é a fase de aprendizado fundamental. É um processo computacionalmente intensivo em que um modelo analisa um conjunto de dados enorme para aprender padrões e relações. O objetivo é criar um modelo preciso e com conhecimento. Isso exige aceleradores de hardware potentes (como GPUs e TPUs) e pode levar de horas a semanas.
• Ajuste detalhado da IA é um atalho para o treinamento. Ele usa um modelo pré-treinado e poderoso e o adapta a uma tarefa mais específica usando um conjunto de dados menor e especializado. Isso economiza muito tempo e recursos em comparação com o treinamento de um modelo do zero.
• A inferência de IA é a fase de execução. Ela usa o modelo treinado e ajustado para fazer previsões rápidas sobre dados novos e "inéditos". Cada previsão individual é muito menos exigente em termos computacionais do que o treinamento, mas a entrega de milhões de previsões em tempo real exige uma infraestrutura altamente otimizada e escalonável.
• O serviço de IA é o processo de implantação e gerenciamento do modelo para inferência. Isso geralmente envolve empacotar o modelo, configurar um endpoint de API e gerenciar a infraestrutura para lidar com as solicitações.

Esta tabela resume as principais diferenças:

A inferência de IA envolve três etapas que transformam novos dados em uma saída útil. 

Vamos analisar um exemplo simples: um modelo de IA criado para identificar objetos em fotos.

1. Preparação dos dados de entrada: primeiro, novos dados são fornecidos, por exemplo, uma foto que você acabou de enviar. A foto é preparada instantaneamente para o modelo, o que pode significar simplesmente redimensioná-la para as dimensões exatas em que foi treinada.
2. Execução do modelo: em seguida, o modelo de IA analisa a foto preparada. Ele procura padrões, como cores, formas e texturas, que correspondam ao que aprendeu durante o treinamento. Essa análise rápida é chamada de passagem direta, uma etapa somente leitura em que o modelo aplica seu conhecimento sem aprender nada de novo.
3. Geração de saída: o modelo produz um resultado útil. Para a análise de fotos, pode ser uma pontuação de probabilidade (como 95% de chance de a imagem conter um "cachorro"). Essa saída é enviada ao aplicativo e exibida para o usuário.

Embora uma única inferência seja rápida, atender a milhões de usuários em tempo real aumenta a latência e o custo e exige hardware otimizado. As unidades de processamento gráfico (GPUs) especializadas em IA e as unidades de processamento de tensor do Google foram projetadas para lidar com essas tarefas de maneira eficiente, além da orquestração com o Google Kubernetes Engine, ajudando a aumentar a capacidade de processamento e reduzir a latência.

Essa é a abordagem mais comum, em que a inferência é executada em servidores remotos potentes em um data center. A nuvem oferece escalonabilidade e recursos computacionais imensos, o que a torna ideal para lidar com conjuntos de dados massivos e modelos complexos. Na nuvem, geralmente há dois modos principais de inferência:

• Inferência em tempo real (on-line): processa solicitações individuais instantaneamente à medida que chegam, geralmente em milissegundos. Isso é essencial para aplicativos interativos que exigem feedback imediato.
• Inferência em lote (off-line): lida com grandes volumes de dados de uma só vez, normalmente quando respostas imediatas não são necessárias. É um método altamente econômico para análises periódicas ou tarefas programadas.

Essa abordagem realiza a inferência diretamente no dispositivo em que os dados são gerados, como um smartphone ou um sensor industrial. Ao evitar uma viagem de ida e volta à nuvem, a inferência de borda oferece vantagens exclusivas:

• Latência reduzida: as respostas são quase instantâneas, o que é essencial para aplicativos como veículos autônomos ou verificações de fabricação em tempo real.
• Privacidade aprimorada: dados sensíveis (como exames médicos, fotos pessoais e feeds de vídeo) podem ser processados no dispositivo sem serem enviados para a nuvem.
• Custos de largura de banda mais baixos: o processamento de dados localmente reduz significativamente a quantidade de dados que precisam ser enviados e baixados.
• Funcionalidade off-line: o aplicativo pode continuar funcionando mesmo sem uma conexão de Internet, garantindo a operação contínua em ambientes remotos ou desconectados.

Para ajudar você a escolher a melhor abordagem para suas necessidades específicas, aqui está uma comparação rápida das principais características e casos de uso para cada tipo de inferência de IA:

A inferência de IA apresenta um conjunto distinto de desafios técnicos, incluindo o gerenciamento da latência, o controle dos custos e a garantia da escalonabilidade. O Google Cloud oferece um caminho flexível para a inferência, permitindo que você escolha as ferramentas certas com base na complexidade do modelo, nas necessidades de desempenho e na capacidade operacional. Você pode começar com soluções totalmente gerenciadas e adotar progressivamente uma infraestrutura mais personalizada à medida que seus requisitos evoluem.

Essa abordagem é ideal para desenvolvedores de qualquer nível de habilidade, incluindo aqueles que são novos na IA e querem integrar recursos avançados de IA rapidamente. Ele exige a realização de chamadas de API simples, sem a necessidade de gerenciar modelos ou infraestrutura.

Essa opção é para desenvolvedores que já criaram um modelo personalizado. É possível implantá-lo no serviço gerenciado do Google Cloud, o que significa que não precisa lidar com a configuração ou orquestração complexa do servidor. Você se concentra no modelo, não na infraestrutura.

Oferece aos desenvolvedores e profissionais de MLOps controle granular e flexibilidade para implantar, gerenciar e escalonar serviços de inferência conteinerizados personalizados, geralmente com hardware especializado, em ambientes de nuvem ou híbridos.

Se você trabalha com SQL, agora pode receber previsões de modelos de IA diretamente onde seus dados já estão. Isso elimina a necessidade de mover dados para uma plataforma separada, simplificando seu fluxo de trabalho.