• Processamento assíncrono : as previsões são geradas em uma programação predefinida (por exemplo, a cada hora, diariamente) ou sob demanda, não em tempo real à medida que novos dados chegam
• Alta capacidade de processamento : o sistema é otimizado para processar um grande número de pontos de dados em uma única execução, o que o torna altamente eficiente
• Custo-benefício: ao executar seguindo uma programação, você pode usar recursos de computação quando estiverem mais disponíveis ou menos caros, reduzindo significativamente os custos operacionais
• Tolerância à latência: a principal suposição é que o aplicativo que consome as previsões não precisa de uma resposta imediata. Um atraso de minutos ou horas entre a coleta de dados e a geração de previsões é aceitável.

Escolher entre inferência em lote e on-line é uma decisão arquitetônica fundamental ao projetar um sistema de machine learning. Cada abordagem tem uma finalidade diferente e é otimizada para diferentes características de desempenho.

Um pipeline de inferência em lote é um fluxo de trabalho estruturado e automatizado que move os dados do estado bruto para previsões úteis. O processo pode ser dividido nestas etapas principais, que normalmente são orquestradas por um gerenciador de fluxo de trabalho ou sistema de programação.

O processo começa com o acúmulo de dados ao longo do tempo. Esses dados de entrada, que podem incluir registros de atividades do usuário, registros de transações ou leituras de sensores, são coletados de várias fontes e armazenados em um local centralizado. Geralmente, é um data lake criado em um serviço como o Google Cloud Storage ou um data warehouse como o BigQuery.

O pipeline de inferência é iniciado por um gatilho. O gatilho pode ser:

• Baseado em tempo : um programador (como um cron job) inicia o job em um intervalo regular, como todos os dias às 1h.
• Baseado em eventos: o job começa em resposta a um evento específico, como a chegada de um novo arquivo de dados em um bucket do Cloud Storage

Depois de acionado, o job carrega todo o lote de dados brutos de entrada. Em seguida, ele realiza as etapas necessárias de pré-processamento e engenharia de atributos para transformar os dados no formato exato que o modelo de machine learning espera. Isso pode incluir tarefas como limpar valores ausentes, escalonar atributos numéricos e codificar variáveis categóricas.

O sistema recupera o modelo de machine learning treinado de um repositório central, como o Vertex AI Model Registry. O lote de dados pré-processados é então inserido no modelo, que executa a inferência em cada observação do conjunto para gerar uma previsão correspondente.

A saída do modelo, ou seja, a coleção de previsões, é gravada em um sistema de armazenamento. O destino é escolhido com base em como as previsões serão usadas. Os destinos comuns incluem o carregamento dos resultados em uma tabela do BigQuery para análise, um banco de dados do Cloud SQL para pesquisas rápidas por um aplicativo ou o salvamento deles como arquivos no Cloud Storage.

Com as previsões armazenadas e prontas, os sistemas downstream podem usá-las. Uma ferramenta de business intelligence pode consultar os resultados para criar um painel do comportamento previsto do cliente. O back-end de um aplicativo da Web pode carregar as recomendações de produtos pré-computadas para exibir aos usuários, ou uma plataforma de automação de marketing pode extrair uma lista de clientes com previsão de churn para segmentá-los com uma nova campanha.

A inferência em lote é o método preferido para muitos processos de negócios principais em que as previsões aprimoram um produto ou serviço sem precisar ser geradas em tempo real. Essa abordagem pode ser muito eficaz em vários setores para resolver problemas de dados em grande escala.

A Vertex AI é a plataforma de machine learning gerenciada do Google Cloud e oferece uma abordagem simplificada e sem servidor para inferência em lote. O processo se concentra na configuração de um job e permite que a plataforma lide com a infraestrutura subjacente.

Antes de começar, você precisa de três coisas principais:

• Um modelo treinado, que deve ser enviado para o Vertex AI Model Registry
• Seus dados de entrada, formatados conforme exigido pelo modelo. Esses dados devem estar no Google Cloud Storage (por exemplo, como arquivos JSON ou CSV) ou em uma tabela do BigQuery
• Um local de destino para a saída, que também será um bucket do Cloud Storage ou uma tabela do BigQuery

É possível iniciar o job pelo console do Google Cloud, pela ferramenta de linha de comando gcloud ou de forma programática usando o SDK da Vertex AI. Ao criar o job, você vai fornecer a seguinte configuração:

• O modelo específico do Model Registry que você quer usar
• O caminho para seus dados de entrada e o local dos resultados de saída
• O tipo de máquina e o acelerador (por exemplo, GPU) que você quer usar no job. Isso permite equilibrar custo e desempenho.

Depois de enviar o job, a Vertex AI assume o controle. Ela provisiona automaticamente os recursos de computação especificados, executa os dados de entrada no modelo, gera as previsões e as salva no local de saída designado. Após a conclusão do job, a Vertex AI reduz automaticamente todos os recursos para zero, para que você pague apenas pelo tempo de computação usado. É possível monitorar o progresso do job e visualizar os registros diretamente no console do Google Cloud.

Quando o status do job for "Concluído", suas previsões estarão prontas. Os arquivos de saída no Cloud Storage ou a nova tabela no BigQuery agora podem ser acessados pelos seus aplicativos downstream, ferramentas de análise ou painéis de BI.