Visão geral da inferência de modelos

Neste documento, descrevemos os tipos de inferência em lote compatíveis com o BigQuery ML, que incluem o seguinte:

A inferência de machine learning é o processo de execução de pontos de dados em um modelo de machine learning para calcular uma saída, como uma única pontuação numérica. Esse processo também é conhecido como "operar um modelo de machine learning" ou "colocar um modelo de machine learning em produção".

Previsão em lote

Nas seções a seguir, descrevemos as maneiras disponíveis de realizar a previsão no BigQuery ML.

Inferência usando modelos treinados do BigQuery ML

A predição no BigQuery ML é usada não apenas para modelos de aprendizado supervisionado, mas também não supervisionados.

O BigQuery ML é compatível com funcionalidades de previsão por meio da função ML.PREDICT com os seguintes modelos:

Categoria do modelo Tipos de modelos O que ML.PREDICT faz
Aprendizado supervisionado Regressão linear e logística

Árvores aprimoradas

Floresta aleatória

Redes neurais profundas

Amplitude e profundidade

Tabelas do AutoML 		Prever o rótulo, seja um valor numérico para tarefas de regressão ou um valor categórico para tarefas de classificação.
Aprendizado não supervisionado K-means Atribua o cluster à entidade.
PCA Aplique a redução de dimensionalidade à entidade transformando-a no espaço estendido pelos autovetores.
Codificador automático Transforme a entidade no espaço incorporado.

Inferência usando modelos importados

Com essa abordagem, você cria e treina um modelo fora do BigQuery, importa-o usando a instrução CREATE MODEL e, em seguida, executa a inferência usando a função ML.PREDICT. Todo o processamento de inferência ocorre no BigQuery, usando dados do BigQuery. Os modelos importados podem realizar aprendizado supervisionado ou não supervisionado.

O BigQuery ML é compatível com os seguintes tipos de modelos importados:

Use essa abordagem para usar modelos personalizados desenvolvidos com uma variedade de frameworks de ML e aproveitar a velocidade de inferência e a colocalização do BigQuery ML com dados.

Para saber mais, siga um dos seguintes tutoriais:

Inferência usando modelos remotos

Com essa abordagem, você pode criar uma referência a um modelo hospedado emPrevisão da Vertex AI usando a declaração CREATE MODEL e, em seguida, executar a inferência usando a função ML.PREDICT. Todo o processamento de inferência ocorre na Vertex AI usando dados do BigQuery. Os modelos remotos podem realizar aprendizado supervisionado ou não supervisionado.

Use essa abordagem para executar a inferência em modelos grandes que exigem o suporte de hardware da GPU fornecido pela Vertex AI. Se a maioria dos seus modelos for hospedada pela Vertex AI, isso também permitirá que você execute inferência nesses modelos usando SQL, sem precisar criar pipelines de dados manualmente para enviar dados à Vertex AI e gerar previsão de volta ao BigQuery.

Para instruções passo a passo, consulte Fazer previsões com modelos remotos na Vertex AI.

Inferência em lote com modelos do BigQuery na Vertex AI

O BigQuery ML tem suporte integrado à previsão em lote, sem a necessidade de usar a Vertex AI. Também é possível registrar um modelo do BigQuery ML no Model Registry para realizar a previsão em lote na Vertex AI usando uma tabela do BigQuery como entrada. No entanto, isso só pode ser feito usando a API Vertex AI e definindo InstanceConfig.instanceType como object.

Previsão on-line

A capacidade de inferência integrada do BigQuery ML é otimizada para casos de uso de grande escala, como previsão em lote. O BigQuery ML oferece resultados de inferência de baixa latência ao lidar com dados de entrada pequenos, mas é possível fazer previsões on-line mais rápidas usando a integração perfeita com a Vertex AI.

É possível gerenciar modelos do BigQuery ML no ambiente da Vertex AI, o que elimina a necessidade de exportar modelos do BigQuery ML antes de implantá-los como endpoints da Vertex AI. Ao gerenciar modelos na Vertex AI, você tem acesso a todos os recursos de MLOps da Vertex AI, além de recursos como o Feature Store da Vertex AI.

Além disso, você tem a flexibilidade de exportar modelos do BigQuery ML para o Cloud Storage para disponibilidade em outras plataformas de hospedagem de modelos.

A seguir