Visão geral da inferência de modelos
Neste documento, descrevemos os tipos de inferência em lote compatíveis com o BigQuery ML, que incluem o seguinte:
A inferência de machine learning é o processo de execução de pontos de dados em um modelo de machine learning para calcular uma saída, como uma única pontuação numérica. Esse processo também é conhecido como "operar um modelo de machine learning" ou "colocar um modelo de machine learning em produção".
Previsão em lote
Nas seções a seguir, descrevemos as maneiras disponíveis de realizar a previsão no BigQuery ML.
Inferência usando modelos treinados do BigQuery ML
A predição no BigQuery ML é usada não apenas para modelos de aprendizado supervisionado, mas também não supervisionados.
O BigQuery ML é compatível com funcionalidades de previsão por meio da função ML.PREDICT
com os seguintes modelos:
Categoria do modelo | Tipos de modelos | O que ML.PREDICT faz |
---|---|---|
Aprendizado supervisionado |
Regressão linear e logística Árvores aprimoradas Floresta aleatória Redes neurais profundas Amplitude e profundidade Tabelas do AutoML |
Prever o rótulo, seja um valor numérico para tarefas de regressão ou um valor categórico para tarefas de classificação. |
Aprendizado não supervisionado | K-means | Atribua o cluster à entidade. |
PCA | Aplique a redução de dimensionalidade à entidade transformando-a no espaço estendido pelos autovetores. | |
Codificador automático | Transforme a entidade no espaço incorporado. |
Inferência usando modelos importados
Com essa abordagem, você cria e treina um modelo fora do BigQuery, importa-o usando a instrução CREATE MODEL
e, em seguida, executa a inferência usando a
função ML.PREDICT
.
Todo o processamento de inferência ocorre no BigQuery, usando dados do BigQuery. Os modelos importados podem realizar aprendizado supervisionado ou não supervisionado.
O BigQuery ML é compatível com os seguintes tipos de modelos importados:
- Open Neural Network Exchange (ONNX) para modelos treinados no PyTorch, scikit-learn e outros frameworks de ML famosos.
- TensorFlow
- TensorFlow Lite
- XGBoost
Use essa abordagem para usar modelos personalizados desenvolvidos com uma variedade de frameworks de ML e aproveitar a velocidade de inferência e a colocalização do BigQuery ML com dados.
Para saber mais, siga um dos seguintes tutoriais:
- Fazer previsões com os modelos importados do TensorFlow
- Fazer previsões com modelos do scikit-learn no formato ONNX
- Fazer previsões com modelos PyTorch no formato ONNX
Inferência usando modelos remotos
Com essa abordagem, você pode criar uma referência a um modelo hospedado emPrevisão da Vertex AI
usando a
declaração CREATE MODEL
e, em seguida, executar a inferência usando a função ML.PREDICT
.
Todo o processamento de inferência ocorre na Vertex AI usando dados
do BigQuery. Os modelos remotos podem realizar aprendizado supervisionado ou não supervisionado.
Use essa abordagem para executar a inferência em modelos grandes que exigem o suporte de hardware da GPU fornecido pela Vertex AI. Se a maioria dos seus modelos for hospedada pela Vertex AI, isso também permitirá que você execute inferência nesses modelos usando SQL, sem precisar criar pipelines de dados manualmente para enviar dados à Vertex AI e gerar previsão de volta ao BigQuery.
Para instruções passo a passo, consulte Fazer previsões com modelos remotos na Vertex AI.
Previsão on-line
A capacidade de inferência integrada do BigQuery ML é otimizada para casos de uso de grande escala, como previsão em lote. O BigQuery ML oferece resultados de inferência de baixa latência ao lidar com dados de entrada pequenos, mas é possível fazer previsões on-line mais rápidas usando a integração perfeita com a Vertex AI.
É possível gerenciar modelos do BigQuery ML no ambiente da Vertex AI, o que elimina a necessidade de exportar modelos do BigQuery ML antes de implantá-los como endpoints da Vertex AI. Ao gerenciar modelos na Vertex AI, você tem acesso a todos os recursos de MLOps da Vertex AI, além de recursos como o Feature Store da Vertex AI.
Além disso, você tem a flexibilidade de exportar modelos do BigQuery ML para o Cloud Storage para disponibilidade em outras plataformas de hospedagem de modelos.
A seguir
- Para mais informações sobre como usar modelos da Vertex AI para gerar texto e embeddings, consulte Visão geral da IA generativa.
- Para mais informações sobre como usar as APIs do Cloud AI para executar tarefas de IA, consulte Visão geral do aplicativo de IA.
- Para mais informações sobre tipos de modelos compatíveis e funções SQL para cada tipo de inferência, consulte a Jornada do usuário completa de cada modelo.