Receber previsões de um modelo treinado personalizado

Uma previsão é a saída de um modelo de machine learning treinado. Nesta página, fornecemos uma visão geral do fluxo de trabalho para receber previsões dos seus modelos na Vertex AI.

A Vertex AI oferece dois métodos para receber previsões:

  • As previsões on-line são solicitações síncronas feitas a um modelo que é implantado em um endpoint. Portanto, antes de enviar uma solicitação, você precisa implantar o recurso Model em um endpoint. Isso associa recursos de computação ao modelo para que ele possa exibir predições on-line com baixa latência. Use as previsões on-line ao fazer solicitações em resposta a uma entrada de aplicativo ou em situações que exigem inferência em tempo hábil.

  • Predições em lote são solicitações assíncronas feitas para um modelo que não está implantado em um endpoint. Você envia a solicitação (como um recurso BatchPredictionsJob) diretamente ao recurso Model. Use as previsões em lote quando não precisar de uma resposta imediata e quiser processar dados acumulados com uma única solicitação.

Testar o modelo localmente

Antes de receber predições, é útil implantar o modelo em um endpoint local durante a fase de desenvolvimento e teste. Isso permite que você itere com mais rapidez e teste seu modelo sem implantá-lo em um endpoint on-line ou gerar custos de previsão. A implantação local é destinada ao desenvolvimento e teste locais, não às implantações de produção.

Para implantar um modelo localmente, use o SDK da Vertex AI para Python e implante um LocalModel em um LocalEndpoint. Para ver uma demonstração, consulte este notebook.

Mesmo que seu cliente não esteja escrito em Python, ainda será possível usar o SDK da Vertex AI para Python para iniciar o contêiner e o servidor. Assim, será possível testar as solicitações do cliente.

Receba previsões de modelos treinados personalizados

Para receber previsões, primeiro importe seu modelo. Depois de importada, ela se torna um recurso Model visível no Vertex AI Model Registry.

Em seguida, leia a seguinte documentação para saber como receber previsões:

A seguir