Ottenere previsioni da un modello con addestramento personalizzato

Una previsione è l'output di un modello di machine learning addestrato. Questa pagina offre una panoramica del flusso di lavoro per ottenere previsioni dai modelli su Vertex AI.

Vertex AI offre due metodi per ottenere previsioni:

  • Le previsioni online sono richieste sincrone effettuate a un modello di cui è stato eseguito il deployment endpoint Pertanto, prima di inviare una richiesta, devi prima eseguire il deployment della risorsa Model in un endpoint. In questo modo, le risorse di calcolo vengono associate al modello in modo che possa fornire previsioni online con bassa latenza. Utilizza le predizioni online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva.

  • Batch Le previsioni sono richieste asincrone effettuate a un modello che non è il deployment in un endpoint. Invia la richiesta (come BatchPredictionsJob risorsa) direttamente alla risorsa Model. Usa batch le previsioni quando non hai bisogno di una risposta immediata e vuoi elaborare dati accumulati attraverso una singola richiesta.

Testa il tuo modello localmente

Prima di ottenere le previsioni, è utile eseguire il deployment del modello in un endpoint locale durante la fase di sviluppo e test. In questo modo puoi eseguire l'iterazione più rapidamente e testare il modello senza eseguirlo in un endpoint online o senza costi di previsione. Il deployment locale è destinato allo sviluppo e ai test locali, non ai deployment di produzione.

Per eseguire il deployment di un modello in locale, utilizza l'SDK Vertex AI per Python ed esegui il deployment di un LocalModel in un LocalEndpoint. Per una dimostrazione, vedi questo un blocco note personalizzato.

Anche se il client non è scritto in Python, puoi comunque utilizzare l'SDK Vertex AI per Python per avviare il contenitore e il server in modo da poter testare le richieste dal client.

Ricevi previsioni da modelli addestrati personalizzati

Per ottenere le previsioni, devi prima importare il modello. Dopo l'importazione, diventa un Model risorsa visibile in Vertex AI Model Registry.

Poi, leggi la seguente documentazione per scoprire come ottenere le previsioni:

Passaggi successivi