AI Platform Prediction offre due modi per ottenere previsioni dai modelli addestrati: previsione online (a volte chiamata previsione HTTP) e previsione batch. In entrambi i casi, passi i dati di input a un modello di machine learning ospitato sul cloud e ottieni deduzioni per ogni istanza di dati. Le differenze sono riportate nella tabella seguente:
| Previsione online | Previsione batch |
|---|---|
| Ottimizzato per ridurre al minimo la latenza della pubblicazione delle previsioni. | Ottimizzato per gestire un elevato volume di istanze in un job ed eseguire modelli più complessi. |
| Può elaborare una o più istanze per richiesta. | Può elaborare una o più istanze per richiesta. |
| Le previsioni restituite nel messaggio di risposta. | Le previsioni scritte nei file di output in una posizione Cloud Storage specificata. |
| Dati di input passati direttamente come stringa JSON. | Dati di input trasmessi indirettamente come uno o più URI di file nelle posizioni Cloud Storage. |
| Restituisce il prima possibile. | Richiesta asincrona. |
|
Gli account con i seguenti ruoli IAM possono richiedere previsioni online: |
Gli account con i seguenti ruoli IAM possono richiedere previsioni collettive: |
| Viene eseguito nella versione di runtime e nella regione selezionata quando esegui il deployment del modello. | Può essere eseguito in qualsiasi regione disponibile utilizzando la versione 2.1 o precedenti del runtime. Tuttavia, dovresti eseguire il comando con i valori predefinite per le versioni del modello distribuite. |
| Esegue i modelli di cui è stato eseguito il deployment in AI Platform Prediction. | Esegue i modelli di cui è stato eseguito il deployment in AI Platform Prediction o memorizzati in posizioni di Google Cloud Storage accessibili. |
| Configurabile per utilizzare vari tipi di macchine virtuali per i nodi di previsione. |
Se esegui un modello di cui è stato eseguito il deployment in AI Platform Prediction, devi utilizzare il
mls1-c1-m2
tipo di macchina.
|
| Può fornire previsioni da un modello SavedModel di TensorFlow o da una routine di previsione personalizzata (beta), nonché da modelli di scikit-learn e XGBoost. | Può fornire previsioni da un SavedModel di TensorFlow. |
| Da 0,045147$a 0,151962 $per ora nodo (Americhe). Il prezzo dipende dal tipo di macchina selezionato. | 0,0791205$per ora nodo (Americhe). |
Le esigenze della tua applicazione determinano il tipo di previsione da utilizzare.
In genere, devi utilizzare la previsione online quando effettui richieste in risposta all'input dell'applicazione o in altre situazioni in cui è necessaria un'inferenza tempestiva.
La previsione batch è ideale per l'elaborazione dei dati accumulati quando non hai bisogno di risultati immediati. Ad esempio, un job periodico che genera previsioni per tutti i dati raccolti dall'ultimo job.
Inoltre, devi prendere in considerazione le potenziali differenze nei costi di previsione.
Latenza della previsione batch
Se utilizzi un modello semplice e un piccolo insieme di istanze di input, noterai che esiste una differenza considerevole tra il tempo necessario per completare richieste di previsione identiche utilizzando la previsione online rispetto alla previsione batch. Un job batch potrebbe richiedere diversi minuti per completare le previsioni restituite quasi istantaneamente da una richiesta online. Si tratta di un effetto collaterale della diversa infrastruttura utilizzata dai due metodi di previsione. AI Platform Prediction alloca e inizializza le risorse per un job di previsione batch quando invii la richiesta. In genere, la previsione online è pronta per l'elaborazione al momento della richiesta.
Passaggi successivi
Per ulteriori informazioni sulle previsioni, consulta la panoramica delle previsioni.
In alternativa, vai alla sezione su come eseguire previsioni online o eseguire previsioni batch.