AI Platform Prediction offre due modi per ottenere previsioni dai modelli addestrati: la previsione online (a volte chiamata previsione HTTP) e la previsione batch. In entrambi i casi, passi i dati di input a un modello di machine learning ospitato nel cloud e ricevi inferenze per ogni istanza dati. Le differenze sono mostrate nella seguente tabella:
| Previsione online | Previsione batch |
|---|---|
| Ottimizzato per ridurre al minimo la latenza di elaborazione delle previsioni. | Ottimizzato per gestire un volume elevato di istanze in un job e per eseguire modelli più complessi. |
| Consente di elaborare una o più istanze per richiesta. | Consente di elaborare una o più istanze per richiesta. |
| Previsioni restituite nel messaggio di risposta. | Previsioni scritte in file di output in una località di Cloud Storage da te specificata. |
| Dati di input passati direttamente come stringa JSON. | Dati di input passati indirettamente come uno o più URI di file nelle località di Cloud Storage. |
| Resi al più presto possibile. | Richiesta asincrona. |
|
Gli account con i seguenti ruoli IAM possono richiedere previsioni online: |
Gli account con i seguenti ruoli IAM possono richiedere previsioni batch: |
| Viene eseguito nella versione del runtime e nella regione selezionata al momento del deployment del modello. | Può essere eseguita in qualsiasi regione disponibile, utilizzando la versione 2.1 o precedente del runtime. Tuttavia, per le versioni dei modelli di cui è stato eseguito il deployment, è consigliabile eseguirle con i valori predefiniti. |
| Esegue i modelli di cui è stato eseguito il deployment in AI Platform Prediction. | Esegue i modelli di cui è stato eseguito il deployment in AI Platform Prediction o i modelli archiviati in località Google Cloud Storage accessibili. |
| Configurabile per l'utilizzo di vari tipi di macchine virtuali per i nodi di previsione. |
Se si esegue un modello di cui è stato eseguito il deployment in AI Platform Prediction, è necessario utilizzare il tipo di macchina mls1-c1-m2.
|
| Può fornire previsioni da un saveModel TensorFlow o una routine di previsione personalizzata (beta), nonché da modelli scikit-learn e XGBoost. | Può fornire previsioni da un saveModel TensorFlow. |
| Da 0,045147$a 0,151962 $per ora nodo (Americhe). Il prezzo dipende dalla selezione del tipo di macchina. | 0,0791205$per ora nodo (Americhe). |
Le esigenze della tua applicazione determinano il tipo di previsione da utilizzare.
In genere è consigliabile utilizzare la previsione online quando si effettuano richieste in risposta all'input dell'applicazione o in altre situazioni in cui è necessaria un'inferenza tempestiva.
La previsione batch è ideale per l'elaborazione dei dati accumulati quando non hai bisogno di risultati immediati. Ad esempio, un job periodico che riceve previsioni per tutti i dati raccolti dall'ultimo job.
Inoltre, dovresti tenere conto delle potenziali differenze nei costi di previsione.
Latenza previsione batch
Se utilizzi un modello semplice e un piccolo insieme di istanze di input, noterai che c'è una notevole differenza tra il tempo necessario per completare le richieste di previsione identiche utilizzando la previsione online e quella batch. Potrebbero essere necessari diversi minuti per completare le previsioni che vengono restituite quasi istantaneamente da una richiesta online in un job batch. Questo è un effetto collaterale della diversa infrastruttura utilizzata dai due metodi di previsione. Il servizio AI Platform Prediction alloca e inizializza le risorse per un job di previsione batch quando invii la richiesta. La previsione online è in genere pronta per l'elaborazione al momento della richiesta.
Passaggi successivi
Per ulteriori informazioni sulle previsioni, consulta la panoramica delle previsioni.
In alternativa, passa a creare previsioni online o creare previsioni batch.