• Elaborazione asincrona: le previsioni vengono generate in base a una pianificazione predefinita (ad esempio, oraria, giornaliera) o su richiesta, non in tempo reale man mano che arrivano nuovi dati
• Velocità effettiva elevata: il sistema è ottimizzato per elaborare un numero elevato di punti dati in una singola esecuzione, il che lo rende altamente efficiente
• Convenienza: eseguendo le operazioni in base a una pianificazione, puoi utilizzare le risorse di computing quando sono più disponibili o meno costose, riducendo in modo significativo i costi operativi
• Tolleranza alla latenza: l'ipotesi principale è che l'applicazione che consuma le previsioni non necessiti di una risposta immediata; è accettabile un ritardo di minuti o ore tra la raccolta dei dati e la generazione delle previsioni

La scelta tra inferenza batch e online è una decisione architettonica fondamentale nella progettazione di un sistema di machine learning. Ogni approccio ha uno scopo diverso ed è ottimizzato per caratteristiche di prestazioni diverse.

Una pipeline di inferenza batch è un flusso di lavoro strutturato e automatizzato che sposta i dati dal loro stato non elaborato a previsioni utilizzabili. Il processo può essere suddiviso in questi passaggi chiave, che in genere vengono orchestrati da un gestore del flusso di lavoro o da un sistema di pianificazione.

Il processo inizia con l'accumulo di dati nel tempo. Questi dati di input, che possono includere log delle attività degli utenti, record delle transazioni o letture dei sensori, vengono raccolti da varie fonti e inseriti in una posizione di archiviazione centralizzata. Spesso si tratta di un data lake basato su un servizio come Google Cloud Storage o un data warehouse come BigQuery.

La pipeline di inferenza viene avviata da un trigger. Questo trigger può essere:

• Basata sul tempo: uno scheduler (come un cron job) avvia il job a intervalli regolari, ad esempio ogni notte all'1:00.
• Basato su eventi: il job viene avviato in risposta a un evento specifico, ad esempio l'arrivo di un nuovo file di dati in un bucket Cloud Storage

Una volta attivato, il job carica l'intero batch di dati di input non elaborati. Quindi esegue i passaggi di pre-elaborazione e feature engineering necessari per trasformare i dati nel formato preciso previsto dal modello di machine learning. Può includere attività come la pulizia dei valori mancanti, il ridimensionamento delle caratteristiche numeriche e la codifica delle variabili categoriche.

Il sistema recupera il modello di machine learning addestrato da un repository centrale, come Vertex AI Model Registry. Il batch di dati pre-elaborato viene quindi inserito nel modello, che esegue l'inferenza su ogni singola osservazione nel set per generare una previsione corrispondente.

L'output del modello, ovvero la raccolta di previsioni, viene quindi scritto in un sistema di archiviazione. La scelta della destinazione dipende da come verranno utilizzate le previsioni. Le destinazioni comuni includono il caricamento dei risultati in una tabella BigQuery per l'analisi, in un database Cloud SQL per ricerche rapide da parte di un'applicazione o il salvataggio come file in Cloud Storage.

Ora che le previsioni sono archiviate e pronte, i sistemi downstream possono utilizzarle. Uno strumento di business intelligence potrebbe eseguire una query sui risultati per creare una dashboard del comportamento previsto dei clienti. Il backend di un'applicazione web potrebbe caricare i consigli sui prodotti precalcolati da mostrare agli utenti oppure una piattaforma di automazione del marketing potrebbe estrarre un elenco di clienti che si prevede abbandoneranno il servizio per indirizzarli con una nuova campagna.

L'inferenza in batch è il metodo preferito per molti processi aziendali di base in cui le previsioni migliorano un prodotto o un servizio senza la necessità di essere generate in tempo reale. Questo approccio può essere molto efficace in vari settori per risolvere problemi di dati su larga scala.

Vertex AI è la piattaforma di machine learning gestita di Google Cloud e fornisce un approccio semplificato e serverless per l'inferenza batch. Il processo si concentra sulla configurazione di un job e sulla gestione dell'infrastruttura sottostante da parte della piattaforma.

Prima di iniziare, ti servono tre elementi chiave:

• Un modello addestrato, che deve essere caricato nel Vertex AI Model Registry
• I dati di input, formattati come richiesto dal modello, devono trovarsi in Google Cloud Storage (ad esempio, come file JSON o CSV) o in una tabella BigQuery.
• Una posizione di destinazione per l'output, che sarà anche un bucket Cloud Storage o una tabella BigQuery

Puoi avviare il job tramite la console Google Cloud, lo strumento a riga di comando gcloud o a livello di programmazione utilizzando SDK Vertex AI. Quando crei il job, devi fornire la seguente configurazione:

• Il modello specifico del registro dei modelli che vuoi utilizzare
• Il percorso dei dati di input e la posizione dei risultati di output
• Il tipo di macchina e l'acceleratore (ad esempio, GPU) che vuoi utilizzare per il job; questo ti consente di bilanciare costi e prestazioni

Una volta inviato il job, Vertex AI prende il sopravvento. Esegue automaticamente il provisioning delle risorse di computing specificate, esegue i dati di input attraverso il modello, genera le previsioni e le salva nella posizione di output designata. Al termine del job, Vertex AI ridimensiona automaticamente tutte le risorse a zero, in modo che tu paghi solo per il tempo di calcolo che utilizzi. Puoi monitorare l'avanzamento del job e visualizzare i log direttamente nella console Google Cloud.

Quando lo stato del job diventa "Riuscito", le previsioni sono pronte. I file di output in Cloud Storage o la nuova tabella in BigQuery sono ora accessibili alle applicazioni downstream, agli strumenti di analisi o alle dashboard di BI.