Che cos'è l'inferenza AI?

Sebbene il ciclo di vita completo dell'AI comprenda tutto, dalla raccolta dei dati al monitoraggio a lungo termine, il percorso centrale di un modello, dalla creazione all'esecuzione, prevede tre fasi chiave. I primi due riguardano l'apprendimento, mentre l'ultimo riguarda l'applicazione di ciò che si è appreso.

• L'addestramento dell'AI è la fase di apprendimento fondamentale. È un processo ad alta intensità di calcolo in cui un modello analizza un set di dati di grandi dimensioni per apprendere pattern e relazioni. L'obiettivo è creare un modello accurato e informato. Ciò richiede potenti acceleratori hardware (come GPU e TPU) e può richiedere da ore a settimane.
• L'ottimizzazione dell'AI è una scorciatoia per l'addestramento. Prende un modello preaddestrato potente e lo adatta a un'attività più specifica utilizzando un set di dati più piccolo e specializzato. Ciò consente di risparmiare tempo e risorse significativi rispetto all'addestramento di un modello da zero.
• L'inferenza AI è la fase di esecuzione. Utilizza il modello addestrato e ottimizzato per fare previsioni rapide su dati nuovi e "mai visti". Ogni singola previsione richiede molte meno risorse di calcolo rispetto all'addestramento, ma la fornitura di milioni di previsioni in tempo reale richiede un'infrastruttura altamente ottimizzata e scalabile.
• La distribuzione dell'AI è il processo di deployment e gestione del modello per l'inferenza. Ciò spesso comporta il packaging del modello, la configurazione di un endpoint API e la gestione dell'infrastruttura per gestire le richieste.

Questa tabella riassume le principali differenze:

L'inferenza AI si basa su 3 passaggi che trasformano i nuovi dati in un output utile. 

Vediamo un semplice esempio: un modello di AI creato per identificare gli oggetti nelle foto.

1. Preparazione dei dati di input: innanzitutto, vengono forniti nuovi dati, ad esempio una foto che hai appena inviato. La foto viene preparata immediatamente per il modello, il che potrebbe significare semplicemente ridimensionarla alle dimensioni esatte su cui è stato addestrato.
2. Esecuzione del modello: il modello di AI analizza la foto preparata. Cerca pattern, come colori, forme e texture, che corrispondono a ciò che ha appreso durante l'addestramento. Questa rapida analisi è chiamata "forward pass", un passaggio di sola lettura in cui il modello applica le sue conoscenze senza apprendere nulla di nuovo.
3. Generazione dell'output: il modello produce un risultato fruibile. Per l'analisi delle foto, potrebbe trattarsi di un punteggio di probabilità (ad esempio, una probabilità del 95% che l'immagine contenga un "cane"). Questo output viene quindi inviato all'applicazione e mostrato all'utente.

Sebbene una singola inferenza sia rapida, servire milioni di utenti in tempo reale aumenta la latenza, i costi e richiede hardware ottimizzato. Le unità di elaborazione grafica (GPU) specializzate per l'AI e le Tensor Processing Unit di Google sono progettate per gestire queste attività in modo efficiente insieme all'orchestrazione con Google Kubernetes Engine, contribuendo ad aumentare il throughput e a ridurre la latenza.

È l'approccio più comune, in cui l'inferenza viene eseguita su potenti server remoti in un data center. Il cloud offre un'immensa scalabilità e risorse di calcolo, il che lo rende ideale per la gestione di set di dati enormi e modelli complessi. All'interno del cloud, in genere esistono 2 modalità principali di inferenza:

• Inferenza in tempo reale (online): elabora le singole richieste istantaneamente quando arrivano, spesso in pochi millisecondi. Questo è fondamentale per le applicazioni interattive che richiedono un feedback immediato.
• Inferenza batch (offline): gestisce grandi volumi di dati tutti in una volta, in genere quando non sono richieste risposte immediate. È un metodo molto conveniente per analisi periodiche o attività pianificate.

Questo approccio esegue l'inferenza direttamente sul dispositivo in cui vengono generati i dati, che potrebbe essere uno smartphone o un sensore industriale. Evitando un round trip al cloud, l'inferenza Edge offre vantaggi unici come quelli che seguono.

• Latenza ridotta: le risposte sono quasi istantanee, il che è fondamentale per applicazioni come i veicoli autonomi o i controlli di produzione in tempo reale.
• Privacy migliorata: i dati sensibili (come scansioni mediche, foto personali, feed video) possono essere elaborati sul dispositivo senza mai essere inviati al cloud.
• Costi di larghezza di banda inferiori: l'elaborazione dei dati a livello locale riduce in modo significativo la quantità di dati che devono essere caricati e scaricati.
• Funzionalità offline: l'applicazione può continuare a funzionare anche senza una connessione a internet, garantendo un funzionamento continuo in ambienti remoti o disconnessi.

Per aiutarti a scegliere l'approccio migliore per le tue esigenze specifiche, ecco un rapido confronto delle caratteristiche principali e dei casi d'uso per ogni tipo di inferenza AI:

Google Cloud offre una suite completa di strumenti e servizi che aiutano gli sviluppatori e le organizzazioni a creare, eseguire il deployment e gestire i workload di inferenza AI in modo efficiente e su larga scala. Le funzionalità di inferenza sono profondamente integrate in molte offerte:

Vertex AI è l'AI Platform unificata di Google Cloud. Fornisce strumenti completi per la creazione, il deployment e la gestione di modelli ML, il che lo rende il servizio di riferimento per la maggior parte delle esigenze di inferenza basata su cloud.