Che cos'è un workload di AI?

I workload di AI e ML possono essere ampiamente suddivisi in due modi

• Fase del ciclo di vita dell'AI che rappresentano (come la pre-elaborazione dei dati, l'addestramento e l'inferenza)
• Tipo di attività che svolgono (come l'elaborazione del linguaggio naturale o la visione artificiale)

Comprendere questi tipi aiuta i responsabili delle decisioni tecniche a pianificare l'infrastruttura specifica, la potenza di calcolo e le strategie di orchestrazione che ognuno richiede.

I carichi di lavoro di AI sono al centro della trasformazione digitale, fornendo applicazioni reali e di grande impatto in quasi tutti i settori, trasformando i dati in valore pratico.

I workload di AI possono alimentare motori di suggerimenti per aziende di vendita al dettaglio, e-commerce e media. Ad esempio, una società di streaming utilizza un sofisticato modello di ML, addestrato su miliardi di abitudini di visione, per fornire suggerimenti di contenuti altamente personalizzati.

I produttori distribuiscono sensori su apparecchiature critiche, generando enormi quantità di dati di serie temporali. I carichi di lavoro di AI possono analizzare continuamente questi dati per prevedere guasti meccanici con giorni o settimane di anticipo, consentendo una manutenzione programmata.

Gli istituti finanziari utilizzano i carichi di lavoro di machine learning per analizzare milioni di transazioni in tempo reale. Questi modelli possono identificare pattern indicativi di frode, con alcuni sistemi che rilevano transazioni non autorizzate con un alto grado di accuratezza e un basso tasso di falsi positivi.

I carichi di lavoro di computer vision vengono utilizzati per analizzare immagini mediche come radiografie, TAC e risonanze magnetiche. Questi modelli di AI possono segnalare potenziali anomalie, come i tumori in fase iniziale, spesso con una velocità e una coerenza che aiutano i medici a formulare diagnosi più rapide e accurate.

I carichi di lavoro basati su modelli di AI generativa stanno contribuendo a trasformare i settori creativi e tecnici. Vengono utilizzati per generare automaticamente testi di marketing, sintetizzare immagini realistiche per la pubblicità, creare riassunti di riunioni virtuali o persino assistere gli sviluppatori suggerendo e completando blocchi di codice.

Il deployment di un modello di machine learning addestrato per l'inferenza può essere un passaggio fondamentale per la messa in produzione di un carico di lavoro di AI. Vertex AI semplifica questo processo fornendo servizi gestiti che si occupano dell'infrastruttura sottostante.

Carica il modello addestrato nel registro dei modelli

• Il primo passaggio consiste nel prendere l'artefatto del modello addestrato e caricarlo nel Vertex AI Model Registry. Questo repository centrale archivia e versiona i tuoi modelli in modo sicuro, rendendoli pronti per il deployment.

Crea un endpoint gestito

• Successivamente, crei un endpoint, ovvero un server HTTP dedicato in tempo reale per il tuo modello. Questo endpoint è l'URL che le tue applicazioni chiameranno per ottenere le previsioni. Definisci il tipo di risorse di computing che utilizzerà, ad esempio una macchina CPU N1 o un tipo specifico di GPU per prestazioni accelerate.

Esegui il deployment del modello nell'endpoint

• Dopo aver creato l'endpoint, devi eseguirvi il deployment di una versione specifica del modello. Questo passaggio prevede la specifica dell'immagine container che include il modello e il codice del server di previsione (spesso un'immagine predefinita fornita da Vertex AI). Configuri anche le suddivisioni del traffico, che ti consentono di testare una nuova versione del modello con una piccola percentuale di traffico live prima di implementarla completamente.

Inviare e ricevere previsioni online

• Una volta eseguito il deployment, il modello è disponibile per la previsione online. La tua applicazione invia i dati di input (il payload) tramite una richiesta HTTP all'URL dell'endpoint e il servizio gestito gestisce il carico di lavoro di inferenza, restituendo la previsione o il risultato in tempo quasi reale.

Monitora e governa l'endpoint

• Il passaggio finale è il monitoraggio continuo. Utilizzi gli strumenti integrati di Vertex AI per monitorare l'integrità dell'endpoint (latenza, tassi di errore, utilizzo delle risorse) e le prestazioni del modello stesso (drift, asimmetria e qualità della previsione) per garantire che il carico di lavoro di inferenza rimanga affidabile e accurato nel tempo.