Questo documento del Framework di architettura: prospettiva IA e ML fornisce una panoramica di principi e consigli per ottimizzare il costo degli impianti di IA durante il ciclo di vita del ML. Adottando un approccio proattivo e consapevole alla gestione dei costi, la tua organizzazione può sfruttare tutto il potenziale dei sistemi di IA e ML e mantenere la disciplina finanziaria. I consigli contenuti in questo documento sono in linea con il pilastro di ottimizzazione dei costi del framework di architettura.
I sistemi di AI e ML possono aiutarti a ricavare informazioni preziose e funzionalità predittive dai dati. Ad esempio, puoi ridurre le difficoltà nei processi interni, migliorare le esperienze utente, e ottenere informazioni più approfondite sui clienti. Il cloud offre enormi quantità di risorse e un rapido time to value senza grandi investimenti iniziali per i carichi di lavoro di IA e ML. Per massimizzare il valore aziendale e allineare la spesa agli obiettivi commerciali, devi comprendere i fattori che influiscono sui costi, ottimizzarli in modo proattivo, impostare controlli della spesa e adottare le pratiche di FinOps.
Definire e misurare costi e ritorni
Per gestire in modo efficace i costi di IA e ML in Google Cloud, devi definire e misurare le spese per le risorse cloud e il valore aziendale delle tue iniziative di IA e ML. Google Cloud fornisce strumenti completi per la gestione della fatturazione e dei costi per aiutarti a monitorare le spese in modo granulare. Le metriche sul valore dell'attività che puoi misurare includono la soddisfazione del cliente, le entrate e i costi operativi. Stabilendo metriche concrete sia per i costi sia per il valore aziendale, puoi prendere decisioni consapevoli sull'allocazione e sull'ottimizzazione delle risorse.
Prendi in considerazione i seguenti consigli:
- Stabilisci obiettivi commerciali chiari e indicatori chiave di prestazione (KPI) per i tuoi progetti di IA e ML.
- Utilizza i dati di fatturazione forniti da Google Cloud per implementare procedimenti di monitoraggio e generazione di report sui costi che possono aiutarti ad attribuire i costi a attività di AI e ML specifiche.
- Stabilisci dashboard, sistemi di avviso e report per monitorare i costi e gli utili rispetto ai KPI.
Ottimizza l'allocazione delle risorse
Per ottenere un'efficienza in termini di costi per i tuoi carichi di lavoro di IA e ML in Google Cloud, devi ottimizzare l'allocazione delle risorse. Allineando attentamente l'allocazione delle risorse alle esigenze dei tuoi carichi di lavoro, puoi evitare spese inutili e assicurarti che i tuoi sistemi di AI e ML dispongano delle risorse necessarie per funzionare in modo ottimale.
Prendi in considerazione i seguenti consigli:
- Utilizza la scalabilità automatica per regolare dinamicamente le risorse per l'addestramento e l'inferenza.
- Inizia con modelli e dati di piccole dimensioni. Risparmia sui costi testando le ipotesi su scala ridotta, se possibile.
- Scopri le tue esigenze di calcolo tramite la sperimentazione. Scegli le risorse di addestramento e pubblicazione di dimensioni adeguate in base ai tuoi requisiti di ML.
- Adotta pratiche MLOps per ridurre la duplicazione, le procedure manuali e la allocazione inefficiente delle risorse.
Applicare pratiche di gestione e governance dei dati
Pratiche efficaci di gestione e governance dei dati svolgono un ruolo fondamentale nell'ottimizzazione dei costi. I dati ben organizzati aiutano la tua organizzazione a evitare duplicazioni non necessarie, riducono lo sforzo necessario per ottenere dati di alta qualità e incoraggiano i team a riutilizzare i set di dati. Gestendo i dati in modo proattivo, puoi ridurre i costi di archiviazione, migliorare la qualità dei dati e assicurarti che i tuoi modelli di ML vengano addestrati e funzionino sui dati più pertinenti e importanti.
Prendi in considerazione i seguenti consigli:
- Stabilisci e adotta un framework di governance dei dati ben definito.
- Applica etichette e metadati pertinenti ai set di dati al momento dell'importazione dei dati.
- Assicurati che i set di dati siano rilevabili e accessibili nell'intera organizzazione.
- Rendi i tuoi set di dati e le tue funzionalità riutilizzabili durante tutto il ciclo di vita dell'apprendimento automatico, ove possibile.
Automatizza e semplifica con MLOps
Un vantaggio principale dell'adozione di pratiche MLOps è la riduzione dei costi, sia dal punto di vista tecnologico sia in termini di attività del personale. L'automazione consente di evitare la duplicazione delle attività di ML e di migliorare la produttività di data scientist e ML engineer.
Prendi in considerazione i seguenti consigli:
- Aumenta il livello di automazione e standardizzazione delle tue tecnologie di raccolta ed elaborazione dei dati per ridurre il tempo e l'impegno di sviluppo.
- Sviluppare pipeline di addestramento automatico per ridurre la necessità di interventi manuali e aumentare la produttività degli ingegneri. Implementa meccanismi per consentire alle pipeline di riutilizzare asset esistenti come set di dati preparati e modelli addestrati.
- Utilizza i servizi di valutazione e ottimizzazione del modello in Google Cloud per aumentare le prestazioni del modello con meno iterazioni. In questo modo, i tuoi team di AI e ML possono raggiungere più obiettivi in meno tempo.
Utilizza servizi gestiti e modelli preaddestrati o esistenti
Esistono molti approcci per raggiungere gli obiettivi commerciali utilizzando l'IA e il ML. Adotta un approccio incrementale alla selezione e allo sviluppo dei modelli. In questo modo, eviterai costi eccessivi associati al dover ricominciare da capo ogni volta. Per controllare i costi, inizia con un approccio semplice: utilizza framework ML, servizi gestiti e modelli pre-addestrati.
Prendi in considerazione i seguenti consigli:
- Consenti esperimenti di ML esplorativi e rapidi utilizzando gli ambienti di notebook.
- Utilizza i modelli esistenti e pre-addestrati come punto di partenza per accelerare il processo di selezione e sviluppo dei modelli.
- Utilizza i servizi gestiti per addestrare o pubblicare i tuoi modelli. Sia AutoML sia i servizi di addestramento dei modelli personalizzati gestiti possono contribuire a ridurre il costo dell'addestramento dei modelli. I servizi gestiti possono anche aiutarti a ridurre il costo dell'infrastruttura di pubblicazione dei modelli.
Promuovi una cultura di consapevolezza dei costi e ottimizzazione continua
Favorisci un ambiente collaborativo che incoraggi la comunicazione e le revisioni regolari. Questo approccio aiuta i team a identificare e implementare opportunità di risparmio nei vari stadi del ciclo di vita dell'apprendimento automatico.
Prendi in considerazione i seguenti consigli:
- Adotta principi di FinOps durante il ciclo di vita del ML.
- Assicurati che a tutti i costi e ai vantaggi commerciali dei progetti di IA e ML siano assegnati proprietari con responsabilità chiare.
Collaboratori
Autori:
- Isaac Lo | Business Development Manager per l'IA
- Filipe Gracio, PhD | Customer Engineer
Altri collaboratori:
- Kumar Dhanagopal | Sviluppatore di soluzioni cross-product
- Marwan Al Shawi | Partner Customer Engineer
- Nicolas Pintaux | Customer Engineer, specialista in modernizzazione delle applicazioni