I dati reali sono lo standard per l'accuratezza, ma possono essere costosi da raccogliere, spesso disordinati o incompleti e fortemente limitati da leggi sulla privacy come il GDPR o l'HIPAA. La raccolta di dati reali può richiedere mesi o anni.

I dati sintetici, d'altra parte, possono essere meno costosi da scalare. Puoi generare milioni di record in poche ore. È perfettamente etichettato (poiché è stato creato dal computer, sa esattamente cosa ha creato) ed è conforme alla privacy fin dalla progettazione. Inoltre, i dati sintetici possono essere bilanciati per rimuovere i bias naturali che si trovano spesso nelle raccolte del mondo reale.

Per gli sviluppatori, il modo più rapido per generare un set di dati sintetico di piccole o medie dimensioni (ad esempio per test unitari o demo semplici) spesso non è quello di addestrare una GAN complessa, ma di sfruttare le capacità generative dei modelli linguistici di grandi dimensioni (LLM). Queste funzionalità ora sono unificate in Gemini Enterprise Agent Platform (in precedenza Vertex AI). Questa piattaforma fornisce un ambiente completo per creare, eseguire il deployment e scalare modelli di machine learning, incluso l'accesso a modelli potenti come Gemini.

In questa procedura dettagliata utilizzeremo l'SDK della piattaforma per agenti (in precedenza SDK Vertex AI) per Python e Gemini per generare da zero un set di dati sintetico di "transazioni dei clienti". Immagina di essere uno sviluppatore che sta creando una dashboard di tecnologia finanziaria. Hai bisogno di 50 righe di "dati sulle transazioni" per testare il frontend.

Hai bisogno di campi specifici:transaction_id, timestamp, amount, merchant_category e is_fraud.

Innanzitutto, assicurati di aver installato l'SDK Agent Platform nel tuo ambiente Python. Sebbene la piattaforma sia stata rinominata, il pacchetto Python rimane google-cloud-aiplatform.

Importa la libreria e inizializzala con i dettagli del tuo progetto. Questa configurazione è standard per l'utilizzo dei modelli Gemini tramite l'SDK Agent Platform all'interno di Gemini Enterprise Agent Platform.

La qualità dei dati sintetici di un LLM dipende in gran parte dal prompt. Devi essere specifico riguardo allo schema, ai vincoli (ad esempio, nessun numero negativo) e al formato di output (CSV o JSON). Istruzioni chiare e specifiche sono fondamentali per un'efficace progettazione dei prompt con i modelli Gemini su Gemini Enterprise Agent Platform.

Invia il prompt al modello e carica la risposta direttamente in un DataFrame Pandas. Il metodo generate_content fa parte dell'SDK Agent Platform.

L'utilizzo di un LLM generico come Gemini per i dati tabulari sintetici è spesso più veloce dell'addestramento di un modello statistico personalizzato (come un VAE) quando sono necessari solo dati "plausibili" per testare la funzionalità del software.

• Velocità: i dati sono disponibili in pochi secondi
• Flessibilità:puoi modificare lo schema semplicemente modificando il prompt di testo
• Logica: puoi chiedere al modello di incorporare una logica complessa (ad esempio, "Se il commerciante è 'Viaggi', l'importo deve essere superiore a 100 $"), cosa difficile da fare con semplici randomizzatori

*Nota per la scalabilità aziendale: se devi generare milioni di righe che clonano statisticamente un enorme set di dati privati esistente, probabilmente passerai dal semplice prompting LLM all'utilizzo di Gemini Enterprise Agent Platform Pipelines (in precedenza Vertex AI Pipelines) integrato con partner specializzati come Gretel.ai o MOSTLY AI, disponibili direttamente in Google Cloud Marketplace. Questi flussi di lavoro avanzati possono essere orchestrati e gestiti all'interno della più ampia Gemini Enterprise Agent Platform.