Les données réelles sont la référence en matière de justesse, mais leur collecte peut être coûteuse. Elles sont souvent désordonnées ou incomplètes, et strictement limitées par les lois sur la confidentialité comme le RGPD ou la loi HIPAA. La collecte de données réelles peut également prendre des mois, voire des années.

Les données synthétiques, quant à elles, peuvent être moins coûteuses à mettre à l'échelle. Vous pouvez générer des millions d'enregistrements en quelques heures. Ils sont parfaitement étiquetés (puisque l'ordinateur les a créés, il sait exactement ce qu'il a créé) et respecte la confidentialité dès sa conception. De plus, les données synthétiques peuvent être équilibrées pour supprimer les biais naturels souvent présents dans les collections réelles.

Pour les développeurs, le moyen le plus rapide de générer un ensemble de données synthétique de petite ou moyenne taille (par exemple, pour des tests unitaires ou des démonstrations simples) n'est souvent pas d'entraîner un GAN complexe, mais d'exploiter les capacités génératives des grands modèles de langage (LLM). Ces fonctionnalités sont désormais unifiées dans Gemini Enterprise Agent Platform (anciennement Vertex AI). Cette plate-forme fournit un environnement complet pour créer, déployer et faire évoluer des modèles de machine learning, y compris l'accès à des modèles puissants comme Gemini.

Dans ce tutoriel, nous allons utiliser le SDK Agent Platform (anciennement SDK Vertex AI) pour Python et Gemini afin de générer de toutes pièces un ensemble de données synthétiques de "transactions client". Imaginez que vous êtes un développeur qui crée un tableau de bord pour une entreprise dans le domaine des fintech. Vous avez besoin de 50 lignes de "données de transaction" pour tester votre interface.

Vous avez besoin des champs suivants : transaction_id, timestamp, amount, merchant_category et is_fraud.

Tout d'abord, assurez-vous que le SDK Agent Platform est installé dans votre environnement Python. Bien que la plate-forme ait été rebaptisée, le package Python est toujours google-cloud-aiplatform.

Importez la bibliothèque et initialisez-la avec les détails de votre projet. Il s'agit de la configuration standard pour l'utilisation de modèles Gemini via le SDK Agent Platform dans Gemini Enterprise Agent Platform.

La qualité des données synthétiques générées par un LLM dépend fortement de votre prompt. Vous devez être précis sur le schéma, les contraintes (par exemple, pas de nombres négatifs) et le format de sortie (CSV ou JSON). Des instructions claires et spécifiques sont essentielles pour des prompts engineering efficaces avec les modèles Gemini sur Gemini Enterprise Agent Platform.

Envoyez le prompt au modèle et chargez la réponse directement dans un DataFrame Pandas. La méthode generate_content fait partie du SDK Agent Platform.

L'utilisation d'un LLM à usage général comme Gemini pour générer des données tabulaires synthétiques est souvent plus rapide que l'entraînement d'un modèle statistique personnalisé (comme un VAE) lorsque vous n'avez besoin que de données "plausibles" pour tester les fonctionnalités d'un logiciel.

• Vitesse : vous obtenez des données en quelques secondes.
• Flexibilité : vous pouvez modifier le schéma en modifiant simplement le prompt textuel.
• Logique : vous pouvez demander au modèle d'intégrer une logique complexe (par exemple, "Si le marchand est 'Voyage', le montant doit être supérieur à 100 $"), ce qui est difficile à faire avec de simples outils de randomisation.

*Remarque pour une utilisation à l'échelle de l'entreprise : Si vous devez générer des millions de lignes qui clonent statistiquement un ensemble de données privé volumineux, vous passerez probablement d'un simple prompt LLM à l'utilisation de pipelines Gemini Enterprise Agent Platform (anciennement Vertex AI Pipelines) intégrés à des partenaires spécialisés comme Gretel.ai ou MOSTLY AI, qui sont disponibles directement sur Google Cloud Marketplace. Ces workflows avancés peuvent être orchestrés et gérés dans la solution plus large Gemini Enterprise Agent Platform.