Dados reais são o padrão para precisão, mas podem ser caros de coletar, muitas vezes confusos ou incompletos e estritamente restritos por leis de privacidade como GDPR ou HIPAA. A coleta de dados do mundo real também pode levar meses ou anos.

Por outro lado, os dados sintéticos podem ser menos caros para escalonar. Você pode gerar milhões de registros em horas. Eles são perfeitamente rotulados (porque o computador os criou, então sabe exatamente o que criou) e estão em conformidade com a privacidade por design. Além disso, os dados sintéticos podem ser equilibrados para remover os vieses naturais que costumam ser encontrados em coleções do mundo real.

Para desenvolvedores, a maneira mais rápida de gerar um conjunto de dados sintéticos de pequeno a médio porte (por exemplo, para testes de unidade ou demonstrações simples) geralmente não é treinar uma GAN complexa, mas aproveitar os recursos generativos de modelos de linguagem grandes (LLMs, na sigla em inglês). Esses recursos agora estão unificados na Gemini Enterprise Agent Platform (antiga Vertex AI). Essa plataforma oferece um ambiente abrangente para criar, implantar e escalonar modelos de machine learning, incluindo acesso a modelos avançados como o Gemini.

Neste tutorial, vamos usar o SDK da Agent Platform (antigo SDK da Vertex AI) para Python e o Gemini para gerar um conjunto de dados sintético de "transações de clientes" do zero. Imagine que você é um desenvolvedor que está criando um painel de fintech. Você precisa de 50 linhas de "dados de transação" para testar seu front-end.

Você precisa de campos específicos: transaction_id, timestamp, amount, merchant_category e is_fraud.

Primeiro, verifique se o SDK da Agent Platform está instalado no seu ambiente Python. Embora a plataforma tenha sido renomeada, o pacote Python continua sendo google-cloud-aiplatform.

Importe a biblioteca e inicialize-a com os detalhes do projeto. Essa configuração é padrão para usar modelos do Gemini com o SDK da Agent Platform na Gemini Enterprise Agent Platform.

A qualidade dos dados sintéticos de um LLM depende muito do seu comando. Você precisa ser específico sobre o esquema, as restrições (por exemplo, sem números negativos) e o formato de saída (CSV ou JSON). Instruções claras e específicas são fundamentais para a engenharia de comando eficaz com os modelos do Gemini na Gemini Enterprise Agent Platform.

Envie o comando ao modelo e carregue a resposta diretamente em um DataFrame do Pandas. O método generate_content faz parte do SDK da Agent Platform.

Usar um LLM de uso geral como o Gemini para dados tabulares sintéticos costuma ser mais rápido do que treinar um modelo estatístico personalizado (como um VAE) quando você só precisa de dados "plausíveis" para testar a funcionalidade do software.

• Velocidade: você recebe os dados em segundos
• Flexibilidade: você pode mudar o esquema apenas editando o comando de texto
• Lógica: você pode pedir ao modelo para incorporar uma lógica complexa (por exemplo, "se o comerciante for do setor de viagens, o valor precisa ser superior a US$ 100"), o que é difícil de fazer com randomizadores simples

*Observação para escala empresarial: se você precisar gerar milhões de linhas que clonem estatisticamente um conjunto de dados privado enorme, provavelmente vai passar de comandos simples de LLM para o uso de pipelines da Gemini Enterprise Agent Platform (antiga Vertex AI Pipelines) integrados a parceiros especializados como Gretel.ai ou MOSTLY AI, que estão disponíveis diretamente no Google Cloud Marketplace. Esses fluxos de trabalho avançados podem ser orquestrados e gerenciados na Gemini Enterprise Agent Platform.