Apa itu data sintetis?

Data sintetis adalah informasi yang dibuat secara artifisial oleh algoritma komputer, bukan dikumpulkan dari peristiwa di dunia nyata. Anggap saja ini seperti simulator penerbangan untuk kecerdasan buatan (AI). Sama seperti pilot yang belajar terbang di kokpit simulasi tanpa risiko pesawat sungguhan, model AI dapat belajar mengenali pola menggunakan data simulasi tanpa risiko privasi pengguna.

Perbedaan utamanya adalah data sintetis meniru properti statistik data nyata—seperti rata-rata, korelasi, dan distribusi—tetapi tidak berisi informasi yang dapat mengidentifikasi orang sungguhan. Data ini terlihat dan bertindak seperti manusia sungguhan, tetapi tidak ada manusia yang terlibat dalam pembuatan catatan tertentu.

Bagaimana data sintetis dibuat?

Membuat data sintetis bukan hanya sekadar menyalin dan menempel. Hal ini melibatkan penggunaan model machine learning canggih untuk memahami "bentuk" data nyata, lalu membuat sampel baru dan asli yang sesuai dengan bentuk tersebut.

  • Engineer sering menggunakan Model Generatif untuk melakukan hal ini. Teknologi seperti jaringan saraf generatif berlawanan (GAN), autoencoder variasional (VAE), dan model diffusion menganalisis set data nyata untuk mempelajari pola tersembunyinya. Setelah model mempelajari pola ini, model dapat menghasilkan sampel palsu baru dalam jumlah tak terbatas yang secara statistik identik dengan set aslinya.
  • Metode umum lainnya adalah Simulasi. Hal ini populer di industri seperti robotika dan mengemudi otonom. Developer menggunakan mesin fisika—mirip dengan yang digunakan dalam video game—untuk menciptakan dunia virtual. Di dunia ini, mereka dapat menghasilkan data dengan menyimulasikan skenario, seperti mobil yang melaju di kota saat hujan atau lengan robot yang mengambil kotak, tanpa memerlukan kamera atau sensor fisik.

Jenis data sintetis

Tidak semua data sintetis diciptakan sama. Bergantung pada kebutuhan Anda akan privasi versus akurasi, Anda dapat memilih jenis yang berbeda.

Data ini dibuat sepenuhnya dari awal. Data ini tidak berisi data pengguna asli, yang berarti tidak ada pemetaan one-to-one antara data sintetis dan orang sungguhan. Karena tidak terkait dengan individu tertentu, data ini menawarkan tingkat perlindungan privasi tertinggi. Namun, hal ini memerlukan validasi yang ketat untuk memastikan bahwa data tersebut masih cukup akurat untuk digunakan dalam melatih AI.

Terkadang, Anda perlu menyimpan beberapa data nyata agar set data tetap berguna. Data sintetis sebagian melibatkan pengambilan set data nyata dan mengganti hanya bagian sensitif—seperti nama, nomor jaminan sosial, atau alamat—dengan nilai sintetis. Data lainnya tetap berbeda. Pendekatan ini menyeimbangkan privasi dengan utilitas tinggi, tetapi membawa risiko identifikasi ulang yang sedikit lebih tinggi dibandingkan dengan data sintetis sepenuhnya.

Pendekatan ini menggabungkan data nyata dan data sintetis untuk membuat "super-set" data. Pendekatan ini sering digunakan untuk memperkaya set data nyata yang lebih kecil. Misalnya, jika Anda memiliki banyak data tentang transaksi perbankan reguler, tetapi sangat sedikit data tentang penipuan, Anda dapat membuat kumpulan data penipuan sintetis untuk dicampur dengan data penipuan yang sebenarnya. Hal ini membantu "meningkatkan sampel" peristiwa langka sehingga model AI memiliki cukup contoh untuk dipelajari.

Data sintetis versus data nyata

Data nyata adalah standar akurasi, tetapi pengumpulannya cenderung mahal, sering kali berantakan atau tidak lengkap, dan sangat dibatasi oleh hukum privasi seperti GDPR atau HIPAA. Pengumpulan data dunia nyata juga dapat memakan waktu berbulan-bulan atau bertahun-tahun.

Di sisi lain, data sintetis dapat diskalakan dengan biaya yang lebih rendah. Anda dapat membuat jutaan kumpulan data dalam hitungan jam. Data ini diberi label dengan sempurna (karena dibuat oleh komputer, komputer tahu persis apa yang dibuatnya), dan dirancang agar mematuhi privasi. Selain itu, data sintetis dapat diseimbangkan untuk menghilangkan bias alami yang sering ditemukan dalam kumpulan data dunia nyata.

Fitur

Data nyata

Data sintetis

Biaya

Lebih tinggi (pengumpulan dan pelabelan)

Lebih rendah (hanya daya komputasi)

Kecepatan

Lebih lambat (bulan/tahun)

Lebih cepat (jam/hari)

Privasi

Lebih dibatasi (risiko PII)

Lebih Aman (Tanpa PII)

Akurasi

Lebih tinggi (mencerminkan kenyataan)

Bervariasi (tergantung kualitas model)

Fitur

Data nyata

Data sintetis

Biaya

Lebih tinggi (pengumpulan dan pelabelan)

Lebih rendah (hanya daya komputasi)

Kecepatan

Lebih lambat (bulan/tahun)

Lebih cepat (jam/hari)

Privasi

Lebih dibatasi (risiko PII)

Lebih Aman (Tanpa PII)

Akurasi

Lebih tinggi (mencerminkan kenyataan)

Bervariasi (tergantung kualitas model)

Kasus penggunaan data sintetis di berbagai industri

Kendaraan otonom dan robotika sangat bergantung pada data sintetis karena pengumpulan informasi dunia nyata berjalan lambat. Bahkan setelah menempuh jutaan kilometer di jalan, pengujian fisik tidak mungkin memperhitungkan setiap skenario kecelakaan yang unik. Dengan membuat lingkungan mengemudi virtual, para engineer dapat melatih mobil di jalanan simulasi sejauh miliaran kilometer, menguji mobil terhadap situasi berbahaya seperti anak kecil yang berlari ke jalan tanpa risiko fisik.

Data medis sangat pribadi dan sulit dibagikan. Data sintetis memungkinkan peneliti membuat catatan pasien palsu yang meniru pola statistik penyakit nyata. Hal ini memungkinkan rumah sakit berbagi data untuk riset kanker atau studi penyakit langka tanpa melanggar HIPAA. Survei yang dilakukan ManageEngine menemukan bahwa 81% organisasi layanan kesehatan kini menggunakan data sintetis untuk berinovasi sekaligus mengelola masalah privasi.

Mendeteksi penipuan itu sulit karena penipuan yang sebenarnya jarang terjadi. Hal ini dapat menyulitkan AI untuk mempelajari seperti apa penipuan itu. Bank dapat menggunakan data sintetis untuk menghasilkan ribuan pola transaksi yang bersifat menipu. "Penambahan sampel" ini membantu melatih AI untuk mendeteksi aktivitas mencurigakan tanpa mengekspos histori keuangan pelanggan yang sebenarnya.

Developer memerlukan data dalam jumlah besar untuk menguji performa aplikasi saat di bawah tekanan. Hal ini dikenal sebagai "pengelolaan data uji". Alih-alih menggunakan salinan berbahaya dari database produksi yang sebenarnya, tim DevOps dapat mengisi lingkungan staging dengan jutaan pengguna sintetis. Hal ini memungkinkan mereka menguji update aplikasi baru dengan aman dan memastikan sistem dapat menangani traffic tinggi.

Manfaat data sintetis

Privasi dan kepatuhan

Data sintetis sangat mengurangi risiko eksposur informasi identitas pribadi (PII). Karena data ini tidak merujuk pada orang sungguhan, data ini biasanya tidak termasuk dalam cakupan peraturan ketat seperti GDPR dan CCPA. Hal ini memungkinkan tim global untuk lebih mudah berbagi set data lintas negara secara bebas, tanpa harus menghadapi hambatan hukum yang rumit.

Biaya dan kecepatan

Penggunaan data sintetis dapat mempercepat siklus proses "Data-ke-AI" secara signifikan. Anda tidak perlu mempekerjakan orang untuk melabeli gambar secara manual atau menunggu data dikumpulkan di lapangan. Efisiensi ini dapat menghemat biaya dan mempercepat pengembangan.

Mitigasi bias

Data dunia nyata sering kali mencerminkan prasangka dunia nyata. Jika Anda melatih AI dengan data perekrutan historis, AI tersebut mungkin akan belajar untuk lebih menyukai demografi tertentu dibandingkan demografi lainnya. Data sintetis memungkinkan developer memperbaiki ketidakseimbangan ini secara artifisial. Anda dapat menghasilkan lebih banyak data untuk kelompok yang kurang terwakili—seperti memastikan AI mengenali semua warna kulit atau gender secara setara—untuk membuat model yang lebih adil dan tangguh.

Pengujian kasus ekstrem

Beberapa skenario terlalu berbahaya atau jarang terjadi untuk diuji di kehidupan nyata. Anda tidak bisa menabrakkan seribu mobil sungguhan hanya untuk melihat cara kerja sensor airbag. Data sintetis memungkinkan Anda membuat "kasus ekstrem" ini dengan aman. Anda dapat menyimulasikan peristiwa langka, seperti badai salju di Phoenix atau kegagalan mesin tertentu, untuk melatih sistem dalam situasi yang merepresentasikan kurang dari 0,01% data dunia nyata tetapi penting untuk keselamatan.

Membuat data tabulasi sintetis menggunakan Gemini di Gemini Enterprise Agent Platform

Bagi developer, cara tercepat untuk menghasilkan set data sintetis berukuran kecil hingga sedang (contoh untuk pengujian unit atau demo sederhana) sering kali bukan dengan melatih GAN yang kompleks, tetapi dengan memanfaatkan kemampuan generatif model bahasa besar (LLM). Kemampuan ini kini dipadukan dalam Gemini Enterprise Agent Platform (sebelumnya dikenal sebagai Vertex AI). Platform ini menyediakan lingkungan komprehensif untuk membangun, men-deploy, dan menskalakan model machine learning, termasuk akses ke model canggih seperti Gemini.


Dalam panduan ini, kita akan menggunakan Agent Platform SDK (sebelumnya Vertex AI SDK) untuk Python dan Gemini guna membuat set data "transaksi pelanggan" sintetis dari awal. Bayangkan Anda adalah developer yang sedang membangun dasbor fintech. Anda memerlukan 50 baris "data transaksi" untuk menguji frontend Anda.

Anda memerlukan kolom tertentu: transaction_id, timestamp, amount, merchant_category, dan is_fraud.

Langkah 1: Menyiapkan lingkungan Anda

Pertama, pastikan Anda telah menginstal Agent Platform SDK di lingkungan Python Anda. Meskipun platform ini telah diganti namanya, paket Python tetap google-cloud-aiplatform.

  • Bash
Memuat...

Langkah 2: Melakukan inisialisasi Agent Platform SDK

Impor library dan lakukan inisialisasi dengan detail project Anda. Penyiapan ini adalah standar untuk menggunakan model Gemini melalui Agent Platform SDK dalam Gemini Enterprise Agent Platform.

  • Python
Memuat...

Langkah 3: Buat perintah terstruktur

Kualitas data sintetis dari LLM sangat bergantung pada perintah Anda. Anda harus spesifik tentang skema, batasan (misalnya, tidak ada angka negatif), dan format output (CSV atau JSON). Petunjuk yang jelas dan spesifik adalah kunci untuk rekayasa perintah yang efektif dengan model Gemini di Gemini Enterprise Agent Platform.

  • Python
Memuat...

Membuat dan mengurai data

Kirim perintah ke model dan muat respons langsung ke Pandas DataFrame. Metode generate_content adalah bagian dari Agent Platform SDK.

  • Python
Memuat...

Menggunakan LLM tujuan umum seperti Gemini untuk data tabulasi sintetis sering kali lebih cepat daripada melatih model statistik kustom (seperti VAE) jika Anda hanya memerlukan data yang "masuk akal" untuk menguji fungsionalitas software.

  • Kecepatan: Anda mendapatkan data dalam hitungan detik
  • Fleksibilitas: Anda dapat mengubah skema hanya dengan mengedit perintah teks
  • Logika: Anda dapat meminta model untuk menyertakan logika yang kompleks (misalnya, "Jika penjual adalah 'Travel', jumlahnya harus lebih dari $100"), yang sulit dilakukan dengan pengacak sederhana

*Catatan untuk Skala Perusahaan: Jika Anda perlu membuat jutaan baris yang secara statistik membuat clone set data pribadi yang ada dalam jumlah besar, Anda mungkin akan beralih dari perintah LLM sederhana ke penggunaan Gemini Enterprise Agent Platform Pipelines (sebelumnya Vertex AI Pipelines) yang terintegrasi dengan partner khusus seperti Gretel.ai atau MOSTLY AI, yang tersedia langsung di Google Cloud Marketplace. Alur kerja lanjutan ini dapat diorkestrasi dan dikelola dalam Gemini Enterprise Agent Platform yang lebih luas.

Mengatasi tantangan bisnis Anda dengan Google Cloud

Pelanggan baru mendapatkan kredit gratis senilai $300 untuk dibelanjakan di Google Cloud.

Langkah selanjutnya

Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.

Google Cloud
DokumenDukungan
Konsol
Login
  • Percepat transformasi digital Anda
  • Google Cloud dapat membantu mengatasi tantangan terberat Anda, baik saat bisnis Anda baru memulai transformasi digital atau sudah di tingkat lanjut.
  • Produk Unggulan
  • Business Intelligence
  • Hybrid dan Multicloud
  • Khusus Industri
  • Layanan Media
  • Produktivitas dan Kolaborasi
  • Hemat uang dengan pendekatan transparan kami soal harga
  • Harga bayar sesuai penggunaan dari Google Cloud menawarkan penghematan otomatis berdasarkan penggunaan bulanan dan tarif diskon untuk resource prabayar. Hubungi kami sekarang untuk mendapatkan penawaran harga.
Google Cloud