Was sind synthetische Daten?

Synthetische Daten sind Informationen, die künstlich durch Computeralgorithmen generiert werden, anstatt aus realen Ereignissen gewonnen zu werden. Stellen Sie sich das wie einen Flugsimulator für künstliche Intelligenz (KI) vor. So wie ein Pilot in einem simulierten Cockpit das Fliegen lernt, ohne ein echtes Flugzeug zu riskieren, können KI-Modelle lernen, Muster anhand simulierter Daten zu erkennen, ohne die Privatsphäre der Nutzer zu gefährden.

Der entscheidende Unterschied ist, dass synthetische Daten die statistischen Eigenschaften echter Daten nachahmen – wie Durchschnittswerte, Korrelationen und Verteilungen –, aber keine identifizierbaren Informationen über echte Personen enthalten. Die Daten sehen aus und verhalten sich wie die echten Daten, nur waren keine Daten echter Menschen an der Erstellung eines bestimmten Datensatzes beteiligt.

Wie werden synthetische Daten generiert?

Beim Generieren synthetischer Daten geht es nicht nur um das Kopieren und Einfügen von Daten. Dabei werden fortschrittliche Modelle für maschinelles Lernen verwendet, um die „Form“ echter Daten zu verstehen und dann neue, originelle Stichproben zu erstellen, die zu dieser Form passen.

  • Dafür verwenden sie häufig generative Modelle. Technologien wie GANS (Generative Adversarial Networks), VAEs (Variational AutoEncoders) und Diffusionsmodelle analysieren ein echtes Dataset, um dessen verborgenen Muster zu erkennen. Sobald das Modell diese Muster gelernt hat, kann es unendlich viele neue, synthetische Stichproben ausgeben, die statistisch mit dem ursprünglichen Satz identisch sind.
  • Eine weitere gängige Methode ist die Simulation. Sie ist in Branchen wie Robotik und autonomes Fahren beliebt. Entwickler nutzen Physik-Engines, die denen in Videospielen ähneln, um virtuelle Welten zu erschaffen. In diesen Welten können sie Daten generieren, indem sie Szenarien simulieren, zum Beispiel ein Auto, das durch eine regnerische Stadt fährt, oder ein Roboterarm, der eine Kiste aufhebt, ohne dass sie jemals eine physische Kamera oder einen Sensor benötigen.

Arten synthetischer Daten

Synthetische Daten sind nicht gleich synthetische Daten. Je nach Ihren Anforderungen an Datenschutz und Genauigkeit können Sie verschiedene Typen auswählen.

Diese Daten werden komplett neu generiert. Es gibt keine Originalnutzerdaten, sodass es keine 1:1-Beziehung zwischen einem synthetischen Datensatz und einer echten Person gibt. Da sie sich nicht auf eine bestimmte Person beziehen, bieten sie den höchsten Datenschutz. Allerdings müssen die Daten sorgfältig validiert werden, um sicherzustellen, dass sie noch genau genug sind, um für das KI-Training nützlich zu sein.

Manchmal müssen Sie einige echte Daten behalten, damit das Dataset nützlich ist. Bei teilweise synthetischen Daten wird ein echtes Dataset verwendet. Es werden nur sensible Teile wie Namen, Sozialversicherungsnummern oder Adressen durch synthetische Werte ersetzt. Die übrigen Daten bleiben unterschiedlich. Dieser Ansatz bietet ein Gleichgewicht zwischen Datenschutz und hohem Nutzen, birgt aber ein etwas höheres Risiko der Re-Identifizierung als vollständig synthetische Daten.

Bei diesem Ansatz werden echte und synthetische Datensätze kombiniert, um einen „Superdatensatz“ zu erstellen. Er wird oft verwendet, um ein kleineres echtes Dataset anzureichern. Wenn Sie beispielsweise viele Daten zu regulären Banktransaktionen, aber nur wenige Daten zu Betrug haben, können Sie synthetische Betrugsdatensätze generieren und diese mit den echten Daten mischen. So können seltene Ereignisse „hochgesampelt“ werden, damit das KI-Modell genügend Beispiele zum Lernen hat.

Synthetische Daten im Vergleich zu echten Daten

Echte Daten sind der Standard in Sachen Genauigkeit, aber sie können teuer in der Erhebung, unübersichtlich oder unvollständig sein und unterliegen strengen Datenschutzgesetzen wie der DSGVO oder HIPAA. Das Erfassen von Daten aus der Praxis kann Monate oder sogar Jahre dauern.

Synthetische Daten hingegen lassen sich kostengünstiger skalieren. Sie können innerhalb weniger Stunden Millionen von Datensätzen generieren. Sie sind perfekt gekennzeichnet (da der Computer sie erstellt hat, weiß er genau, was er erstellt hat) und der Vorgang ist von Grund auf datenschutzkonform. Außerdem können synthetische Daten so ausbalanciert werden, dass natürliches Bias, wie es oft in realen Datensammlungen zu finden ist, entfernt wird.

Funktion

Echte Daten

Synthetische Daten

Kosten

Höher (Erhebung und Kennzeichnung)

Niedriger (nur Rechenleistung)

Geschwindigkeit

Langsamer (Monate/Jahre)

Schneller (Stunden/Tage)

Datenschutz

Stärker eingeschränkt (Risiken durch personenidentifizierbare Informationen)

Sicherer (keine personenidentifizierbare Informationen)

Genauigkeit

Höher (spiegelt die Realität wider)

Variabel (abhängig von der Modellqualität)

Funktion

Echte Daten

Synthetische Daten

Kosten

Höher (Erhebung und Kennzeichnung)

Niedriger (nur Rechenleistung)

Geschwindigkeit

Langsamer (Monate/Jahre)

Schneller (Stunden/Tage)

Datenschutz

Stärker eingeschränkt (Risiken durch personenidentifizierbare Informationen)

Sicherer (keine personenidentifizierbare Informationen)

Genauigkeit

Höher (spiegelt die Realität wider)

Variabel (abhängig von der Modellqualität)

Branchenspezifische Anwendungsfälle für synthetische Daten

Autonome Fahrzeuge und Roboter sind stark auf synthetische Daten angewiesen, da das Erfassen von Informationen aus der realen Welt langsam ist. Selbst nach dem Logging von Millionen von Kilometern auf der Straße werden physische Tests nicht jedes einzelne Unfallszenario berücksichtigen. Durch die Generierung virtueller Fahrumgebungen können Ingenieure Autos auf Milliarden von Kilometern simulierter Straßen trainieren und sie in gefährlichen Situationen testen, z. B. wenn ein Kind auf die Straße läuft – ohne dass ein physisches Risiko besteht.

Medizinische Daten sind extrem privat und schwer zu teilen. Mit synthetischen Daten können Forschende gefälschte Patientenakten erstellen, die die statistischen Muster echter Krankheiten nachahmen. So können Krankenhäuser Daten für die Krebsforschung oder Studien zu seltenen Krankheiten austauschen, ohne gegen HIPAA zu verstoßen. Eine Umfrage von ManageEngine ergab, dass 81 % der Gesundheitsorganisationen inzwischen synthetische Daten verwenden, um Innovationen voranzutreiben und gleichzeitig den Datenschutz zu gewährleisten.

Betrug zu erkennen ist schwierig, weil tatsächlicher Betrug selten ist. Das kann es der KI erschweren, zu lernen, wie Betrug aussieht. Banken können synthetische Daten verwenden, um Tausende von betrügerischen Transaktionsmustern zu generieren. Dieses „Upsampling“ hilft, die KI so zu trainieren, dass sie verdächtige Aktivitäten erkennt, ohne die tatsächlichen Finanzdaten der Kunden offenzulegen.

Entwickler benötigen riesige Datenmengen, um zu testen, wie eine Anwendung unter Belastung funktioniert. Dies wird als „Testdatenmanagement“ bezeichnet. Anstatt eine gefährliche Kopie der echten Produktionsdatenbank zu verwenden, können DevOps-Teams eine Staging-Umgebung mit Millionen synthetischer Nutzerdaten füllen. So können sie neue App-Updates sicher testen und sicherstellen, dass das System auch bei hohem Traffic stabil bleibt.

Vorteile synthetischer Daten

Datenschutz und Compliance

Synthetische Daten verringern das Risiko der Offenlegung personenidentifizierbarer Informationen erheblich. Da sich die Daten nicht auf eine echte Person beziehen, fallen sie in der Regel nicht unter strenge Vorschriften wie die DSGVO und den CCPA. So können globale Teams Datensätze einfacher und ohne komplexe rechtliche Hürden über Grenzen hinweg austauschen.

Kosten und Geschwindigkeit

Mit synthetischen Daten lässt sich der „Data-to-AI“-Lebenszyklus deutlich beschleunigen. Sie müssen keine Menschen einstellen, um Bilder manuell zu kennzeichnen, oder darauf warten, dass Daten im Feld erfasst werden. Diese Effizienz kann die Kosten senken und die Entwicklung beschleunigen.

Bias reduzieren

Daten aus der Praxis spiegeln oft Vorurteile aus der Praxis wider. Wenn Sie eine KI mit historischen Daten zu Einstellungen trainieren, lernt sie möglicherweise, eine demografische Gruppe einer anderen vorzuziehen. Mit synthetischen Daten können Entwickler diese Ungleichgewichte künstlich korrigieren. Sie können mehr Daten für unterrepräsentierte Gruppen generieren, um fairere und robustere Modelle zu erstellen. So können Sie beispielsweise dafür sorgen, dass eine KI alle Hauttöne oder Geschlechter gleichermaßen erkennt.

Testen von Sonderfällen

Manche Szenarien sind zu gefährlich oder zu selten, um sie in der Realität zu testen. Sie können nicht einfach tausend echte Autos crashen, um zu sehen, wie der Airbagsensor funktioniert. Mit synthetischen Daten können Sie solche „Grenzfälle“ sicher erstellen. Sie können seltene Ereignisse simulieren, etwa einen Schneesturm in Phoenix oder einen bestimmten Motorschaden, um Systeme für Situationen zu trainieren, die weniger als 0,01 % der realen Daten ausmachen, aber für die Sicherheit entscheidend sind.

Synthetische tabellarische Daten mit Gemini auf der Gemini Enterprise Agent Platform generieren

Für Entwickler ist der schnellste Weg, ein kleines bis mittelgroßes synthetisches Dataset zu generieren (zum Beispiel für Unit-Tests oder einfache Demos), oft nicht das Trainieren eines komplexen GAN, sondern die Nutzung der generativen Fähigkeiten von Large Language Models (LLMs). Diese Funktionen sind jetzt in der Gemini Enterprise Agent Platform (früher Vertex AI) zusammengefasst. Diese Plattform bietet eine umfassende Umgebung zum Erstellen, Bereitstellen und Skalieren von Machine-Learning-Modellen, einschließlich des Zugriffs auf leistungsstarke Modelle wie Gemini.


In dieser Schritt-für-Schritt-Anleitung verwenden wir das Agent Platform SDK (früher Vertex AI SDK) für Python und Gemini, um ein synthetisches Dataset mit „Kundentransaktionen“ von Grund auf zu erstellen. Stellen Sie sich vor, Sie sind ein Entwickler, der ein Fintech-Dashboard erstellt. Sie benötigen 50 Zeilen mit „Transaktionsdaten“, um Ihr Frontend zu testen.

Sie benötigen bestimmte Felder: transaction_id, timestamp, amount, merchant_category und is_fraud.

Schritt 1: Umgebung einrichten

Prüfen Sie zuerst, ob das Agent Platform SDK in Ihrer Python-Umgebung installiert ist. Die Plattform wurde zwar umbenannt, das Python-Paket heißt aber weiterhin google-cloud-aiplatform.

  • Bash
Wird geladen...

Schritt 2: Agent Platform SDK initialisieren

Importieren Sie die Bibliothek und initialisieren Sie sie mit den Projektdetails. Diese Einrichtung ist Standard für die Verwendung von Gemini-Modellen über das Agent Platform SDK innerhalb der Gemini Enterprise Agent Platform.

  • Python
Wird geladen...

Schritt 3: Strukturierte Prompts erstellen

Die Qualität der synthetischen Daten, die Sie von einem LLM erhalten, hängt stark von Ihrem Prompt ab. Sie müssen das Schema, die Einschränkungen (z. B. keine negativen Zahlen) und das Ausgabeformat (CSV oder JSON) genau angeben. Klare und spezifische Anweisungen sind der Schlüssel zu effektivem Prompt Engineering mit Gemini-Modellen auf der Gemini Enterprise Agent Platform.

  • Python
Wird geladen...

Daten generieren und parsen

Senden Sie den Prompt an das Modell und laden Sie die Antwort direkt in ein Pandas DataFrame. Die Methode generate_content ist Teil des Agent Platform SDK.

  • Python
Wird geladen...

Die Verwendung eines LLM für allgemeine Zwecke wie Gemini für synthetische tabellarische Daten ist oft schneller als das Trainieren eines benutzerdefinierten statistischen Modells (wie eines VAE), wenn Sie nur „plausible“ Daten zum Testen der Softwarefunktionalität benötigen.

  • Geschwindigkeit: Sie erhalten Daten in Sekundenschnelle.
  • Flexibilität: Sie können das Schema einfach durch Bearbeiten des Text-Prompts ändern.
  • Logik: Sie können das Modell bitten, komplexe Logik einzubauen (z. B. „Wenn der Händlertyp ‚Travel‘ ist, muss der Betrag über 100 $ liegen“). Mit einfachen Zufallsgeneratoren ist das schwierig.

*Hinweis für Unternehmen: Wenn Sie Millionen von Zeilen generieren müssen, die ein riesiges vorhandenes privates Dataset statistisch klonen, würden Sie wahrscheinlich von einfachen LLM-Prompts zu Gemini Enterprise Agent Platform Pipelines (früher Vertex AI Pipelines) übergehen, die über spezialisierte Partner wie Gretel.ai oder MOSTLY AI verfügbar sind. Diese sind direkt im Google Cloud Marketplace verfügbar. Diese erweiterten Workflows können innerhalb der umfassenderen Gemini Enterprise Agent Platform orchestriert und verwaltet werden.

Meistern Sie Ihre geschäftlichen Herausforderungen mit Google Cloud

Neukunden erhalten ein Guthaben im Wert von 300 $ für Google Cloud.

Gleich loslegen

Profitieren Sie von einem Guthaben über 300 $, um Google Cloud und mehr als 20 „Immer kostenlos“ Produkte kennenzulernen.

Google Cloud