Der Hauptunterschied zwischen diesen beiden Systemen besteht darin, wie sie mit Datenstruktur und -nutzung umgehen. Ein Data Lake ist für unstrukturierte Rohdaten, während ein Data Warehouse für strukturierte, verarbeitete Daten gedacht ist.

Data Scientists müssen häufig KI-Modelle erstellen, die betrügerische Buchungen in Echtzeit erkennen können. Da die Daten aus vielen Quellen stammen, z. B. aus Websiteprotokollen, Ereignissen in mobilen Apps und Drittanbieterpartnern, eignen sich Data Lakes am besten zum Trainieren von KI-Modellen.

Richten Sie zuerst eine Pipeline ein, um jedes einzelne Rohereignis an Cloud Storage zu senden. Dazu gehören unübersichtliche JSON-Dateien von der Website und Binärprotokolle aus der mobilen App. Sie müssen sich noch keine Gedanken über die Formatierung der Daten machen, da Cloud Storage für diese Art Mengen ausgelegt ist.

Damit die Daten für das KI-Modell nützlich sind, müssen Sie sie bereinigen. Mit Google Cloud Service for Apache Spark können Sie einen serverlosen Apache Spark-Job ausführen. So können Sie Millionen von Rohlogs in ein strukturiertes Format umwandeln, ohne Server oder Cluster verwalten zu müssen.

Jetzt, da die Daten bereit sind, können Sie sie in ein Tool für maschinelles Lernen einfügen. Da die ursprünglichen Rohdaten immer noch im Data Lake vorhanden sind, können Sie jederzeit zurückgehen und sich „versteckte“ Details ansehen, die zur Verbesserung des Modells beitragen könnten.

Mit einem Data Lake können Sie alles kostengünstig speichern und nur das verarbeiten, was Sie zum Erstellen des Modells benötigen.

Sehen wir uns nun einen Data-Science-Anwendungsfall für den Einzelhandel an. Sie können vorhersagen, wie viele Wintermäntel das Unternehmen im nächsten Monat verkaufen wird. Da die Verkaufsdaten bereits bereinigt und in einer Datenbank gespeichert sind, empfiehlt es sich, für diese Aufgabe ein Data Warehouse zu verwenden.

Beginnen Sie mit BigQuery, das als zentrales Data Warehouse eines Unternehmens dient. Die Verkaufsdaten sind bereits in übersichtlichen Tabellen mit Spalten für Datum, Preis und Produkt-ID organisiert. Da die Daten bereits strukturiert sind, müssen Sie sie nicht erst bereinigen.

Schreiben Sie eine SQL-Abfrage, um die Winterverkäufe der letzten fünf Jahre zu sehen. Obwohl es Milliarden von Datenzeilen gibt, findet BigQuery die Antwort in Sekundenschnelle. So können Sie verschiedene Ideen ausprobieren und die Prognose schnell verfeinern.

Sobald die Prognose fertig ist, können Sie mit einem integrierten Tool ein Dashboard erstellen. Das Marketingteam kann jetzt genau sehen, wie viele Mäntel es bestellen muss. Da BigQuery serverlos ist, zahlt das Unternehmen nur für die ausgeführten Abfragen, was die Kosten niedrig hält.

Für diesen Anwendungsfall ist das Data Warehouse das beste Tool, da es schnelle, zuverlässige Antworten auf spezifische Geschäftsfragen liefert und Daten verwendet, die bereits in einem nutzbaren Format vorliegen.