Der ELT-Prozessablauf nutzt die Leistungsfähigkeit und Skalierbarkeit moderner Plattformen für die Datenspeicherung und -verarbeitung. Sehen wir uns die einzelnen Komponenten an:

• Extrahieren: Bei diesem ersten Schritt werden Rohdaten aus den Originalquellen erhoben. Diese Quellen können sehr unterschiedlich sein, darunter Datenbanken (SQL und NoSQL), Unternehmensanwendungen (wie CRMs und ERPs), SaaS-Plattformen, APIs und Protokolldateien. Der Extraktionsprozess konzentriert sich darauf, die Daten effizient aus diesen Systemen zu extrahieren.
• Laden: Im zweiten Schritt werden die extrahierten Rohdaten oft im Originalformat oder mit minimaler Verarbeitung direkt in ein Speichersystem mit hoher Kapazität geladen. Häufige Ziele für diese Rohdaten sind Cloud Data Lakes oder moderne Cloud Data Warehouses, die große Mengen an strukturierten, semistrukturierten und unstrukturierten Daten verarbeiten können.
• Transformieren: Dieser letzte Schritt erfolgt, nachdem die Daten sicher im Zielsystem gespeichert sind. Mit der Rechenleistung des Data Warehouse oder Data Lake werden die Rohdaten bereinigt, strukturiert, angereichert und in ein Format umgewandelt, das für Analysen, Berichte und Machine Learning geeignet ist. Transformationen können das Filtern, Zusammenführen, Aggregieren, Standardisieren von Formaten und Ableiten neuer Datenpunkte umfassen.

Der ELT-Prozess bietet Flexibilität, da die Transformationen nicht vor dem Laden festgelegt sind. Data Scientists können beispielsweise auf die Rohdaten zugreifen, um unvorhergesehene Muster zu erkennen oder Ad-hoc-Analysen durchzuführen, während Business Intelligence-Teams kuratierte, transformierte Datasets für Berichte erstellen können.

Der ELT-Ansatz bietet mehrere potenzielle Vorteile, insbesondere in Umgebungen mit großen Datenmengen und unterschiedlichen Datentypen:

• Schnellere Datenaufnahme: Das Laden von Rohdaten in das Zielsystem ist in der Regel schneller als das Warten auf die Transformation in einem Staging-Bereich. Das bedeutet, dass Daten für die erste Exploration oder spezifische Anwendungsfälle viel früher verfügbar sind.
• Flexibilität und Agilität: Da die Rohdaten im Zielsystem erhalten bleiben, können Transformationen iterativ entwickelt, geändert oder hinzugefügt werden, wenn sich die Geschäftsanforderungen ändern. Wenn sich die Transformationslogik ändert, müssen Sie die Daten aus den Quellsystemen nicht erneut einlesen. Sie führen die Transformation einfach erneut auf den bereits geladenen Rohdaten aus.
• Skalierbarkeit: Moderne Cloud-Data-Warehouses und Data Lakes sind für eine enorme Skalierbarkeit ausgelegt. ELT nutzt diese inhärente Fähigkeit, indem Transformationen mithilfe der robusten Verarbeitungsengines dieser Zielsysteme durchgeführt werden. So können Unternehmen wachsende Datenmengen und komplexe Transformationen effizient bewältigen.
• Rohdaten aufbewahren: Die Speicherung von Rohdaten ermöglicht eine umfassendere Aufzeichnung der Verlaufsdaten. Das kann für die Datenprüfung, die erneute Verarbeitung bei Fehlern in früheren Transformationen oder für zukünftige analytische Anforderungen, die noch nicht vorhersehbar sind, von unschätzbarem Wert sein. Datenwissenschaftler profitieren oft von dem Zugriff auf die detailliertesten, nicht transformierten Daten.
• Kosteneffizienz für bestimmte Arbeitslasten: Die Nutzung der Rechenleistung eines Cloud-Data-Warehouse für Transformationen kann manchmal kostengünstiger sein als die Aufrechterhaltung einer separaten Infrastruktur oder die Lizenzierung spezialisierter ETL-Tools für Transformationen, insbesondere wenn das Data Warehouse eine optimierte Verarbeitung bietet.
• Unterstützung verschiedener Datentypen: ELT eignet sich gut für die Verarbeitung von strukturierten, semistrukturierten (wie JSON oder XML) und unstrukturierten Daten (wie Text oder Bildern). Daten können im nativen Format geladen und bei Bedarf transformiert werden, was in Big-Data-Szenarien ein entscheidender Vorteil sein kann. Dieser „Schema-on-Read“-Ansatz, bei dem die Struktur während der Verarbeitung und nicht vor dem Laden angewendet wird, ist ein Markenzeichen von ELT.

ELT bietet zwar mehrere Vorteile, birgt aber auch gewisse Herausforderungen, die Organisationen berücksichtigen sollten:

• Datenverwaltung und ‑sicherheit: Das Laden von Rohdaten, die möglicherweise sensible oder personenbezogene Daten enthalten, in einen Data Lake oder ein Data Warehouse erfordert robuste Datenverwaltungs-, Sicherheits- und Compliance-Maßnahmen. Zugriffssteuerungen, Verschlüsselung und Datenmaskierungstechniken sind entscheidend für den Schutz dieser Daten in der Zielumgebung.
• Komplexität der Transformation im Zielsystem: Die Verwaltung komplexer Transformationslogik direkt in einem Data Warehouse (z. B. mit SQL) oder Data Lake kann sich als schwierig erweisen. Er erfordert geschultes Personal, das mit diesen Tools vertraut ist, und einen disziplinierten Ansatz für die Codeverwaltung und -optimierung.
• Tools und Orchestrierung:Eine effektive ELT-Implementierung erfordert geeignete Tools für die Orchestrierung der Schritte zum Extrahieren und Laden sowie für die Verwaltung und Ausführung von Transformationen im Zielsystem. Viele Cloud-Plattformen bieten zwar Tools an, aber die Einbindung und Verwaltung des gesamten Workflows muss sorgfältig geplant werden.
• Potenzielle „Datensümpfe“: Wenn Rohdaten, die in einen Data Lake geladen werden, nicht ordnungsgemäß katalogisiert, verwaltet und reguliert werden, kann sich der Data Lake in einen „Datensumpf“ verwandeln, in dem Daten schwer zu finden, zu vertrauen oder effektiv zu nutzen sind. Eine starke Datenverwaltungsstrategie ist entscheidend.
• Verantwortung für die Datenqualität: Da die Transformationen später im Prozess stattfinden, kann die Sicherstellung der Datenqualität spezielle Schritte nach dem Laden erfordern. Die Überwachung und Validierung von Daten im Zielsystem wird immer wichtiger.

Wenn Unternehmen diese Herausforderungen proaktiv angehen, können sie die Vorteile des ELT-Paradigmas voll ausschöpfen.

Die Unterscheidung zwischen ELT und dem eher traditionellen ETL-Prozess (Extract, Transform, Load) ist wichtig, um die richtige Strategie für die Datenintegration zu wählen. Der Hauptunterschied liegt darin, wann und wo die Transformation stattfindet.

ELT ist das von Google Cloud empfohlene Muster für die Datenintegration. Bei ELT werden Daten aus Quellsystemen extrahiert, in BigQuery geladen und dann in das gewünschte Format für die Analyse umgewandelt. Im Gegensatz zu ETL (Extrahieren, Transformieren, Laden), bei dem die Daten vor dem Laden in ein Data Warehouse transformiert werden, können Sie mit dem ELT-Ansatz die volle Leistungsfähigkeit von BigQuery nutzen, um Datentransformationen durchzuführen, und jeder SQL-Nutzer kann effektiv Datenintegrationspipelines entwickeln.

Die Wahl zwischen ELT und ETL hängt oft von spezifischen Anwendungsfällen, der vorhandenen Infrastruktur, dem Datenvolumen und den Analyseanforderungen des Unternehmens ab. In vielen modernen Datenarchitekturen wird auch ein Hybridansatz verwendet, bei dem sowohl ELT als auch ETL für verschiedene Teile der Pipeline eingesetzt werden.