Der ELT-Prozessablauf nutzt die Leistungsfähigkeit und Skalierbarkeit moderner Datenspeicher- und Verarbeitungsplattformen. Sehen wir uns die einzelnen Komponenten genauer an:

• Extrahieren: Bei diesem ersten Schritt werden Rohdaten aus ihren ursprünglichen Quellen erfasst. Diese Quellen können sehr unterschiedlich sein, darunter Datenbanken (SQL und NoSQL), Unternehmensanwendungen (wie CRMs und ERPs), SaaS-Plattformen, APIs und Protokolldateien. Beim Extraktionsprozess geht es darum, die Daten effizient aus diesen Systemen zu holen.
• Laden: Im zweiten Schritt werden die extrahierten Rohdaten, oft im Originalformat oder mit minimaler Verarbeitung, direkt in ein Speichersystem mit hoher Kapazität geladen. Häufige Ziele für diese Rohdaten sind Cloud-Data Lakes oder moderne Cloud-Data Warehouses, die große Mengen strukturierter, semistrukturierter und unstrukturierter Daten verarbeiten können.
• Transformieren: Dieser letzte Schritt erfolgt, nachdem die Daten sicher im Zielsystem gespeichert wurden. Mithilfe der Rechenleistung des Data Warehouse oder Data Lake werden die Rohdaten bereinigt, strukturiert, angereichert und in ein Format umgewandelt, das für Analysen, Berichte und maschinelles Lernen geeignet ist. Transformationen können das Filtern, Verknüpfen, Aggregieren, Standardisieren von Formaten und Ableiten neuer Datenpunkte umfassen.

Der ELT-Prozess bietet Flexibilität, da Transformationen nicht vor dem Laden festgelegt werden. Data Scientists können beispielsweise auf die Rohdaten zugreifen, um unerwartete Muster zu erkennen oder Ad-hoc-Analysen durchzuführen, während Business-Intelligence-Teams kuratierte, transformierte Datasets für Berichte erstellen können.

Der ELT-Ansatz bietet mehrere potenzielle Vorteile, insbesondere in Umgebungen, in denen große Datenmengen und unterschiedliche Datentypen verarbeitet werden:

• Schnellere Datenaufnahme: Das Laden von Rohdaten in das Zielsystem ist in der Regel schneller als das Warten auf den Abschluss von Transformationen in einem Stagingbereich. Das bedeutet, dass Daten viel schneller für die erste Erkundung oder bestimmte Anwendungsfälle verfügbar sein können.
• Flexibilität und Agilität: Da die Rohdaten im Zielsystem erhalten bleiben, können Transformationen iterativ entwickelt, geändert oder hinzugefügt werden, wenn sich die Geschäftsanforderungen ändern. Wenn sich eine Transformationslogik ändert, müssen Sie die Daten aus den Quellsystemen nicht neu aufnehmen. Sie führen die Transformation einfach für die bereits geladenen Rohdaten aus.
• Skalierbarkeit: Moderne Cloud-Data-Warehouses und Data Lakes sind auf massive Skalierbarkeit ausgelegt. ELT nutzt diese inhärente Fähigkeit, indem es Transformationen mit den robusten Verarbeitungs-Engines dieser Zielsysteme durchführt. So können Unternehmen wachsende Datenmengen und komplexe Transformationen effizient verarbeiten.
• Rohdaten aufbewahren: Die Speicherung von Rohdaten ermöglicht eine umfassendere Aufzeichnung der Verlaufsdaten. Das kann für die Datenprüfung, die erneute Verarbeitung bei Fehlern in vorherigen Transformationen oder für zukünftige analytische Anforderungen, die noch nicht vorhergesehen werden können, von unschätzbarem Wert sein. Data Scientists profitieren oft vom Zugriff auf die detailliertesten, unveränderten Daten.
• Kosteneffizienz für bestimmte Arbeitslasten: Die Nutzung der Rechenleistung eines Cloud Data Warehouse für Transformationen kann manchmal kosteneffizienter sein als die Wartung einer separaten Infrastruktur oder die Lizenzierung spezieller ETL-Tools für Transformationen, insbesondere wenn das Data Warehouse eine optimierte Verarbeitung bietet.
• Unterstützung verschiedener Datentypen: ELT eignet sich gut für den Umgang mit strukturierten, semistrukturierten (wie JSON oder XML) und unstrukturierten Daten (wie Text oder Bilder). Daten können im nativen Format geladen und nach Bedarf transformiert werden, was in Big-Data-Szenarien ein erheblicher Vorteil sein kann. Dieser „Schema-on-Read“-Ansatz, bei dem die Struktur während der Verarbeitung und nicht vor dem Laden angewendet wird, ist ein Kennzeichen von ELT.

ELT bietet zwar mehrere Vorteile, kann aber auch bestimmte Aspekte mit sich bringen, die Unternehmen berücksichtigen sollten:

• Data Governance und Sicherheit: Das Laden von Rohdaten, die sensible oder personenidentifizierbare Informationen (PII) enthalten können, in einen Data Lake oder ein Data Warehouse erfordert robuste Maßnahmen zur Data Governance, Sicherheit und Compliance. Zugriffssteuerungen, Verschlüsselung und Datenmaskierungstechniken sind entscheidend, um diese Daten in der Zielumgebung zu schützen.
• Komplexität der Transformation im Zielsystem: Die Verwaltung komplexer Transformationslogik direkt in einem Data Warehouse (z. B. mit SQL) oder Data Lake kann schwierig werden. Dazu sind Fachkräfte erforderlich, die mit diesen Tools vertraut sind, und ein disziplinierter Ansatz für die Codeverwaltung und -optimierung.
• Tools und Orchestrierung: Eine effektive ELT-Implementierung erfordert geeignete Tools zur Orchestrierung der Extraktions- und Ladeschritte sowie zur Verwaltung und Ausführung von Transformationen im Zielsystem. Viele Cloud-Plattformen bieten zwar Tools, aber deren Integration und die Verwaltung des gesamten Workflows erfordert eine sorgfältige Planung.
• Potenzial für „Datensümpfe“: Wenn in einen Data Lake geladene Rohdaten nicht ordnungsgemäß katalogisiert, verwaltet und geregelt werden, kann der Data Lake zu einem „Datensumpf“ werden, in dem Daten schwer zu finden, kaum vertrauenswürdig oder wenig effektiv zu nutzen sind. Eine solide Datenverwaltungsstrategie ist entscheidend.
• Verantwortung für die Datenqualität: Da die Transformationen erst später im Prozess stattfinden, sind möglicherweise nach dem Laden zusätzliche Schritte erforderlich, um die Datenqualität zu gewährleisten. Das Monitoring und die Validierung von Daten im Zielsystem werden wichtig.

Wenn Unternehmen diese Herausforderungen proaktiv angehen, können sie die Vorteile des ELT-Paradigmas voll ausschöpfen.

Es ist wichtig, den Unterschied zwischen ELT und dem traditionelleren ETL-Prozess (Extrahieren, Transformieren, Laden) zu verstehen, um die richtige Datenintegrationsstrategie zu wählen. Der Hauptunterschied besteht darin, wann und wo der Transformationsschritt erfolgt.

ELT ist das von Google Cloud empfohlene Muster für die Datenintegration. Bei ELT werden Daten aus Quellsystemen extrahiert, in BigQuery geladen und dann in das gewünschte Format für die Analyse transformiert. Im Gegensatz zu ETL (Extrahieren, Transformieren, Laden), bei dem die Daten vor dem Laden in ein Data Warehouse transformiert werden, können Sie mit dem ELT-Ansatz die volle Leistungsfähigkeit von BigQuery nutzen, um Datentransformationen durchzuführen, und jeder SQL-Nutzer kann effektiv Datenintegrationspipelines entwickeln.

Die Wahl zwischen ELT und ETL hängt oft von spezifischen Anwendungsfällen, der vorhandenen Infrastruktur, den Datenmengen und den analytischen Anforderungen des Unternehmens ab. In vielen modernen Datenarchitekturen wird auch ein hybrider Ansatz verwendet, bei dem ELT und ETL für verschiedene Teile der Pipeline eingesetzt werden.