Was ist Apache Iceberg?

Apache Iceberg erfüllt eine Vielzahl von Zwecken in modernen Datenarchitekturen, insbesondere in solchen, die Data Lakes nutzen. Zu den wichtigsten Anwendungsfällen gehören:

• Verlässliche Data Lakes ermöglichen: Iceberg sorgt dafür, dass Vorgänge atomare, konsistente, isolierte und langlebige (ACID; Atomic, Consistent, Isolated, Durable) Operationen sind. So werden Datenbeschädigungen und Inkonsistenzen vermieden, die bei herkömmlichen dateibasierten Ansätzen auftreten können.
• Unterstützung der Schemaentwicklung: Im Gegensatz zu älteren Tabellenformaten, die oft mit Schemaänderungen zu kämpfen haben, ermöglicht Iceberg eine nahtlose und sichere Evolution der Schemas. Sie können Spalten hinzufügen, entfernen oder umbenennen, ohne laufende Abfragen zu unterbrechen oder kostspielige Datenmigrationen durchzuführen.
• Zeitreisefunktionen: Iceberg verwaltet einen Verlauf von Tabellen-Snapshots, sodass Nutzer Daten so abfragen können, wie sie zu einer bestimmten Zeit existierten. Das ist für die Prüfung, das Debuggen und die Wiedergabe von Analysen von unschätzbarem Wert.
• Optimierung der Abfrageleistung: Die Metadatenverwaltung von Iceberg ermöglicht es Abfrage-Engines, unnötige Datendateien effizient zu bereinigen und so die Abfrageausführung zu beschleunigen, insbesondere bei großen Datasets.
• Erleichterte Datenverwaltung: Funktionen wie die Versionsverwaltung von Tabellen und die Metadatenverwaltung unterstützen die Data Governance und Compliance-Bemühungen, indem sie eine klare Audit-Trail der Datenänderungen bieten.
• Data Lakehouses erstellen: Iceberg ist eine grundlegende Komponente für die Erstellung von Data Lakehouses, die die Skalierbarkeit und Flexibilität von Data Lakes mit den Funktionen zum Datenmanagement von Data Warehouses kombinieren. So können sowohl analytische als auch betriebliche Arbeitslasten auf denselben Daten ausgeführt werden.
• Verbesserte Datenzuverlässigkeit für Machine Learning: Konsistente und versionierte Datasets, die von Iceberg bereitgestellt werden, sind entscheidend für das Training und die Bereitstellung zuverlässiger Modelle für Machine Learning. Data Scientists können mithilfe von historischen Daten-Snapshots ganz einfach Experimente wiederholen.

Im Kern funktioniert Apache Iceberg über eine Metadatenebene, die über den tatsächlichen Datendateien in Ihrem Data Lake liegt. Diese Metadaten erfassen die Struktur und den Inhalt Ihrer Tabellen auf eine organisiertere und robustere Weise als herkömmliche dateibasierte Systeme. Hier eine Übersicht der wichtigsten Mechanismen:

1. Metadatenverwaltung: Iceberg verwaltet Metadatendateien, die das Schema der Tabelle, die Partitionen und die Speicherorte der Datendateien beschreiben. Diese Metadatendateien werden normalerweise zusammen mit den Daten im Data Lake gespeichert.
2. Katalog: Iceberg verwendet einen Katalog, um den Speicherort der aktuellen Metadaten pro Tabelle zu verwalten. Dieser Katalog kann ein Dienst wie der Hive Metastore, eine auf einem Dateisystem basierende Implementierung oder ein cloudnativer Katalogdienst sein.
3. Tabellen-Snapshots: Jedes Mal, wenn eine Änderung an der Tabelle vorgenommen wird (z. B. Daten hinzufügen, Daten löschen oder Schemaentwicklung), erstellt Iceberg einen neuen Snapshot der Metadaten der Tabelle. Diese Snapshots sind unveränderbar und bieten einen Verlaufsdatensatz des Zustands der Tabelle.
4. Manifestlisten und Manifestdateien: Jeder Snapshot verweist auf eine Manifestliste, die wiederum eine oder mehrere Manifestdateien auflistet. Manifestdateien enthalten Metadaten zu einzelnen Datendateien, darunter Speicherorte, Partitionswerte und Statistiken (wie Zeilenanzahl und Wertebereiche).
5. Datei mit Daten: Dies sind die eigentlichen Parquet-, ORC- oder Avro-Dateien, in denen Ihre Daten im Data Lake gespeichert werden. Die Metadaten von Iceberg protokollieren diese Dateien und ihre Organisation innerhalb der Tabelle.

Die Architektur von Apache Iceberg umfasst mehrere wichtige Komponenten, die zusammenarbeiten:

• Data Lake-Speicher : Dies ist die zugrundeliegende Speicherebene, z. B. Cloud Storage, in der die eigentlichen Datendateien (in Formaten wie Parquet, ORC oder Avro) und die Metadatendateien von Iceberg gespeichert werden.
• Iceberg-Katalog: Diese Komponente ist für die Verwaltung der Metadaten-Pointer für Iceberg-Tabellen zuständig. Sie fungiert als zentrales Verzeichnis, das die aktuelle Version der Metadaten der einzelnen Tabellen verfolgt. Übliche Katalogimplementierungen sind:
• Hive Metastore: Ein weit verbreitetes Metadaten-Repository, das oft mit Hadoop-basierten Systemen verwendet wird.
• Dateisystemkatalog: Eine einfache Implementierung, bei der die Kataloginformationen direkt im Dateisystem des Data Lake gespeichert werden.
• Cloudnative Katalogdienste: Verwaltete Dienste, die von Cloud-Anbietern zum Speichern und Verwalten von Metadaten angeboten werden.
• Metadaten für Iceberg: Diese bestehen aus mehreren Ebenen von Metadatendateien, die die Struktur und Daten der Tabelle verfolgen:
• Tabellen-Metadatendatei: Diese Datei verweist auf die aktuelle Manifestliste und enthält allgemeine Informationen zur Tabelle, z. B. das Schema und die Partitionierungsspezifikation.
• Manifestliste: Diese Datei enthält eine Liste der Manifestdateien, die Metadaten zu den Datendateien in einem bestimmten Snapshot der Tabelle enthalten.
• Manifestdateien: Diese Dateien enthalten detaillierte Informationen zu einzelnen Datendateien, darunter Speicherorte, Partitionswerte und Statistiken.
• Abfrage-Engines und Verarbeitungsframeworks: Dies sind die Tools, die mit Iceberg-Tabellen interagieren, um Daten zu lesen und zu schreiben. Diese Engines nutzen die Metadaten von Iceberg, um die Abfrageplanung und ‑ausführung zu optimieren.
• Computing-Ressourcen: Dies ist die zugrunde liegende Infrastruktur (z. B. virtuelle Maschinen und Container), auf der die Abfrage-Engines und Verarbeitungsframeworks ausgeführt werden.

Apache Iceberg erweitert die Möglichkeiten von Data Lakes erheblich, da ein zuverlässiges und leistungsfähiges Tabellenformat hinzugefügt wird. In herkömmlichen Data Lakes ohne ein Tabellenformat wie das von Iceberg sind Daten oft nur eine Sammlung von Dateien. Das kann zu mehreren Herausforderungen führen:

• Fehlende Schema-Weiterentwicklung: Die Änderung der Datenstruktur kann komplex und fehleranfällig sein.
• Inkonsistente Lesungen: Gleichzeitige Schreibvorgänge können dazu führen, dass Abfragen einen Mix aus alten und neuen Daten lesen.
• Langsame Abfrageleistung: Ohne Metadaten, die Abfrage-Engines leiten, müssen diese oft große Teile der Daten durchsuchen.
• Schwierigkeiten bei der Datenverwaltung: Funktionen wie Zeitreise und Versionsverwaltung sind nicht ohne Weiteres verfügbar.

Iceberg spricht diese Einschränkungen an, indem es eine strukturierte Schicht über dem Data Lake bereitstellt. Es bringt so Datenbank-ähnliche Funktionen in Data Lakes und verwandelt diese in leistungsstärkere und besser verwaltebare Data Lakehouses. Durch die Verwaltung von Tabellen als Sammlungen von Dateien mit umfangreichen Metadaten ermöglicht Iceberg Folgendes:

• Zuverlässiger und konsistenter Datenzugriff: ACID-Eigenschaften sorgen für Datenintegrität
• Effiziente Abfrageverarbeitung: Metadatengestütztes Überspringen und Filtern von Daten beschleunigt Abfragen.
• Flexibles Datenmanagement: Schema-Entwicklung und Zeitreise vereinfachen die Datenpflege und -analyse
• Interoperabilität: Iceberg ist mit verschiedenen Abfrage-Engines und Verarbeitungsframeworks kompatibel, die häufig in Data Lakes verwendet werden.