Las tablas de Iceberg son adecuadas para una gran variedad de casos prácticos de data lakes y lakehouses modernos, entre los que se incluyen los siguientes:

• Cumplimiento y privacidad: son ideales para data lakes que requieren eliminaciones frecuentes para cumplir las leyes de privacidad de los datos.
• Actualizaciones a nivel de registro: se pueden actualizar registros individuales sin tener que volver a publicar conjuntos de datos completos, como pueden ser datos de ventas que cambien como consecuencia de las devoluciones de los clientes.
• Gestión de cambios impredecibles: se admiten tablas de dimensiones de cambio lento (SCD), como registros de clientes en los que la información de contacto pueda cambiar a intervalos desconocidos.
• Acceso a versiones anteriores y auditoría: se mantiene un historial de capturas de las tablas, lo que permite a los usuarios consultar versiones antiguas para analizar tendencias o revertir y corregir problemas.
• Aprendizaje automático: se proporcionan conjuntos de datos coherentes y con control de versiones que son fundamentales para entrenar modelos fiables.

Distintos perfiles técnicos aprovechan las tablas de Iceberg para gestionar grandes conjuntos de datos de forma eficiente:

• Ingenieros y administradores de datos: pueden usar tablas de Iceberg para diseñar y crear sistemas de almacenamiento escalables y fiables.
• Analistas y científicos de datos: pueden usar tablas de Iceberg para analizar conjuntos de datos masivos aprovechando el entorno conocido de SQL y las capturas históricas reproducibles

Apache Iceberg introduce una capa de metadatos que se sitúa por encima de los propios archivos de datos de tu data lake. Estos metadatos registran la estructura y el contenido de tus tablas de una forma más organizada y sólida que los sistemas tradicionales basados en archivos. A continuación, se describen sus mecanismos clave:

• Gestión de metadatos: Iceberg mantiene archivos de metadatos que describen el esquema, las particiones y las ubicaciones de los archivos de datos de la tabla. Estos archivos de metadatos suelen almacenarse en el data lake junto con los datos.
• Catálogo: Iceberg utiliza un catálogo para llevar un registro de la ubicación de los metadatos actuales de cada tabla. Este catálogo puede ser un servicio como Hive Metastore, una implementación basada en un sistema de archivos o un servicio de catálogo nativo de la nube.
• Instantáneas de tablas: cada vez que se hace un cambio en la tabla (por ejemplo, añadir o eliminar datos o evolucionar el esquema), Iceberg crea una nueva instantánea de los metadatos de la tabla. Estas instantáneas son inmutables y proporcionan un registro histórico del estado de la tabla.
• Listas de manifiestos y archivos de manifiestos: cada instantánea apunta a una lista de manifiestos, que a su vez contiene uno o varios archivos de manifiestos. Los archivos de manifiesto contienen metadatos sobre archivos de datos individuales, como su ubicación, los valores de partición y las estadísticas (como el número de filas y los intervalos de valores).

La arquitectura de Apache Iceberg consta de varios componentes clave que funcionan en conjunto:

• Almacenamiento de data lake: es la capa de almacenamiento subyacente, como Cloud Storage, donde se almacenan los propios archivos de datos (en formatos como Parquet, ORC o Avro) y los archivos de metadatos de Iceberg.
• Catálogo REST de Iceberg: este componente se encarga de gestionar los punteros de metadatos de las tablas de Iceberg. Actúa como un registro central que registra la versión actual de los metadatos de cada tabla. Estas son algunas de las implementaciones de catálogos más habituales:
• Metastore de Hive: un repositorio de metadatos muy utilizado que se suele emplear con sistemas basados en Hadoop.
• Catálogo del sistema de archivos: una implementación sencilla en la que la información del catálogo se almacena directamente en el sistema de archivos del data lake.
• Servicios de catálogo nativos de la nube: servicios gestionados que ofrecen los proveedores de servicios en la nube para almacenar y gestionar metadatos.
• Metadatos del iceberg: consta de varias capas de archivos de metadatos que registran la estructura y los datos de la tabla:
• Archivo de metadatos de la tabla: este archivo apunta a la lista de manifiestos actual y contiene información general sobre la tabla, como su esquema y la especificación de particiones.
• Lista de archivos de manifiesto: este archivo incluye una lista de los archivos de manifiesto que contienen metadatos sobre los archivos de datos en una captura específica de la tabla.
• Archivos de manifiesto: estos archivos contienen información detallada sobre archivos de datos individuales, como su ubicación, valores de partición y estadísticas.
• Motores de consultas y frameworks de procesamiento: son las herramientas que interactúan con las tablas de Iceberg para leer y escribir datos. Estos motores aprovechan los metadatos de Iceberg para optimizar la planificación y la ejecución de consultas.
• Recursos de computación: son la infraestructura subyacente (por ejemplo, máquinas virtuales y contenedores) que ejecutan los motores de consultas y los frameworks de procesamiento.

Apache Iceberg mejora significativamente las funciones de los data lakes al añadir un formato de tabla fiable y eficaz. En los lagos de datos tradicionales que no tienen un formato de tabla como Iceberg, los datos suelen ser solo una colección de archivos. Esto puede dar lugar a varios problemas:

• Falta de evolución de esquemas: cambiar la estructura de los datos puede ser complejo y dar lugar a errores
• Lecturas inconsistentes: las operaciones de escritura simultáneas pueden hacer que las consultas lean una mezcla de datos antiguos y nuevos
• Rendimiento lento de las consultas: sin metadatos que orienten a los motores de consultas, a menudo tienen que analizar grandes porciones de datos
• Dificultad para gestionar los datos: las funciones, como el viaje en el tiempo y la gestión de versiones, no están disponibles fácilmente.

Iceberg aborda estas limitaciones proporcionando una capa estructurada encima del data lake. Aporta funciones similares a las de una base de datos a los data lakes, convirtiéndolos en data lakehouses más potentes y fáciles de gestionar. Al gestionar las tablas como colecciones de archivos con metadatos detallados, Iceberg permite:

• Acceso a datos fiable y coherente: las propiedades ACID garantizan la integridad de los datos
• Procesamiento de consultas eficiente: el uso de metadatos para omitir y filtrar datos agiliza las consultas
• Gestión de datos flexible: la evolución de esquemas y el viaje en el tiempo simplifican el mantenimiento y el análisis de datos
• Interoperabilidad: Iceberg está diseñado para ser compatible con varios motores de consultas y frameworks de procesamiento que se suelen usar con los data lakes.