Un data lakehouse es una arquitectura de datos moderna que crea una única plataforma combinando las principales ventajas de los data lakes (grandes repositorios de datos en bruto en su forma original) y los almacenes de datos (conjuntos organizados de datos estructurados). En concreto, los data lakehouses permiten a las organizaciones utilizar un almacenamiento de bajo coste para almacenar grandes cantidades de datos en bruto mientras proporcionan estructuras y funciones de gestión de datos. 

Antes, los almacenes de datos y los data lakes tenían que implementarse como arquitecturas independientes y aisladas para no sobrecargar los sistemas subyacentes y crear contención por los mismos recursos. Para ello, las empresas utilizaban almacenes de datos para almacenar datos estructurados para la inteligencia empresarial (BI), informes y lagos de datos para almacenar datos sin estructurar y semiestructurados para almacenar cargas de trabajo de aprendizaje automático. Sin embargo, este enfoque debía cambiar de forma periódica los datos entre los dos sistemas para procesarlos conjuntamente, lo que suponía mayor complejidad, más costes y problemas relacionados con la actualización, la duplicación y la coherencia de los datos. 

El objetivo de los data lakehouses es acabar con estos silos y ofrecer la flexibilidad, escalabilidad y agilidad necesarias para que tus datos generen valor para tu negocio, y no una ineficiencia.

El término "data lakehouse" combina dos tipos de repositorios de datos: el almacén de datos y el data lake. Entonces, ¿qué diferencias hay entre un data lakehouse, un data lake y un almacén de datos?

Los almacenes de datos proporcionan acceso rápido a compatibilidad con datos y SQL para los usuarios empresariales que necesitan generar informes y estadísticas para tomar decisiones. Todos los datos deben pasar por la fase de extracción, transformación y carga (ETL). Esto significa que se optimiza con un formato o esquema específico en función del caso práctico antes de cargarlo para admitir consultas de alto rendimiento y la integridad de los datos. Sin embargo, este método limita la flexibilidad de acceso a los datos y genera costes adicionales si es necesario trasladarlos para utilizarlos en el futuro. 

Los data lakes almacenan grandes cantidades de datos estructurados y sin estructurar en su formato nativo. A diferencia de los almacenes de datos, los datos se procesan, limpian y transforman durante los análisis para que la velocidad de carga sea más rápida, por lo que son ideales para el procesamiento de Big Data, el aprendizaje automático y las analíticas predictivas. Sin embargo, requieren experiencia en la ciencia de datos, lo que limita el conjunto de personas que pueden utilizar los datos y, si no se mantienen de forma adecuada, la calidad de los datos se puede deteriorar con el tiempo. Los data lakes también dificultan la obtención de consultas en tiempo real, ya que los datos no se procesan, por lo que posiblemente tengan que limpiarse, procesar, ingerir e integrar antes de poder usarse. 

Un data lakehouse combina esos dos enfoques para crear una única estructura que te permite acceder a datos y aprovecharlos para muchos fines, como la inteligencia empresarial, la ciencia de datos o el aprendizaje automático. En otras palabras, un data lakehouse recoge todos los datos no estructurados, estructurados y semiestructurados de tu organización y los almacena en un almacenamiento de bajo coste. Además, ofrece a todos los usuarios la posibilidad de organizar y consultar los datos según sus necesidades.

Estas son algunas de las funciones clave de un data lakehouse: 

• Un solo almacén de datos de bajo coste para todos los tipos de datos (estructurados, sin estructurar y semiestructurados)
• Funciones de gestión de datos para aplicar esquemas, aplicar el gobierno de datos y proporcionar procesos de extracción, transformación y carga (ETL) y limpieza de datos
• Compatibilidad de las transacciones con las propiedades ACID (atomicidad, coherencia, aislamiento y durabilidad) para asegurar la coherencia de los datos cuando varios usuarios leen y escriben datos simultáneamente
• Formatos de almacenamiento estandarizados que se pueden usar en varios programas de software
• Streamings de extremo a extremo que permiten la ingestión de datos y la generación de estadísticas en tiempo real
• Separa los recursos de computación y almacenamiento para asegurar la escalabilidad para un conjunto diverso de cargas de trabajo

Acceso directo de las aplicaciones de inteligencia empresarial a los datos de origen del lakehouse para reducir la duplicación de datos

A la hora de hacer que un data lakehouse funcione, hay que tener en cuenta sus objetivos. El objetivo de los data lakehouses es centralizar las distintas fuentes de datos y simplificar los esfuerzos de ingeniería para que todos los miembros de tu organización puedan ser usuarios de datos. 

Los data lakehouse utilizan el mismo bajo coste de almacenamiento de objetos en la nube de los data lakes para proporcionar almacenamiento bajo demanda y facilitar el aprovisionamiento y el escalado. Al igual que los data lakes, pueden capturar y almacenar grandes volúmenes de todo tipo de datos en formato sin procesar. El lakehouse integra capas de metadatos en este almacén para proporcionar funciones similares a las de un almacén, como esquemas estructurados, compatibilidad con transacciones ACID, gobierno de datos y otras funciones de gestión y optimización de datos.

El concepto de "data lakehouse" sigue siendo una arquitectura relativamente nueva, lo que significa que algunos de los mayores desafíos tienen que ver con el hecho de que está evolucionando y las prácticas recomendadas todavía están siendo definidas por los primeros usuarios. 

Además, crear data lakehouses también es difícil de construir desde cero. En la mayoría de los casos, deberás optar por una solución de data lakehouse lista para usar o utilizar una plataforma como Google Cloud que ofrece todos los componentes necesarios para crear una arquitectura abierta de lakehouse.

Una arquitectura de data lakehouse consta de las siguientes capas: 

• Capa de almacenamiento: la capa de almacenamiento es la capa de data lake que se aplica a todos los datos en bruto. Por lo general, se trata de un almacén de objetos de bajo coste para todos los conjuntos de datos no estructurados, estructurados y semiestructurados. Está desvinculado de los recursos de computación para que la informática se pueda escalar de forma independiente. 
• Capa de staging: se trata de la capa de metadatos que se encuentra sobre la capa de data lake. Ofrece un catálogo detallado sobre todos los objetos de datos almacenados en el almacenamiento, lo que te permite aplicar funciones de gestión de datos, como la implementación de esquemas, las propiedades ACID, la indexación, el almacenamiento en caché y el control de acceso.
• Capa semántica: la capa semántica (es decir la capa lakehouse) muestra todos tus datos para que los usuarios puedan usar aplicaciones cliente y herramientas de analíticas para acceder a los datos y aprovecharlos para hacer pruebas y presentar la inteligencia empresarial. 

Existen varios ejemplos de data lakehouse, como Databricks Lakehouse Platform y Amazon Redshift Spectrum. Sin embargo, a medida que las tecnologías siguen madurando y la adopción de "data lakehouse" ha aumentado, la implementación ha dejado de acoplar componentes de lakehouse a un lago de datos específico. 

Por ejemplo, el enfoque de Google Cloud ha sido unificar las funciones básicas de las operaciones de datos empresariales, los data lakes y los almacenes de datos. Esta implementación sitúa la capacidad de almacenamiento y de computación de BigQuery en el centro de la arquitectura de data lakehouse. Después, puedes aplicar un enfoque de gobernanza unificado y otras funciones de tipo almacén mediante Dataplex y Analytics Hub. 

BigQuery no solo está integrado en el ecosistema de Google Cloud, sino que también te permite utilizar tecnologías de partners y de software libre para reunir en un único sistema las mejores funciones de los lagos y almacenes.

Seguimos trabajando con este enfoque con el lanzamiento de BigLake, que ahora se encuentra en versión preliminar, un motor de almacenamiento unificado que simplifica el acceso de los datos a los almacenes de datos y los data lakes. Puedes aplicar un control de acceso pormenorizado y agilizar el rendimiento de las consultas en los datos distribuidos.