Los data lakehouses utilizan el mismo almacén de objetos en la nube de bajo coste que los data lakes para proporcionar un almacenamiento bajo demanda y escalable de grandes volúmenes de datos en bruto. Luego, integra capas de metadatos en ese almacén con el objetivo de ofrecer un rendimiento y una optimización similares a los de un almacén de datos.

La arquitectura consta de tres capas principales:

• Capa de almacenamiento: un almacén de objetos de bajo coste para todos los conjuntos de datos en bruto, separado de los recursos de computación para permitir el escalado independiente
• Capa de staging: una capa de metadatos que proporciona un catálogo detallado y aplica funciones de gestión como la indexación, el almacenamiento en caché y el control de acceso
• Capa semántica: la capa que ven los usuarios, donde las aplicaciones cliente, las herramientas de analíticas y los científicos de datos acceden a los datos para hacer pruebas y presentar la inteligencia empresarial

Para los científicos de datos, la arquitectura de data lakehouse es un factor clave para la analítica de datos con IA y el aprendizaje automático.

• Alta escalabilidad: la computación y el almacenamiento desacoplados proporcionan una escalabilidad casi ilimitada e instantánea para entrenar modelos a gran escala
• Compatibilidad con diversas cargas de trabajo: los científicos de datos pueden conectar frameworks de IA, motores de SQL y herramientas de exploración directamente al mismo repositorio
• Mejora de la calidad de los datos: la aplicación de esquemas y la integridad de datos aseguran que los modelos de aprendizaje automático se entrenen con datos fiables, coherentes y actualizados
• Gobernanza unificada: la gestión centralizada facilita la implementación de controles de seguridad en los conjuntos de datos que se usan tanto para la BI como para la IA.

La estrategia de Google Cloud se centra en una arquitectura abierta, gestionada y de alto rendimiento que aprovecha lo mejor de los estándares de código abierto y la tecnología sin servidor. 

Apache Iceberg está cambiando los lakehouses al incorporar funciones de almacén de datos, como el acceso a versiones anteriores y la evolución de esquemas directamente en los data lakes.  Google Cloud Lakehouse proporciona almacenamiento, gobernanza y rendimiento de nivel empresarial, lo que permite desarrollar casos prácticos de IA analíticos, operativos y en tiempo real de forma escalable sobre un lakehouse abierto, unificado, multinube y multimodal. De esta forma, puedes aprovechar los motores de código abierto directamente en Cloud Storage y, al mismo tiempo, evitar la dependencia de proveedores.

Consigue un acceso a los datos de alta velocidad y baja latencia, independientemente de la ubicación. La federación de catálogos multinube unifica el descubrimiento y el análisis en diversos ecosistemas.

BigQuery es la plataforma autónoma de datos a IA sin servidor de Google. Automatiza todo el ciclo de vida de los datos y puede consultar directamente las tablas de Iceberg en Cloud Storage, lo que permite a los usuarios aprovechar las potentes analíticas de SQL en los datos gestionados sin necesidad de transferirlos. 

Knowledge Catalog proporciona una gobernanza unificada y una gestión de metadatos basada en IA en todos tus lakehouses. Garantiza una semántica coherente tanto para los analistas de datos como para los agentes de IA, lo que elimina los silos entre los metadatos empresariales y técnicos.

Con Managed Service for Apache Spark, los ingenieros y científicos de datos pueden desarrollar aplicaciones en herramientas que ya conocen, como los cuadernos de BigQuery Studio. Puedes enviar trabajos con un solo comando sin tener que crear, configurar ni gestionar clústeres.