Um data lakehouse é uma arquitetura de dados moderna que cria uma única plataforma combinando os principais benefícios dos data lakes (grandes repositórios de dados brutos em sua forma original) e dos data warehouse (conjuntos organizados de dados estruturados). Especificamente, os data lakehouse permitem que as organizações usem o armazenamento de baixo custo para armazenar grandes quantidades de dados brutos, ao mesmo tempo que fornecem funções de estrutura e gerenciamento de dados. 

Historicamente, os data warehouses e os data lakes precisavam ser implementados como arquiteturas separadas e em silos para evitar sobrecarregar os sistemas subjacentes e criar contenção para os mesmos recursos. As empresas usaram data warehouses para armazenar dados estruturados de Business Intelligence (BI) e relatórios e data lakes para armazenar dados não estruturados e semiestruturados para cargas de trabalho de machine learning (ML). No entanto, essa abordagem exigia que os dados fossem transferidos regularmente entre os dois sistemas separados, quando os dados das duas arquiteturas precisavam ser processados juntos, criando complexidade, custos mais altos e problemas com atualização e duplicação de dados. e consistência. 

O objetivo dos data lakehouses é eliminar esses silos e fornecer a flexibilidade, a escalonabilidade e a agilidade necessárias para garantir que os dados gerem valor para sua empresa, e não ineficiências.

O termo "data lakehouse" mescla dois tipos de repositórios de dados existentes: o data warehouse e o data lake. Então, quais são exatamente as diferenças quando se trata de um data lakehouse, um data lake ou um data warehouse? 

Os data warehouses fornecem acesso rápido a dados e compatibilidade de SQL para usuários corporativos que precisam gerar relatórios e insights para tomar decisões. Todos os dados precisam passar pela fase ETL (extrair, transformar, carregar). Isso significa que ele é otimizado em um formato ou esquema específico, baseado no caso de uso antes de ser carregado para oferecer suporte a consultas de alto desempenho e integridade de dados. No entanto, essa abordagem limita a flexibilidade do acesso aos dados e cria custos adicionais caso seja necessário mover os dados para uso futuro. 

Os data lakes armazenam grandes quantidades de dados não estruturados e estruturados no formato nativo deles. Ao contrário dos data warehouse, os dados são processados, limpos e transformados durante a análise para permitir velocidades de carregamento mais rápidas, tornando-os ideais para processamento de Big Data, machine learning ou análise preditiva. No entanto, elas exigem conhecimento em ciência de dados, o que limita o conjunto de pessoas que podem usá-los e, se não forem bem mantidas, a qualidade dos dados pode se deteriorar ao longo do tempo. Os data lakes também dificultam o recebimento de consultas em tempo real à medida que os dados não são processados. Portanto, ainda é necessário que eles sejam limpos, processados, ingeridos e integrados antes de serem usados. 

Um data lakehouse mescla essas duas abordagens para criar uma estrutura única que permite acessar e aproveitar os dados para muitas finalidades, desde BI, ciência de dados até machine learning. Em outras palavras, um data lakehouse captura todos os dados não estruturados, estruturados e semiestruturados da sua organização e os armazena em armazenamento de baixo custo enquanto fornece os recursos para todos os usuários organizarem e analisarem os dados de acordo com as necessidades deles. 

Os principais recursos do data lakehouse incluem: 

• Repositório de dados de baixo custo e único para todos os tipos de dados (estruturados, não estruturados e semiestruturados) 
• Recursos de gerenciamento de dados para aplicar esquemas, aplicar a governança de dados e fornecer processos ETL e limpeza de dados
• Suporte a transações para propriedades ACID (atomicidade, consistência, isolamento e durabilidade) para garantir a consistência dos dados quando vários usuários leem e gravam dados simultaneamente. 
• Formatos de armazenamento padronizados que podem ser usados em vários programas de software
• Streaming completo para dar suporte à ingestão de dados e geração de insights em tempo real 
• Recursos de computação e armazenamento separados para garantir escalonabilidade para um conjunto diversificado de cargas de trabalho

Acesso direto de apps de BI aos dados de origem no lakehouse para reduzir a duplicação de dados. 

Quando se trata de fazer um data lakehouse funcionar, é importante considerar o que ele está tentando alcançar. O objetivo dos data lakehouses é centralizar fontes de dados diferentes e simplificar os esforços de engenharia para que todos na organização possam ser usuários de dados. 

Um data lakehouse usa o mesmo armazenamento de objetos em nuvem de baixo custo dos data lakes para fornecer armazenamento sob demanda para facilitar o provisionamento e o escalonamento. Como um data lake, ele pode capturar e armazenar grandes volumes de todos os tipos de dados em formato bruto. O lakehouse integra camadas de metadados a esse armazenamento para fornecer recursos semelhantes aos do armazenamento, como esquemas estruturados, suporte para transações ACID, governança de dados e outros recursos de otimização e gerenciamento de dados.

O conceito de data lakehouse ainda é uma arquitetura relativamente nova, o que significa que alguns dos maiores desafios estão relacionados ao fato de que ele está evoluindo e as práticas recomendadas ainda estão sendo definidas pelos primeiros usuários. 

Além disso, data lakehouses são complexos desde a criação. Na maioria dos casos, você vai precisar optar por uma solução de data lake pronta para uso ou usar uma plataforma como o Google Cloud, que oferece todos os componentes necessários para oferecer suporte a uma arquitetura de data lakehouse aberto.

Uma arquitetura de data lakehouse consiste nas seguintes camadas: 

• Camada de armazenamento: a camada de armazenamento é a camada de data lake para todos os seus dados brutos, normalmente um armazenamento de objetos de baixo custo para todos os tipos de dados conjuntos de dados estruturados. Ela é separada dos recursos de computação para que a computação possa ser escalonada de maneira independente. 
• Camada de preparação: a camada de preparação é a camada de metadados localizada acima da camada de data lake. Ele fornece um catálogo detalhado sobre todos os objetos de dados no armazenamento, permitindo que você aplique recursos de gerenciamento de dados, como aplicação de esquemas, propriedades ACID, indexação, armazenamento em cache e controle de acesso.
• Camada semântica: a camada semântica, a camada do lakehouse, expõe todos os seus dados para uso, em que os usuários podem usar aplicativos cliente e ferramentas de análise para acessar e aproveitar os dados para experimentação e apresentação de Business Intelligence. 

Há vários exemplos de data lakehouse, incluindo a plataforma Databricks Lakehouse e o Amazon Redshift Spectrum. No entanto, à medida que as tecnologias continuam a melhorar e a adoção de data lakehouse aumenta, a implementação mudou do acoplamento de componentes de lakehouse para um data lake específico. 

Por exemplo, a abordagem do Google Cloud foi unificar os recursos principais das operações de dados corporativos, data lakes e data warehouses. Essa implementação coloca a capacidade de armazenamento e computação do BigQuery no coração da arquitetura de data lakehouse. É possível, então, aplicar uma abordagem de governança unificada e outros recursos semelhantes aos do warehouse usando o Dataplex e o Analytics Hub. 

O BigQuery não é apenas integrado ao ecossistema do Google Cloud, mas também permite que você use tecnologias de parceiros e de código aberto para reunir o melhor dos recursos de lake e warehouse em um único sistema.

Continuamos desenvolvendo essa abordagem com o lançamento do BigLake, agora em pré-lançamento, um mecanismo de armazenamento unificado que simplifica o acesso aos dados dos data warehouses e dos data lakes. É possível aplicar controle de acesso detalhado e acelerar o desempenho da consulta em dados distribuídos.