Um data lakehouse usa o armazenamento de objetos em nuvem de baixo custo dos data lakes para fornecer armazenamento escalonável e sob demanda para grandes volumes de dados em formato bruto. Em seguida, ele integra camadas de metadados a esse repositório para fornecer desempenho e otimização semelhantes aos de um data warehouse.

A arquitetura consiste em três camadas principais:

• Camada de armazenamento: um repositório de objetos de baixo custo para todos os conjuntos de dados brutos, desacoplado dos recursos de computação para permitir o escalonamento independente
• Camada de preparo: uma camada de metadados que fornece um catálogo detalhado, aplicando recursos de gerenciamento como indexação, armazenamento em cache e controle de acesso
• Camada semântica: a camada voltada para o usuário em que aplicativos cliente, ferramentas de análise e cientistas de dados acessam os dados para experimentação e apresentação de BI

Para os cientistas de dados, a arquitetura de data lakehouse é um fator essencial para a análise de dados de IA e o machine learning.

• Alta escalonabilidade: a computação e o armazenamento desacoplados oferecem escalonabilidade quase ilimitada e instantânea para o treinamento de modelos em grande escala
• Suporte a diversas cargas de trabalho: os cientistas de dados podem conectar frameworks de IA, mecanismos de SQL e ferramentas de análise diretamente ao mesmo repositório
• Qualidade de dados aprimorada: esquemas e integridade de dados aplicados garantem que os modelos de ML sejam treinados com dados confiáveis, consistentes e atualizados
• Governança unificada : o gerenciamento centralizado facilita a implementação de controles de segurança em conjuntos de dados usados para BI e IA

A abordagem do Google Cloud se concentra em uma arquitetura aberta, gerenciada e de alto desempenho que aproveita o melhor dos padrões de código aberto e da tecnologia sem servidor. 

O Apache Iceberg está mudando os lakehouses ao trazer recursos de data warehouse, como viagem no tempo e evolução de esquema, diretamente para os data lakes.  O Google Cloud Lakehouse permite armazenamento, governança e desempenho corporativos para criar casos de uso de IA analíticos, operacionais e em tempo real escalonáveis em um lakehouse aberto unificado, entre nuvens e multimodal. Isso permite que você aproveite os mecanismos de código aberto diretamente no Cloud Storage, evitando o bloqueio de fornecedores.

Obtenha acesso aos dados em alta velocidade e baixa latência, independentemente da localização. A federação de catálogos entre nuvens unifica a descoberta e a análise em diversos ecossistemas.

O BigQuery é a plataforma autônoma de dados para IA sem servidor do Google. Ele automatiza todo o ciclo de vida dos dados e pode consultar diretamente tabelas do Iceberg no Cloud Storage, permitindo que os usuários aproveitem análises SQL avançadas em dados gerenciados sem a necessidade de movimentação de dados 

O Knowledge Catalog oferece governança unificada e gerenciamento de metadados com tecnologia de IA em todos os seus lakehouses. Ele garante uma semântica consistente para analistas de dados e agentes de IA, eliminando silos entre metadados técnicos e de negócios.

Com o Serviço Gerenciado para Apache Spark, os engenheiros e cientistas de dados podem desenvolver aplicativos em ferramentas conhecidas, como os notebooks do BigQuery Studio. É possível enviar jobs com um único comando, sem precisar criar, configurar ou gerenciar clusters.