Ative seus dados, não importa onde eles estejam, com o Lakehouse sem fronteiras do Google Cloud

O Lakehouse sem fronteiras do Google Cloud é uma arquitetura de dados aberta e descentralizada, baseada no Apache Iceberg, que capacita mecanismos de análise e agentes de IA a consultar, analisar e agir sobre dados em nuvens híbridas, ambientes locais e SaaS, tudo isso diretamente na origem, sem a necessidade de movimentação de dados ou pipelines de ETL. Ele funciona ao separar os recursos computacionais de análise do armazenamento, usando o padrão aberto de catálogo REST do Iceberg para sincronizar esquemas de tabelas em nuvens distribuídas. Mecanismos de execução como o BigQuery e o Serviço Gerenciado para Apache Spark executam consultas vetorizadas e funções de IA no local em dados remotos. Isso transforma os dados corporativos distribuídos em um sistema de ação único e unificado, sem forçar as equipes a migrar arquivos físicos.

A federação de catálogos multicloud no Lakehouse sem fronteiras aproveita o padrão aberto de catálogo REST do Apache Iceberg para oferecer descoberta e execução de metadados de forma segura e bidirecional entre o AWS Glue, o Databricks Unity Catalog e o Snowflake Horizon Catalog. Em vez de copiar conjuntos de dados, os mecanismos de consulta leem esquemas de tabelas e arquivos de manifesto remotamente por endpoints seguros. Isso permite que o BigQuery, o Serviço Gerenciado para Apache Spark e os mecanismos de código aberto consultem tabelas multicloud no local, mantendo a governança unificada em repositórios de objetos diferentes.

A integração de SaaS sem cópia leva o Lakehouse sem fronteiras diretamente para a camada de aplicativos corporativos, permitindo que o BigQuery realize consultas em tempo real em sistemas transacionais ativos, como SAP, Salesforce e Workday, sem a necessidade de construir pipelines de ETL. Ao consultar os dados em seu local de origem, as organizações eliminam a latência de pipeline e as falhas de sincronização de dados. Essa conectividade direta também permite que as funções de IA do BigQuery sejam executadas diretamente em dados em tempo real de ERP, CRM e RH, simplificando a análise de dados corporativos entre domínios.

Os bancos de dados transacionais são integrados ao Lakehouse sem fronteiras por meio do Spanner Omni, que opera em ambientes multicloud fora do Google Cloud, e do Lakehouse Federation para AlloyDB. Essa ponte bidirecional permite que os sistemas operacionais consultem dados analíticos do Lakehouse diretamente, sem a necessidade de esperar por sincronizações em lote. Como resultado, desenvolvedores e engenheiros de dados podem combinar registros transacionais ativos com petabytes de dados analíticos históricos em tempo real, impulsionando aplicativos operacionais de baixa latência e painéis em tempo real.

O Lakehouse sem fronteiras conecta agentes de raciocínio autônomos ao Knowledge Catalog, um mecanismo contextual ininterrupto que fornece metadados de negócios, linhagem e definições semânticas precisas sem a necessidade de mover os dados de origem. Ao alimentar os comandos do LLM com um contexto de negócios preciso e pré-filtrado, a arquitetura pode ajudar a evitar alucinações do modelo e eliminar loops de raciocínio desnecessários do agente. Esse embasamento semântico melhora a precisão das respostas de agentes autônomos como o Gemini Enterprise, além de reduzir o consumo de tokens.

O Lakehouse sem fronteiras reduz o custo total de propriedade (TCO) e garante maior previsibilidade ao utilizar o Cross-Cloud Interconnects com preços de taxa fixa, o que elimina a variação nos custos de saída de dados (egress) da AWS. Para maximizar o desempenho das consultas em nuvens distribuídas, o sistema combina o armazenamento em cache local inteligente entre nuvens com o mecanismo de execução vetorizado do BigQuery, garantindo tempos de resposta inferiores a um segundo. Ao substituir o armazenamento duplicado e os recursos computacionais de ETL instáveis, as organizações reduzem significativamente os gastos com infraestrutura em nuvem e o overhead operacional.