Lakehouse para Apache Iceberg (antigo BigLake)

Modernize sua base de dados com o Lakehouse do Google. Migre o Hadoop legado para o Cloud Storage sem servidor e unifique os dados entre nuvens consultando o Iceberg e o Delta Lake diretamente no BigQuery. O catálogo REST do Lakehouse Iceberg elimina silos, oferecendo um ambiente de execução interoperável para Spark, Trino e Flink. Com o suporte ao catálogo do Hive, você pode modernizar facilmente as cargas de trabalho do Hadoop para o Iceberg.

Traga seus pipelines Iceberg e leia ou grave nessas tabelas continuamente usando o BigQuery ou o Spark Gerenciado, ao mesmo tempo em que moderniza com facilidade usando os recursos avançados do BigQuery. Aprimore a ciência de dados executando o ETL do Spark e a IA do BigQuery nas mesmas tabelas do Iceberg sem movimentação de dados. Crie agentes de análise de conversação no BigQuery que funcionem com seus dados no S3.

Potencialize a análise multimodal com o BigQuery AI combinando tabelas do Iceberg estruturadas com dados não estruturados usando o BigQuery ObjectRefs para inferência de SQL único. Treine os modelos da plataforma de agentes do Gemini Enterprise usando a função de viagem no tempo para depurar desvios nos dados. Faça a federação de catálogos REST globais em uma malha de dados unificada, analise registros em grande escala de forma econômica e crie modelos diretamente em notebooks integrados para acelerar seus fluxos de trabalho de IA.

Tenha uma experiência perfeita com o Spark. Execute SQL, Spark e Python em uma única cópia de dados do Iceberg usando IDEs unificados. A nova extensão Antigravity VS Code atua como um parceiro de IA para gerar pipelines, depurar código e automatizar CI/CD com base em linguagem natural. Além disso, nosso Lightning Engine vetorizado acelera a execução do Spark em até 4,5 vezes, sem precisar de nenhuma mudança no código.

Aproveite a escala do BigQuery sem perder a flexibilidade do armazenamento. Execute transações de várias instruções no BigQuery para atualizar várias tabelas do Iceberg como uma única unidade atômica, garantindo a consistência em nível financeiro. Use o ambiente de execução avançado e o suporte a particionamento do BigQuery para o Iceberg para criar tabelas particionadas ou em cluster que aproveitam a remoção de blocos para execução de consultas de alta velocidade e econômica.

Impulsione agentes de IA orientados a eventos unificando seus dados transacionais e analíticos. Automatize a replicação contínua de CDC do Spanner e do AlloyDB diretamente nas tabelas do Iceberg do Lakehouse. Depois use consultas contínuas em SQL para monitorar esses dados de streaming, executar inferências de IA instantaneamente e acionar ações downstream, oferecendo inteligência em tempo real para suas cargas de trabalho operacionais mais críticas.

O Knowledge Catalog fornece uma camada de governança unificada ao descobrir automaticamente tabelas do Iceberg no Cloud Storage e registrar os metadados delas diretamente no catálogo de ambiente de execução do lakehouse. Com essa integração, é possível definir políticas de segurança centralizadas que garantem um controle de acesso consistente em nível de linha e coluna no BigQuery e em mecanismos de processamento de código aberto.