O BigLake é um mecanismo de armazenamento que oferece uma interface unificada para mecanismos de análise e IA para consultar dados multiformato, várias nuvens e multimodais de maneira segura, controlada e com alto desempenho. Crie um lakehouse de IA de cópia única projetado para reduzir o gerenciamento e a necessidade de infraestrutura de dados personalizada.
Inovação contínua, incluindo nova pesquisa Evolução do BigQuery em direção a um lakehouse de várias nuvens a ser apresentada no evento SIGMOD de 2024.
Implante uma solução recomendada pelo Google que unifica data lakes e data warehouses para armazenar, processar e analisar dados estruturados e não estruturados
Armazene uma única cópia de consultas e dados estruturados e não estruturados usando análise e IA
Controle de acesso detalhado e governança de várias nuvens sobre dados distribuídos
Experiência totalmente gerenciada com gerenciamento de dados automático para seu lakehouse de formato aberto
Vantagens
Descubra análises sobre dados distribuídos, independentemente de onde e como eles são armazenados. Escolha as melhores ferramentas de análise, código aberto ou nativo da nuvem, em uma única cópia de dados.
Controle de acesso refinado em mecanismos de código aberto, como Apache Spark, Presto e Trino, e em formatos abertos, como Parquet. Consultas com melhor desempenho em data lakes com tecnologia do BigQuery.
Integra-se ao Dataplex para fornecer gerenciamento em escala, incluindo organização lógica de dados, gerenciamento centralizado de políticas e metadados, qualidade e gerenciamento do ciclo de vida para consistência em todos os dados distribuídos.
Principais recursos
O BigLake elimina a necessidade de conceder acesso no nível do arquivo aos usuários finais. Aplique políticas de segurança de tabela, linha e coluna em tabelas de armazenamento de objetos semelhantes às tabelas atuais do BigQuery.
Mantenha uma única cópia de dados e ofereça acesso uniforme ao Google Cloud e aos mecanismos de código aberto, incluindo o BigQuery, a Vertex AI, o Dataflow, Spark, Presto, Trino e Hive usando conectores BigLake. Gerencie as políticas de segurança em um só lugar e aplique-as de maneira consistente em todos os mecanismos de consulta pela interface de API integrada aos conectores.
Descubra todas as tabelas do BigLake, incluindo aquelas definidas no Amazon S3, Azure Data Lake de 2ª geração no Data Catalog. Configure o controle de acesso refinado e aplique-o nas nuvens ao fazer consultas com o BigQuery Omni.
As tabelas de objetos permitem o uso de dados multimodais para cargas de trabalho de IA controladas. Crie casos de uso de IA com facilidade usando o SQL do BigQuery e as integrações da Vertex AI.
Oferece suporte a formatos de tabela e arquivo abertos, incluindo Parquet, Avro, ORC, CSV e JSON. A API disponibiliza vários mecanismos de computação por meio do Apache Arrow. O formato de tabela oferece suporte nativo a Apache Iceberg, Delta e Hudi por manifesto.
O que há de novo
Documentação
Saiba como consultar dados armazenados em uma tabela do BigLake do Cloud Storage.
Preços
Os preços do BigLake são baseados na consulta de tabelas do BigLake, incluindo:
1. Os preços do BigQuery se aplicam às consultas nas tabelas do BigLake definidas no Google Cloud Storage.
2. Os preços do BigQuery Omni se aplicam a consultas nas tabelas do BigLake definidas no Amazon S3 e no data lake do Azure geração 2.
3. Consultas de mecanismos de código aberto que usam conectores BigLake: os conectores BigLake usam a API BigQuery Storage, e os preços correspondentes se aplicam: faturados por bytes lidos e saída.
4. Outros custos se aplicam à aceleração de consultas usando armazenamento em cache de metadados, tabelas de objetos e metastore do BigLake.
Ex:* todo mês, o primeiro terabyte (1 TB) de dados processados com o BigQuery é grátis
Comece a criar no Google Cloud com US$ 300 em créditos e mais de 20 produtos do programa Sempre gratuito.