BigLake
O BigLake é um mecanismo de armazenamento que unifica data warehouses e lakes, permitindo que o BigQuery e frameworks de código aberto, como o Spark, acessem dados com controle de acesso refinado. O BigLake fornece desempenho de consulta acelerado em vários tipos de armazenamento em nuvem e formatos abertos, como o Apache Iceberg.
-
Armazene uma única cópia de dados com recursos uniformes em data warehouses e lakes.
-
Controle de acesso detalhado e governança de várias nuvens sobre dados distribuídos.
-
Integração perfeita com ferramentas de análise de código aberto e formatos de dados abertos.
Vantagens
Liberdade de escolha
Descubra análises sobre dados distribuídos, independentemente de onde e como eles são armazenados. Escolha as melhores ferramentas de análise, código aberto ou nativo da nuvem, em uma única cópia de dados.
Data lakes seguros e de alto desempenho
Controle de acesso refinado em mecanismos de código aberto, como Apache Spark, Presto e Trino, e em formatos abertos, como Parquet. Consultas com melhor desempenho em data lakes com tecnologia do BigQuery.
Gerenciamento e governança unificados em escala
Integra-se ao Dataplex para fornecer gerenciamento em escala, incluindo organização lógica de dados, gerenciamento centralizado de políticas e metadados, qualidade e gerenciamento do ciclo de vida para consistência em todos os dados distribuídos.
Principais recursos
Principais recursos
Controles de segurança refinados
O BigLake elimina a necessidade de conceder acesso no nível do arquivo aos usuários finais. Aplique políticas de segurança de tabela, linha e coluna em tabelas de armazenamento de objetos semelhantes às tabelas atuais do BigQuery.
Análise de várias computação
Mantenha uma única cópia de dados e ofereça acesso uniforme ao Google Cloud e aos mecanismos de código aberto, incluindo o BigQuery, a Vertex AI, o Dataflow, Spark, Presto, Trino e Hive usando conectores BigLake. Gerencie as políticas de segurança em um só lugar e aplique-as de maneira consistente em todos os mecanismos de consulta pela interface de API integrada aos conectores.
Governança de várias nuvens
Descubra todas as tabelas do BigLake, incluindo aquelas definidas no Amazon S3, Azure Data Lake de 2ª geração no Data Catalog. Configure o controle de acesso refinado e aplique-o nas nuvens ao fazer consultas com o BigQuery Omni.
Aceleração de desempenho
Alcance o desempenho líder do setor em tabelas de data lakes no Google Cloud, na AWS e no Azure, com a tecnologia de infraestrutura comprovada do BigQuery.
Baseado em formatos abertos
Tenha acesso aos formatos de dados abertos mais conhecidos, incluindo Parquet, Avro, ORC, CSV e JSON. A API disponibiliza vários mecanismos de computação por meio do Apache Arrow.
"Como uma empresa de comércio eletrônico que cresceu rapidamente, observamos um rápido crescimento nos dados. A BigLake nos permite liberar o valor dos data lakes ativando o controle de acesso nas nossas visualizações, proporcionando uma interface unificada para nossos usuários e mantendo os custos de armazenamento de dados baixos. Isso permite uma análise mais rápida dos nossos conjuntos de dados pelos nossos usuários."
Documentação
Documentação
Introdução ao BigLake
Apresente os conceitos do BigLake e saiba o que ele pode fazer para simplificar a experiência de análise.
Primeiros passos com o BigLake
Saiba como criar e gerenciar tabelas do BigLake, consultar uma tabela do BigLake por meio do BigQuery ou de outros mecanismos de código aberto usando conectores.
Preços
Preços
Os preços do BigLake são baseados na consulta de tabelas do BigLake, incluindo:
1. Os preços do BigQuery se aplicam às consultas nas tabelas do BigLake definidas no Google Cloud Storage.
2. Os preços do BigQuery Omni se aplicam a consultas nas tabelas do BigLake definidas no Amazon S3 e no data lake do Azure geração 2.
3. Consultas de mecanismos de código aberto que usam conectores BigLake: os conectores BigLake usam a API BigQuery Storage, e os preços correspondentes se aplicam: faturados por bytes lidos e saída.
4. Outros custos se aplicam à aceleração de consultas usando armazenamento em cache de metadados, tabelas de objetos e metastore do BigLake.
Ex:* todo mês, o primeiro terabyte (1 TB) de dados processados com o BigQuery é grátis