BigLake 是一个存储引擎,为分析和 AI 引擎提供统一界面,以安全、受治理且高效的方式查询多格式、多云和多模态数据。构建单一副本 AI 湖仓一体,旨在减少对自定义数据基础架构的管理和需求。
持续创新,包括最新研究 BigQuery 演变为多云湖仓一体(将在 2024 年 SIGMOD 活动上展示)。
部署 Google 推荐的解决方案,将数据湖和数据仓库统一起来,用于存储、处理和分析结构化数据与非结构化数据
利用分析和 AI 技术存储结构化和非结构化数据和查询的单个副本
针对分布式数据实现精细的访问权限控制和多云治理
为您的开放格式湖仓一体提供自动化数据管理服务,为您提供全代管式体验
优势
无论在何处存储以及如何存储,您都能获得对分布式数据的分析,同时还可以针对数据的单个副本选择出色的分析工具(开源工具或云原生工具)。
可对 Apache Spark、Presto 和 Trino 等开源引擎以及 Parquet 等开放格式进行精细的访问权限控制。基于 BigQuery 支持的数据湖进行高性能查询。
与 Dataplex 集成,支持大规模管理,包括逻辑数据整理、集中式政策和元数据管理、质量和生命周期管理,以实现分布式数据的一致性。
主要特性
BigLake 不需要向最终用户授予文件级访问权限。将表、行、列级安全政策应用于对象存储表(与现有 BigQuery 表类似)。
探索所有 BigLake 表,包括在 Data Catalog 中通过 Amazon S3 和 Azure 数据湖第 2 代定义的表。配置精细的访问权限控制,并在使用 BigQuery Omni 进行查询时跨云强制执行。
借助对象表,您可以为受治理的 AI 工作负载使用多模态数据。使用 BigQuery SQL 及其 Vertex AI 集成轻松构建 AI 用例。
支持开放表和文件格式,包括 Parquet、Avro、ORC、CSV、JSON。API 通过 Apache Arrow 为多个计算引擎提供服务。表格格式通过清单原生支持 Apache Iceberg、Delta 和 Hudi。
价格
BigLake 的价格基于 BigLake 表查询,包括:
1. BigQuery 价格适用于对 Google Cloud Storage 上定义的 BigLake 表的查询。
2. BigQuery Omni 价格适用于对 Amazon S3 和 Azure 数据湖第 2 代上定义的 BigLake 表的查询。
3. 使用 BigLake 连接器从开源引擎查询:BigLake 连接器使用 BigQuery Storage API,并适用相应的价格 - 按读取字节数和出站流量结算。
4.使用元数据缓存、对象表和 BigLake Metastore 加快查询速度会产生额外费用。
示例:*每月可使用 BigQuery 免费处理 1 TB 数据。