Lakehouse for Apache Iceberg(以前称为 BigLake)

适用于智能体时代的开放式跨云湖仓一体

企业级存储、治理和性能,可在统一的跨云多模态开放式湖仓一体平台上构建可伸缩分析、运营和实时 AI 应用场景。

Apache Iceberg 是 Apache Software Foundation 的商标。



功能

全托管式 Iceberg,支持读写互操作性

使用 Lakehouse Iceberg REST Catalog 管理的 Apache Iceberg 表可在 BigQuery 和 Google Cloud Managed Service for Apache Spark 之间实现读写互操作性,还可与 Spark、Trino 和 Flink 等兼容 Iceberg 的 OSS 引擎实现读写互操作性,现在还可与 Snowflake 和 Databricks(预览版)等第三方引擎实现读写互操作性。这有助于您轻松地将 Iceberg 表直接连接到 BigQuery 和 Google 管理的 Spark 等引擎,从而加速 AI 工作负载。

Google AI 连接到您的跨云 Iceberg 数据

利用跨云互连和缓存(预览版)快速、低延迟地访问 S3 Iceberg 数据。通过对话式分析 API 作业,在 AWS 数据上运行 BigQuery、Spark 和 Gemini Enterprise,其性价比与原生数据平台解决方案相当。此外,新的 Lakehouse 运行时目录联合(预览版)可无缝整合您的生态系统,让 BigQuery 和 Google 管理的 Spark 能够发现和分析 Snowflake、Databricks 和 AWS Glue 中的企业数据。

提升 Iceberg 的性价比

BigQuery 的增强型向量化执行现在默认用于 Lakehouse Iceberg REST Catalog 表以及 BigQuery 目录中的 Iceberg 和 Parquet 表。将日常 Iceberg 维护(例如压缩、聚类和垃圾回收)直接分流到 Google Lakehouse。新的自动化功能(包括表管理、分区、聚类和基于历史记录的优化)可提高性价比,而无需任何人工开销。这些自动化功能对于 BigQuery 目录中的 Iceberg 表为正式版,对于 REST 目录为预览版。

与众不同的 BigQuery 和 Spark

使用 BigQuery 流式传输功能,以零读取延迟实现高吞吐量注入,利用 Iceberg 提供实时分析洞见。使用多语句事务以及 BigQuery 变更数据复制到 Iceberg 表的功能构建复杂的处理流水线(对于 BigQuery 目录为正式版;对于 REST 目录为预览版)。使用 BigQueryObjectRefs 整合结构化和非结构化数据,从而解锁多模态、向量和图表分析。利用 Lightning Engine 为 Spark 数据科学工作负载提供强大支持,性能可提升至原来的 4.5 倍。

为智能体提供实时上下文和治理

利用实时事务数据为 AI 智能体提供支持。将 Spanner、AlloyDB 和 Cloud SQL 中的运营数据流式传输到 BigQuery 和托管式 Iceberg 表中,以便立即进行分析,并将这些分析洞见直接推送回 AlloyDBSpanner,以亚毫秒级的高 QPS 延迟提供服务。通过集成 Knowledge Catalog(原 Dataplex),获得统一的治理,包括沿袭、数据分析和数据质量。将事务型数据、非结构化数据和 Iceberg 数据映射到业务逻辑,为智能体提供所需的深层上下文,以提供准确、可靠且完全受治理的结果。

工作方式

Lakehouse REST 目录充当 Iceberg 表的中心枢纽。它提供 BigQuery、Managed Service for Apache Spark、OSS 引擎和合作伙伴之间的通用读/写访问权限,可将您的数据无缝连接到任何引擎,从而加速 AI 应用。

常见用途

Lakehouse 基础和现代化改造

对开放式统一湖仓一体架构进行现代化改造

使用 Google 的 Lakehouse 对数据基础进行现代化改造。将旧版 Hadoop 迁移到无服务器 Cloud Storage,并通过直接在 BigQuery 中查询 Iceberg 和 Delta Lake 来统一跨云数据。Lakehouse Iceberg REST 目录消除了孤岛,为 Spark、Trino 和 Flink 提供了可互操作的运行时。借助 Hive 目录支持,您可以轻松对 Hadoop 工作负载进行现代化改造并迁移到 Iceberg。

    对开放式统一湖仓一体架构进行现代化改造

    使用 Google 的 Lakehouse 对数据基础进行现代化改造。将旧版 Hadoop 迁移到无服务器 Cloud Storage,并通过直接在 BigQuery 中查询 Iceberg 和 Delta Lake 来统一跨云数据。Lakehouse Iceberg REST 目录消除了孤岛,为 Spark、Trino 和 Flink 提供了可互操作的运行时。借助 Hive 目录支持,您可以轻松对 Hadoop 工作负载进行现代化改造并迁移到 Iceberg。

      多引擎互操作性

      在 BigQuery 和 OSS 引擎之间实现无缝读/写共享

      使用 BigQuery 或托管式 Spark 引入现有的 Iceberg 流水线并无缝读取或写入这些表,同时利用高级 BigQuery 功能轻松实现现代化改造。在完全相同的 Iceberg 表上运行 Spark ETL 和 BigQuery AI 且无需移动数据,从而为数据科学提供强大支持。在 BigQuery 中构建对话式分析智能体,以处理 S3 中的数据。

        在 BigQuery 和 OSS 引擎之间实现无缝读/写共享

        使用 BigQuery 或托管式 Spark 引入现有的 Iceberg 流水线并无缝读取或写入这些表,同时利用高级 BigQuery 功能轻松实现现代化改造。在完全相同的 Iceberg 表上运行 Spark ETL 和 BigQuery AI 且无需移动数据,从而为数据科学提供强大支持。在 BigQuery 中构建对话式分析智能体,以处理 S3 中的数据。

          将 Iceberg 数据引入 AI 工作流

          多模态数据分析和加速 AI 工作流

          使用 BigQuery AI,通过 BigQuery ObjectRefs 将结构化 Iceberg 表与非结构化数据相结合,实现单 SQL 推理,从而支持多模态分析。使用时间旅行功能训练 Gemini Enterprise Agent Platform 模型,以调试数据偏移。将全球 REST 目录联合到统一的数据网格中,以经济实惠的方式分析大规模日志,并直接在集成式笔记本中构建模型,从而加速 AI 工作流。


            多模态数据分析和加速 AI 工作流

            使用 BigQuery AI,通过 BigQuery ObjectRefs 将结构化 Iceberg 表与非结构化数据相结合,实现单 SQL 推理,从而支持多模态分析。使用时间旅行功能训练 Gemini Enterprise Agent Platform 模型,以调试数据偏移。将全球 REST 目录联合到统一的数据网格中,以经济实惠的方式分析大规模日志,并直接在集成式笔记本中构建模型,从而加速 AI 工作流。


              一流的 Spark 体验

              为开发者环境中的数据科学工作负载提供支持

              解锁顺畅的 Spark 体验。使用统一的 IDE 在单个 Iceberg 数据副本上运行 SQL、Spark 和 Python。新的 Antigravity VS Code 扩展程序可充当 AI 合作伙伴,根据自然语言生成流水线、调试代码并自动执行 CI/CD。此外,我们的向量化引擎 Lightning Engine 可将 Spark 执行速度提高到原来的 4.5 倍,而且无需更改任何代码。

                为开发者环境中的数据科学工作负载提供支持

                解锁顺畅的 Spark 体验。使用统一的 IDE 在单个 Iceberg 数据副本上运行 SQL、Spark 和 Python。新的 Antigravity VS Code 扩展程序可充当 AI 合作伙伴,根据自然语言生成流水线、调试代码并自动执行 CI/CD。此外,我们的向量化引擎 Lightning Engine 可将 Spark 执行速度提高到原来的 4.5 倍,而且无需更改任何代码。

                  使用 BigQuery 进行高性能分析

                  使用 BigQuery 优化性能

                  利用 BigQuery 的规模,同时保持灵活的存储。在 BigQuery 中执行多语句事务,将多个 Iceberg 表作为一个原子单元进行更新,确保实现金融级一致性。借助 BigQuery 对 Iceberg 的高级运行时和分区支持来创建分区表/聚簇表,这些表利用块剪枝来实现高速、经济高效的查询执行。

                    使用 BigQuery 优化性能

                    利用 BigQuery 的规模,同时保持灵活的存储。在 BigQuery 中执行多语句事务,将多个 Iceberg 表作为一个原子单元进行更新,确保实现金融级一致性。借助 BigQuery 对 Iceberg 的高级运行时和分区支持来创建分区表/聚簇表,这些表利用块剪枝来实现高速、经济高效的查询执行。

                      实时智能

                      结合事务型数据和分析型数据,打造智能体 AI

                      通过统一事务型数据和分析型数据,为事件驱动型 AI 智能体提供支持。自动将 Spanner 和 AlloyDB 中的 CDC 持续复制到 Lakehouse Iceberg 表中。接下来,使用 SQL 持续查询来监控这些流式数据,即时运行 AI 推理,并触发下游操作,从而为您的关键运营工作负载提供实时智能。

                        结合事务型数据和分析型数据,打造智能体 AI

                        通过统一事务型数据和分析型数据,为事件驱动型 AI 智能体提供支持。自动将 Spanner 和 AlloyDB 中的 CDC 持续复制到 Lakehouse Iceberg 表中。接下来,使用 SQL 持续查询来监控这些流式数据,即时运行 AI 推理,并触发下游操作,从而为您的关键运营工作负载提供实时智能。

                          端到端湖仓一体治理

                          使用 Knowledge Catalog 治理您的湖仓一体

                          Knowledge Catalog 通过自动发现 Cloud Storage 中的 Iceberg 表并直接将它们的元数据注册到 Lakehouse 运行时目录中,提供统一的治理层。通过这种集成,您可以定义集中式安全政策,确保 BigQuery 和开源处理引擎之间的一致行级和列级访问权限控制。

                            使用 Knowledge Catalog 治理您的湖仓一体

                            Knowledge Catalog 通过自动发现 Cloud Storage 中的 Iceberg 表并直接将它们的元数据注册到 Lakehouse 运行时目录中,提供统一的治理层。通过这种集成,您可以定义集中式安全政策,确保 BigQuery 和开源处理引擎之间的一致行级和列级访问权限控制。

                              价格

                              Lakehouse (BigLake) 定价方式Lakehouse (BigLake) 价格基于表管理、元数据存储和元数据访问量
                              服务和用量说明价格 (USD)

                              Lakehouse (BigLake) 表管理

                              Lakehouse (BigLake) 表管理计算资源用于实现表存储的自动化优化。

                              起价

                              $0.12

                              每 DCU 小时

                              Lakehouse (BigLake) 元数据存储

                              Lakehouse for Apache Iceberg metastore(Lakehouse 运行时目录)会针对存储的元数据收费。免费层级每月包含 1 GiB 的元数据存储配额。

                              起价

                              $0.04

                              每月每 GiB

                              Lakehouse (BigLake) 元数据访问

                              A 类操作:Lakehouse (BigLake) 元数据访问费用,包括写入、更新、列出、创建和配置操作,每月包含 5,000 次操作的免费层级。

                              起价

                              $6.00

                              每百万次操作

                              B 类操作:读取、获取和删除操作的 Lakehouse (BigLake) 元数据访问费用,每月包含 5 万次操作的免费层级。

                              起价

                              $0.90

                              每百万次操作

                              Lakehouse (BigLake) 定价方式

                              Lakehouse (BigLake) 价格基于表管理、元数据存储和元数据访问量

                              Lakehouse (BigLake) 表管理

                              说明

                              Lakehouse (BigLake) 表管理计算资源用于实现表存储的自动化优化。

                              价格 (USD)

                              Starting at

                              $0.12

                              每 DCU 小时

                              Lakehouse (BigLake) 元数据存储

                              说明

                              Lakehouse for Apache Iceberg metastore(Lakehouse 运行时目录)会针对存储的元数据收费。免费层级每月包含 1 GiB 的元数据存储配额。

                              价格 (USD)

                              Starting at

                              $0.04

                              每月每 GiB

                              Lakehouse (BigLake) 元数据访问

                              说明

                              A 类操作:Lakehouse (BigLake) 元数据访问费用,包括写入、更新、列出、创建和配置操作,每月包含 5,000 次操作的免费层级。

                              价格 (USD)

                              Starting at

                              $6.00

                              每百万次操作

                              B 类操作:读取、获取和删除操作的 Lakehouse (BigLake) 元数据访问费用,每月包含 5 万次操作的免费层级。

                              说明

                              Starting at

                              $0.90

                              每百万次操作

                              价格计算器

                              估算您的每月 Lakehouse 费用,包括具体区域的价格和费用。

                              定制报价

                              请与我们的销售团队联系,获取为贵组织量身定制的报价。

                              开始概念验证

                              开始免费试用

                              有一个大型项目?

                              全托管式 Apache Iceberg 表

                              使用 Apache Iceberg REST Catalog

                              查询 Apache Iceberg 数据

                              Google Cloud