Lakehouse for Apache Iceberg (舊稱 BigLake)

開放式跨雲端湖倉,迎接代理時代

提供企業級儲存空間、治理機制和效能,在統一、跨雲端的多模態開放式湖倉中,建構可擴充的分析、作業和即時 AI 應用。

Apache Iceberg 是 Apache Software Foundation 的商標。



功能

全代管 Iceberg,可讀寫互通

透過 Lakehouse Iceberg REST 目錄管理的 Apache Iceberg 資料表,可在 BigQuery 和 Google Cloud Managed Service for Apache Spark 之間讀寫資料,也能與相容於 Iceberg 的 OSS 引擎 (如 Spark、Trino 和 Flink) 互通,現在還能與 Snowflake 和 Databricks 等第三方引擎互通 (預先發布版)。這項功能可讓您輕鬆將 Iceberg 資料表直接連結至 BigQuery 和 Google Managed Spark 等引擎,加速執行 AI 工作負載。

Google 的 AI 可連結至跨雲端 Iceberg 資料

運用 Cross-Cloud Interconnect and Caching (預先發布版),以低延遲時間快速存取 S3 Iceberg 資料。透過對話式分析 API 工作,在 AWS 資料上執行 BigQuery、Spark 和 Gemini Enterprise,成本效益與原生資料平台解決方案相當。此外,新的 Lakehouse Runtime Catalog Federation (預先發布版) 可完美整合您的生態系統,讓 BigQuery 和 Google Managed Spark 探索並分析 Snowflake、Databricks 和 AWS Glue 中的企業資料。

提升 Iceberg 的性價比

BigQuery 的強化向量化執行功能現在預設適用於 Lakehouse Iceberg REST 目錄資料表,以及 BigQuery 目錄中的 Iceberg 和 Parquet 資料表。將壓縮、分群和垃圾回收等 Iceberg 常規維護作業直接交給 Google Lakehouse 處理。全新自動化功能 (包括資料表管理、分區、分群和以歷來資料為基礎的最佳化) 可提升成本效益,且無需手動操作。這項功能的正式發布版適用於 BigQuery 目錄中的 Iceberg 資料表;REST 目錄則適用預先發布版。

BigQuery 和 Spark 的差異

使用 BigQuery 串流功能,以零讀取延遲時間擷取高處理量資料,透過 Iceberg 提升即時洞察資訊。透過多重陳述式交易和 BigQuery 變更資料複製功能,建構複雜的處理管道,將資料複製到 Iceberg 資料表 (BigQuery 目錄適用正式發布版;REST 目錄適用預先發布版)。使用 BigQueryObjectRefs 整合結構化和非結構化資料,解鎖多模態、向量和圖表分析功能。Lightning Engine 可將 Spark 資料科學工作負載的效能提升最多 4.5 倍。

為代理提供即時背景資訊和管理機制

運用即時交易資料,支援 AI 代理。將 Spanner、AlloyDB 和 Cloud SQL 的營運資料串流至 BigQuery 和代管的 Iceberg 資料表,即可立即進行分析,並將分析洞察資料直接推送回 AlloyDBSpanner,以不到一毫秒的延遲時間和高 QPS 的方式提供服務。透過 Knowledge Catalog (原稱 Dataplex) 整合,取得歷程、剖析和資料品質等整合式治理功能。將交易、非結構化和 Iceberg 資料對應至商業邏輯,讓代理取得深入背景資訊,提供準確、可靠且完全受控管的結果。

運作方式

Lakehouse REST 目錄可做為 Iceberg 資料表的中樞。這項服務可讓您在 BigQuery、Managed Service for Apache Spark、OSS 引擎和合作夥伴之間,普遍享有讀取/寫入權限,將資料順暢連至任何引擎,加速 AI 發展。

常見用途

湖倉基礎與翻新

翻新為開放式整合湖倉架構

運用 Google 的 Lakehouse,翻新資料基礎。將舊版 Hadoop 遷移至無伺服器的 Cloud Storage,並在 BigQuery 中直接查詢 Iceberg 和 Delta Lake,統一跨雲端資料。Lakehouse Iceberg REST 目錄可消除資料孤島,為 Spark、Trino 和 Flink 提供可互通的執行階段。有了 Hive 目錄支援功能,您可以輕鬆將 Hadoop 工作負載翻新為 Iceberg。

    翻新為開放式整合湖倉架構

    運用 Google 的 Lakehouse,翻新資料基礎。將舊版 Hadoop 遷移至無伺服器的 Cloud Storage,並在 BigQuery 中直接查詢 Iceberg 和 Delta Lake,統一跨雲端資料。Lakehouse Iceberg REST 目錄可消除資料孤島,為 Spark、Trino 和 Flink 提供可互通的執行階段。有了 Hive 目錄支援功能,您可以輕鬆將 Hadoop 工作負載翻新為 Iceberg。

      多引擎互通性

      BigQuery 和 OSS 引擎之間可流暢共用讀取/寫入權限

      您可以沿用現有的 Iceberg 管道,並透過 BigQuery 或 Managed Spark 順暢讀取或寫入資料表,同時運用 BigQuery 的進階功能,輕鬆完成現代化作業。在完全相同的 Iceberg 資料表上執行 Spark ETL 和 BigQuery AI,不必移動資料,大幅提升資料科學效率。在 BigQuery 中建構對話式數據分析代理,與 S3 中的資料搭配使用。

        BigQuery 和 OSS 引擎之間可流暢共用讀取/寫入權限

        您可以沿用現有的 Iceberg 管道,並透過 BigQuery 或 Managed Spark 順暢讀取或寫入資料表,同時運用 BigQuery 的進階功能,輕鬆完成現代化作業。在完全相同的 Iceberg 資料表上執行 Spark ETL 和 BigQuery AI,不必移動資料,大幅提升資料科學效率。在 BigQuery 中建構對話式數據分析代理,與 S3 中的資料搭配使用。

          將 Iceberg 資料導入 AI 工作流程

          多模態資料分析,加速 AI 工作流程

          使用 BigQuery AI 結合結構化 Iceberg 資料表與非結構化資料,並透過 BigQuery ObjectRefs 執行單一 SQL 推論,支援多模態分析。使用時間回溯功能訓練 Gemini Enterprise Agent Platform 模型,對資料偏移進行偵錯。將全球 REST 目錄整合至統一的資料網格、以經濟實惠的方式分析大規模記錄,並直接在整合式筆記本中建構模型,加速 AI 工作流程。


            多模態資料分析,加速 AI 工作流程

            使用 BigQuery AI 結合結構化 Iceberg 資料表與非結構化資料,並透過 BigQuery ObjectRefs 執行單一 SQL 推論,支援多模態分析。使用時間回溯功能訓練 Gemini Enterprise Agent Platform 模型,對資料偏移進行偵錯。將全球 REST 目錄整合至統一的資料網格、以經濟實惠的方式分析大規模記錄,並直接在整合式筆記本中建構模型,加速 AI 工作流程。


              同類最佳 Spark 體驗

              在開發人員環境中支援資料科學工作負載

              享受流暢的 Spark 體驗。使用整合式 IDE,以單一 Iceberg 資料為基礎執行 SQL、Spark 和 Python。Antigravity VS Code 擴充功能是全新的 AI 合作夥伴,可透過自然語言生成管道、偵錯程式碼,以及自動執行 CI/CD。此外,我們的向量化 Lightning Engine 可將 Spark 執行速度提升 4.5 倍,且無需變更任何程式碼。

                在開發人員環境中支援資料科學工作負載

                享受流暢的 Spark 體驗。使用整合式 IDE,以單一 Iceberg 資料為基礎執行 SQL、Spark 和 Python。Antigravity VS Code 擴充功能是全新的 AI 合作夥伴,可透過自然語言生成管道、偵錯程式碼,以及自動執行 CI/CD。此外,我們的向量化 Lightning Engine 可將 Spark 執行速度提升 4.5 倍,且無需變更任何程式碼。

                  透過 BigQuery 執行高效能數據分析

                  使用 BigQuery 提升效能

                  運用 BigQuery 的規模,同時維持儲存空間的彈性。在 BigQuery 中執行多陳述式交易,以一個不可分割的單元更新多個 Iceberg 資料表,確保金融等級的一致性。使用 BigQuery 的進階執行階段和 Iceberg 分區支援功能,建立分區/分群資料表,並運用區塊修剪功能,以符合成本效益的方式高速執行查詢。

                    使用 BigQuery 提升效能

                    運用 BigQuery 的規模,同時維持儲存空間的彈性。在 BigQuery 中執行多陳述式交易,以一個不可分割的單元更新多個 Iceberg 資料表,確保金融等級的一致性。使用 BigQuery 的進階執行階段和 Iceberg 分區支援功能,建立分區/分群資料表,並運用區塊修剪功能,以符合成本效益的方式高速執行查詢。

                      即時智慧功能

                      結合交易和分析資料,推動代理式 AI 應用

                      統合交易和分析資料,推動事件導向的 AI 代理。自動將 Spanner 和 AlloyDB 的資料,透過 CDC 持續複製到 Lakehouse Iceberg 資料表。接著使用 SQL 持續查詢來監控串流資料、立即執行 AI 推論,並觸發下游動作,為最重要的營運工作負載提供即時情報。

                        結合交易和分析資料,推動代理式 AI 應用

                        統合交易和分析資料,推動事件導向的 AI 代理。自動將 Spanner 和 AlloyDB 的資料,透過 CDC 持續複製到 Lakehouse Iceberg 資料表。接著使用 SQL 持續查詢來監控串流資料、立即執行 AI 推論,並觸發下游動作,為最重要的營運工作負載提供即時情報。

                          端對端湖倉治理

                          使用 Knowledge Catalog 治理湖倉

                          Knowledge Catalog 會自動探索 Cloud Storage 中的 Iceberg 資料表,並將中繼資料直接登錄至 Lakehouse 執行階段目錄,實現整合式的治理層。這項整合機制有助於您定義集中式安全政策,確保 BigQuery 和開放原始碼處理引擎的資料列和資料欄層級存取控管機制一致。

                            使用 Knowledge Catalog 治理湖倉

                            Knowledge Catalog 會自動探索 Cloud Storage 中的 Iceberg 資料表,並將中繼資料直接登錄至 Lakehouse 執行階段目錄,實現整合式的治理層。這項整合機制有助於您定義集中式安全政策,確保 BigQuery 和開放原始碼處理引擎的資料列和資料欄層級存取控管機制一致。

                              定價

                              Lakehouse (BigLake) 的定價方式Lakehouse (BigLake) 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算
                              服務與用途說明價格 (美元)

                              Lakehouse (BigLake) 資料表管理

                              Lakehouse (BigLake) 資料表管理功能會使用運算資源,自動最佳化資料表儲存空間。

                              起始價

                              $0.12 美元

                              每 DCU 時數的價格

                              Lakehouse (BigLake) 中繼資料儲存空間

                              Lakehouse for Apache Iceberg metastore (Lakehouse 執行階段目錄) 會針對儲存的中繼資料收費。免費方案每月提供 1 GiB 的中繼資料儲存空間。

                              起始價

                              $0.04 美元

                              每月每 GiB

                              Lakehouse (BigLake) 中繼資料存取

                              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 Lakehouse (BigLake) 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

                              起始價

                              $6.00

                              每 100 萬次作業

                              B 級作業:執行讀取、取得及刪除作業時,會產生 Lakehouse (BigLake) 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

                              起始價

                              $0.90 美元

                              每 100 萬次作業

                              Lakehouse (BigLake) 的定價方式

                              Lakehouse (BigLake) 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算

                              Lakehouse (BigLake) 資料表管理

                              說明

                              Lakehouse (BigLake) 資料表管理功能會使用運算資源,自動最佳化資料表儲存空間。

                              價格 (美元)

                              Starting at

                              $0.12 美元

                              每 DCU 時數的價格

                              Lakehouse (BigLake) 中繼資料儲存空間

                              說明

                              Lakehouse for Apache Iceberg metastore (Lakehouse 執行階段目錄) 會針對儲存的中繼資料收費。免費方案每月提供 1 GiB 的中繼資料儲存空間。

                              價格 (美元)

                              Starting at

                              $0.04 美元

                              每月每 GiB

                              Lakehouse (BigLake) 中繼資料存取

                              說明

                              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 Lakehouse (BigLake) 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

                              價格 (美元)

                              Starting at

                              $6.00

                              每 100 萬次作業

                              B 級作業:執行讀取、取得及刪除作業時,會產生 Lakehouse (BigLake) 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

                              說明

                              Starting at

                              $0.90 美元

                              每 100 萬次作業

                              Pricing Calculator

                              估算每個月的 Lakehouse 費用,包括區域專屬定價和相關費用。

                              客製化報價

                              貴組織如需索取客製化的報價,請與我們的銷售團隊聯絡。

                              開始驗證概念

                              開始免費試用

                              要進行大型專案嗎?

                              全代管 Apache Iceberg 資料表

                              使用 Apache Iceberg REST 目錄

                              查詢 Apache Iceberg 資料