跳至

BigLake

BigLake 是一種儲存引擎,透過精細的存取權控管機制讓 BigQuery 和 Spark 等開放原始碼架構存取資料,藉此統合資料倉儲和資料湖泊。BigLake 能提高多雲端儲存空間和開放格式 (如 Apache Iceberg) 的查詢效能。

  • 透過統一功能在資料倉儲和湖泊中儲存單一資料副本。

  • 對分散式資料進行精細的存取權控管和多雲端管理。

  • 完美整合開放原始碼分析工具和開放資料格式。

優點

自由選擇

無論資料儲存的位置和方式為何,您都能運用分散式資料進行數據分析,同時透過單一資料副本選擇最佳分析工具、開放原始碼或雲端原生服務。

效能優異的安全資料湖泊

提供 Apache Spark、Presto 和 Trino 等開放原始碼引擎的精細存取權控管機制,以及 Parquet 等開放格式。針對 BigQuery 支援的資料湖泊執行效能查詢。

大規模的統一控管與管理

Dataplex 相互整合,大規模提供管理服務,包括邏輯資料組織、集中式政策與中繼資料管理、品質與生命週期管理,以實現分散式資料一致性。

主要功能與特色

主要功能與特色

精細的安全性控管機制

使用 BigLake,就不必為使用者授予檔案層級存取權。您可以對與現有 BigQuery 資料表類似的物件儲存資料表,套用資料表、資料列、資料欄層級的安全性政策。

多運算分析

維護單一資料副本,並透過 Google Cloud 和開放原始碼引擎 (包括 BigQueryVertex AIDataflow、Spark、Presto、Trino 和 Hive),使用 BigLake 連接器統一存取資料。在單一平台中集中管理安全性政策,並透過連接器內建的 API 介面,在查詢引擎中持續強制執行政策。

多雲端管理

探索所有 BigLake 資料表,包括在 Data Catalog 中透過 Amazon S3、Azure Data Lake Gen2 定義的表格。設定精細的存取權控管,並在透過 BigQuery Omni 查詢時,跨雲端強制實行此設定。

效能提升

透過經過驗證的 BigQuery 基礎架構,在 Google Cloud、AWS 和 Azure 上獲得領先業界的資料湖泊資料表效能。

以開放格式為基礎打造

存取最熱門的開放資料格式,包括 Parquet、Avro、ORC、CSV、JSON。這個 API 透過 Apache Arrow 提供多個運算引擎。

bol.com 標誌

「做為一家快速成長的電子商務公司,我們發現資料也隨之快速增加。BigLake 讓我們在檢視畫面上啟用存取權控管,同時為我們的使用者提供整合式介面,並方便我們維持低資料儲存空間成本,進而發揮資料湖泊的價值。如此一來,我們的使用者就能更快地分析資料集。」

說明文件

說明文件

Google Cloud 基本知識
BigLake 簡介

BigLake 概念簡介,瞭解如何簡化分析體驗。

快速入門導覽課程
開始使用 BigLake

瞭解如何建立和管理 BigLake 資料表,以及如何使用連接器透過 BigQuery 或其他開放原始碼引擎查詢 BigLake 資料表。

定價

定價

BigLake 會依據 BigLake 資料表的查詢作業來計價,其中包括:

1. BigQuery 定價適用於針對 BigLake 資料表進行的查詢,這類資料表是在 Google Cloud Storage 上定義。

2. BigQuery Omni 定價適用於在 Amazon S3 和 Azure Data Lake Gen 2 中定義的 BigLake 資料表查詢。

3. 使用 BigLake 連接器的開放原始碼引擎的查詢:BigLake 連接器使用 BigQuery Storage API,且適用相應的價格 - 根據讀取的位元組數和輸出計費。

4. 使用中繼資料快取物件資料表BigLake Metastore 即可針對查詢加速收取額外費用。

例如:* 每個月可免費使用 BigQuery 處理 1 TB 的資料。