BigLake
BigLake 是一個儲存引擎,可讓 BigQuery 和 Spark 等開放原始碼架構透過精細的存取權控管機制存取資料,藉此統合資料倉儲和資料湖泊。BigLake 提供多雲端雲端儲存空間和開放式格式 (例如 Apache Iceberg) 的加速查詢效能。
-
透過統一功能在資料倉儲和湖泊中儲存單一資料副本。
-
針對分散式資料進行精細的存取權控管和多雲端管理。
-
完美整合開放原始碼分析工具和開放資料格式。
優點
自由選擇
無論資料儲存的位置和方式為何,您都能運用分散式資料進行數據分析,同時透過單一資料副本選擇最佳分析工具、開放原始碼或雲端原生服務。
安全有效率的資料湖泊
提供 Apache Spark、Presto 和 Trino 等開放原始碼引擎的精細存取權控管機制,以及 Parquet 等開放格式。針對 BigQuery 支援的資料湖泊執行效能查詢。
大規模的統一控管與管理
與 Dataplex 相互整合,大規模提供管理服務,包括邏輯資料組織、集中式政策與中繼資料管理、品質與生命週期管理,以實現分散式資料一致性。
主要功能與特色
主要功能與特色
精細的安全性控管機制
使用 BigLake 便不必授予使用者檔案層級的存取權。在與現有 BigQuery 資料表類似的物件儲存資料表中,套用資料表、資料列、資料欄層級的安全性政策。
多雲端管理
探索所有 BigLake 資料表,包括在 Data Catalog 中透過 Amazon S3、Azure Data Lake Gen2 定義的表格。設定精細的存取權控管,並在透過 BigQuery Omni 查詢時,跨雲端強制實行此設定。
效能提升
透過經過驗證的 BigQuery 基礎架構,在 Google Cloud、AWS 和 Azure 上獲得領先業界的資料湖泊資料表效能。
以開放格式為基礎打造
存取最熱門的開放資料格式,包括 Parquet、Avro、ORC、CSV、JSON。這個 API 透過 Apache Arrow 提供多個運算引擎。
「做為一家快速成長的電子商務公司,我們發現資料也隨之快速增加。BigLake 讓我們在檢視畫面上啟用存取權控管,同時為我們的使用者提供整合式介面,並方便我們維持低資料儲存空間成本,進而發揮資料湖泊的價值。如此一來,我們的使用者就能更快地分析資料集。」
最新資訊
最新資訊
說明文件
說明文件
BigLake 簡介
BigLake 概念簡介,瞭解如何簡化分析體驗。
開始使用 BigLake
瞭解如何建立和管理 BigLake 資料表,以及如何使用連接器透過 BigQuery 或其他開放原始碼引擎查詢 BigLake 資料表。
定價
定價
BigLake 會依據 BigLake 資料表的查詢作業來計價,其中包括:
1. BigQuery 定價適用於針對 BigLake 資料表進行的查詢,這類資料表是在 Google Cloud Storage 上定義。
2. BigQuery Omni 定價適用於在 Amazon S3 和 Azure Data Lake Gen 2 中定義的 BigLake 資料表查詢。
3. 使用 BigLake 連接器的開放原始碼引擎的查詢:BigLake 連接器使用 BigQuery Storage API,且適用相應的價格 - 根據讀取的位元組數和輸出計費。