BigLake
BigLake 是一種儲存引擎,透過精細的存取權控管機制讓 BigQuery 和 Spark 等開放原始碼架構存取資料,藉此統合資料倉儲和資料湖泊。BigLake 能提高多雲端儲存空間和開放格式 (如 Apache Iceberg) 的查詢效能。
-
透過統一功能在資料倉儲和湖泊中儲存單一資料副本。
-
對分散式資料進行精細的存取權控管和多雲端管理。
-
完美整合開放原始碼分析工具和開放資料格式。
優點
自由選擇
無論資料儲存的位置和方式為何,您都能運用分散式資料進行數據分析,同時透過單一資料副本選擇最佳分析工具、開放原始碼或雲端原生服務。
效能優異的安全資料湖泊
提供 Apache Spark、Presto 和 Trino 等開放原始碼引擎的精細存取權控管機制,以及 Parquet 等開放格式。針對 BigQuery 支援的資料湖泊執行效能查詢。
大規模的統一控管與管理
與 Dataplex 相互整合,大規模提供管理服務,包括邏輯資料組織、集中式政策與中繼資料管理、品質與生命週期管理,以實現分散式資料一致性。
主要功能與特色
主要功能與特色
精細的安全性控管機制
使用 BigLake,就不必為使用者授予檔案層級存取權。您可以對與現有 BigQuery 資料表類似的物件儲存資料表,套用資料表、資料列、資料欄層級的安全性政策。
多雲端管理
探索所有 BigLake 資料表,包括在 Data Catalog 中透過 Amazon S3、Azure Data Lake Gen2 定義的表格。設定精細的存取權控管,並在透過 BigQuery Omni 查詢時,跨雲端強制實行此設定。
效能提升
透過經過驗證的 BigQuery 基礎架構,在 Google Cloud、AWS 和 Azure 上獲得領先業界的資料湖泊資料表效能。
以開放格式為基礎打造
存取最熱門的開放資料格式,包括 Parquet、Avro、ORC、CSV、JSON。這個 API 透過 Apache Arrow 提供多個運算引擎。
「做為一家快速成長的電子商務公司,我們發現資料也隨之快速增加。BigLake 讓我們在檢視畫面上啟用存取權控管,同時為我們的使用者提供整合式介面,並方便我們維持低資料儲存空間成本,進而發揮資料湖泊的價值。如此一來,我們的使用者就能更快地分析資料集。」
最新資訊
最新資訊
說明文件
說明文件
BigLake 簡介
BigLake 概念簡介,瞭解如何簡化分析體驗。
開始使用 BigLake
瞭解如何建立和管理 BigLake 資料表,以及如何使用連接器透過 BigQuery 或其他開放原始碼引擎查詢 BigLake 資料表。
定價
定價
BigLake 會依據 BigLake 資料表的查詢作業來計價,其中包括:
1. BigQuery 定價適用於針對 BigLake 資料表進行的查詢,這類資料表是在 Google Cloud Storage 上定義。
2. BigQuery Omni 定價適用於在 Amazon S3 和 Azure Data Lake Gen 2 中定義的 BigLake 資料表查詢。
3. 使用 BigLake 連接器的開放原始碼引擎的查詢:BigLake 連接器使用 BigQuery Storage API,且適用相應的價格 - 根據讀取的位元組數和輸出計費。
4. 使用中繼資料快取、物件資料表和 BigLake Metastore 即可針對查詢加速收取額外費用。
例如:* 每個月可免費使用 BigQuery 處理 1 TB 的資料。