Lightning Engine
提升 Apache Spark 效能
我們的向量化引擎是最佳化 Spark 的簡單方法，採用更智慧的引擎，可將 Spark 效能提升 4.3 倍以上*，進而降低運算成本。
功能
縮短工作執行時間並降低成本
體驗更快速的 Spark 執行方式。與開放原始碼 Apache Spark 相比，可將大規模 ETL、資料科學和 SQL 工作負載的速度提升 4.3 倍以上。大幅縮短工作執行時間，可透過減少運算時間，進而降低 Spark 工作負載的總持有成本。
提升 Spark 效能
瞭解如何輕鬆提高效能。減少將寶貴的工程週期花費在最佳化 Spark 上的時間。
智慧型資料存取與快取
採用更智慧的架構。Lightning Engine 會自動將熱門資料快取至記憶體，並使用高處理量的最佳化連接器，連結 Cloud Storage 和 BigQuery，大幅縮短 I/O 延遲時間，並提高大規模 Spark 資料處理的處理量。
核心技術：向量化執行
Lightning Engine 採用原生 C++ 向量化執行引擎，可批次處理資料，大幅提升 CPU 效率，超越傳統的逐列處理方式。這是 Spark 效能突破的關鍵要素。
可用性
| 可用性 | Lightning Engine 專為處理最嚴苛的 Spark 工作負載而打造。Dataproc 和 Serverless Apache Spark 的進階級方案均提供這項功能 | |
|---|---|---|
| 產品 | 供應情形 | 存取 |
正式發布版 | ||
Dataproc on Google Compute Engine | 預先發布版 | 即將推出 |
可用性
Lightning Engine 專為處理最嚴苛的 Spark 工作負載而打造。Dataproc 和 Serverless Apache Spark 的進階級方案均提供這項功能
常見用途
適用於要求最嚴苛的工作
大規模 ETL
大幅縮短最複雜的 Spark 資料處理和轉換管道的執行時間。這表示您可以達成更嚴格的資料更新間隔服務水準協議、縮短夜間批次處理時間，並大幅降低最耗資源的資料管道的總持有成本。
學習資源
大規模 ETL
大幅縮短最複雜的 Spark 資料處理和轉換管道的執行時間。這表示您可以達成更嚴格的資料更新間隔服務水準協議、縮短夜間批次處理時間，並大幅降低最耗資源的資料管道的總持有成本。
AI/機器學習資料準備
加速特徵工程和資料準備步驟，這些對機器學習生命週期至關重要。透過加快機器學習工作流程中最耗時的部分，資料科學家就能執行更多實驗、更快疊代模型，並盡早將有價值的 AI 應用程式投入正式環境。
學習資源
AI/機器學習資料準備
加速特徵工程和資料準備步驟，這些對機器學習生命週期至關重要。透過加快機器學習工作流程中最耗時的部分，資料科學家就能執行更多實驗、更快疊代模型，並盡早將有價值的 AI 應用程式投入正式環境。
互動式數據分析
支援直接在資料湖泊中執行快速的互動式 SQL 查詢，進行臨時分析和商業智慧作業。資料分析師能更快取得查詢結果，維持思考脈絡，進而加快資料探索速度，獲得更有效的洞察資訊。
學習資源
互動式數據分析
支援直接在資料湖泊中執行快速的互動式 SQL 查詢，進行臨時分析和商業智慧作業。資料分析師能更快取得查詢結果，維持思考脈絡，進而加快資料探索速度，獲得更有效的洞察資訊。
定價
| 加速 Spark 運作，由您決定 | Lightning Engine 是 Dataproc 和 Google Cloud Serverless for Apache Spark 進階級方案的其中一項功能。 |
|---|---|
| 產品 | 定價 |
即將推出預先發布版。 |
加速 Spark 運作，由您決定
Lightning Engine 是 Dataproc 和 Google Cloud Serverless for Apache Spark 進階級方案的其中一項功能。
