Lightning Engine for Apache Spark

將 Apache Spark 工作效能提升 4.3 倍*

Lightning Engine 是全新的 Spark 處理引擎,具備向量化執行功能、內建智慧快取功能,以及最佳化儲存空間 I/O,可提高查詢效能。Lightning Engine 現已推出預先發布版。

*查詢速度是依據 TPC-DS 標準TPC-H 標準估算,無法與已發布的 TPC-DS 標準TPC-H 標準結果比較,因為這些執行作業未完全符合 TPC-DS 標準TPC-H 標準規格的要求。

Apache Spark 是 Apache Software Foundation 的商標。

功能

提升 Spark 效能

Lightning Engine 採用全新的 Apache Spark 處理引擎,並提供向量化執行功能、內建的智慧快取功能和最佳化的儲存裝置 I/O,大幅提升查詢效能。Lightning Engine 與開放原始碼 Spark 應用程式完全相容。



領先業界的成本效益

提供卓越的效能和成本效益,讓使用者以較低的成本處理更多資料。與開放原始碼 Apache Spark 相比,Lightning Engine 的效能高出 4.3 倍*,並與 BigQuery 和 Vertex AI 等 Google Cloud 服務深度整合。代管最佳化功能可減少手動調整效能的時間。


與開放式 lakehouse 的互通性

Lightning Engine 與 Apache Iceberg 和 Google Cloud BigLake 深度整合,提供整合式資料分析和 AI 平台。這項服務提供最佳化的 Cloud Storage 和 BigQuery 資料連接器,可大幅縮短資料存取延遲時間,並提高處理量。

彈性部署

Lightning Engine 目前為預先發布版,日後將在 Google Cloud Serverless for Apache Spark 的進階級,以及 Dataproc 的代管叢集中推出。這兩項服務都已支援 GPU,可加速機器學習工作負載,並提供同類最佳的工作監控工具,提升作業效率。無伺服器 Spark 可透過彈性的 Spark 設定,大規模支援穩健的實際工作,並處理大型記錄,讓您將資源利用率提升至接近 100%。

運作方式

Lightning Engine 會針對資料存取進行最佳化調整、導入智慧快取機制,並運用向量化 C++ 執行引擎,大幅提升 Spark 在 Google Cloud 上的效能,在各項基準上大幅縮短查詢時間,並降低資源耗用量。

常見用途

大規模 ETL/ELT 工作負載

透過複雜的 SQL 轉換功能,提升工作負載的效能

大規模 ETL/ELT 工作負載會執行複雜的 SQL 查詢,通常會受到 CPU 限制,並涉及大量的資料重組和運算。Lightning Engine 的資料欄處理和向量化執行功能,可大幅縮短這些複雜 SQL 作業的處理時間,加快資料 pipeline 速度,縮短執行時間進而降低成本,並能更頻繁地更新資料。

    透過複雜的 SQL 轉換功能,提升工作負載的效能

    大規模 ETL/ELT 工作負載會執行複雜的 SQL 查詢,通常會受到 CPU 限制,並涉及大量的資料重組和運算。Lightning Engine 的資料欄處理和向量化執行功能,可大幅縮短這些複雜 SQL 作業的處理時間,加快資料 pipeline 速度,縮短執行時間進而降低成本,並能更頻繁地更新資料。

      AI/機器學習工作負載

      透過原生 GPU 支援功能,加速 AI/機器學習工作負載和 ETL 工作負載

      無須額外設定,即可執行 Spark 機器學習訓練和批次推論工作負載。Spark 映像檔已預先封裝 NVIDIA 驅動程式和熱門機器學習程式庫。使用內建 Spark Rapids 支援功能,可享有 Lightning Engine 的所有效能提升優勢,透過工作最佳預設設定更有效地運用 GPU,以及快速自動調度資源的節點。

        透過原生 GPU 支援功能,加速 AI/機器學習工作負載和 ETL 工作負載

        無須額外設定,即可執行 Spark 機器學習訓練和批次推論工作負載。Spark 映像檔已預先封裝 NVIDIA 驅動程式和熱門機器學習程式庫。使用內建 Spark Rapids 支援功能,可享有 Lightning Engine 的所有效能提升優勢,透過工作最佳預設設定更有效地運用 GPU,以及快速自動調度資源的節點。

          生成解決方案
          您希望解決什麼問題?
          What you'll get:
          逐步指南
          參考架構
          可用的預先建構解決方案
          這項服務以 Vertex AI 建構,必須年滿 18 歲才能使用。請勿輸入個人資訊,或是敏感、機密的內容。

          定價

          Lightning Engine 的定價方式Lightning Engine for Apache Spark 目前為預先發布版,定價資訊即將公布
          服務與用途說明價格 (美元)

          資料運算單元 (DCU)

          DCU 費率詳細資料即將公布


          即將推出

          Lightning Engine (預先發布版) 的定價資訊即將公布。

          Lightning Engine 的定價方式

          Lightning Engine for Apache Spark 目前為預先發布版,定價資訊即將公布

          資料運算單元 (DCU)

          說明

          DCU 費率詳細資料即將公布


          價格 (美元)

          即將推出

          Lightning Engine (預先發布版) 的定價資訊即將公布。

          Pricing Calculator

          估算每個月的費用,包括特定區域的定價和相關費用。

          客製化報價

          貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。

          開始進行概念驗證

          大幅提升 Spark 工作的效能

          要執行大型專案嗎?

          進一步瞭解 Google Cloud Serverless for Apache Spark

          使用 Lightning Engine for Apache Spark 的時機

          調整 Lightning Engine Spark 工作負載