Lightning Engine
加快 Apache Spark 的性能
我们的向量化引擎是一种更简单的 Spark 优化方式，使用更智能的引擎，将 Spark 性能加快 4.3 倍以上*，降低了计算成本。
功能
缩短作业运行时并降低成本
体验更快速的 Spark 运行方式。加快大规模 ETL、数据科学和 SQL 工作负载的运行速度，比开源 Apache Spark 快 4.3 倍以上。作业运行时的大幅缩短减少了计算时间，从而降低了 Spark 工作负载的总拥有成本。
加快 Spark 性能
探索更轻松的性能提升方式。减少在优化 Spark 上花费宝贵的工程周期。
智能数据访问和缓存
利用更智能的架构。Lightning Engine 会自动将热数据缓存在内存中，并利用针对 Cloud Storage 和 BigQuery 进行了优化的高吞吐量连接器，显著缩短了大规模 Spark 数据处理的 I/O 延迟时间并提高了吞吐量。
核心技术：向量化执行
Lightning Engine 利用原生 C++ 向量化执行引擎来批量处理数据，与传统的逐行处理相比，可显著提高 CPU 效率。这是其突破性 Spark 性能的核心组成部分。
可用情况
| 可用情况 | Lightning Engine 适用于要求最严苛的 Spark 工作负载。您可以通过 Dataproc 和 Serverless Apache Spark 的高级层级获取 | |
|---|---|---|
| 产品 | 发布情况 | 访问途径 |
已全面推出 | ||
Dataproc on Google Compute Engine | 预览版 | 即将推出 |
可用情况
Lightning Engine 适用于要求最严苛的 Spark 工作负载。您可以通过 Dataproc 和 Serverless Apache Spark 的高级层级获取
常见用途
非常适合要求最严苛的作业
大规模 ETL
大幅缩短最复杂的 Spark 数据处理和转换流水线的运行时。这意味着您可以满足更严格的数据新鲜度 SLA，缩短夜间批处理窗口，并显著降低资源密集程度最高的数据流水线的总拥有成本。
学习资源
大规模 ETL
大幅缩短最复杂的 Spark 数据处理和转换流水线的运行时。这意味着您可以满足更严格的数据新鲜度 SLA，缩短夜间批处理窗口，并显著降低资源密集程度最高的数据流水线的总拥有成本。
AI/机器学习数据准备
加快对机器学习生命周期至关重要的特征工程和数据准备步骤。通过加快机器学习工作流中最耗时的部分，数据科学家可以运行更多实验、更快地迭代模型，并更快地将有价值的 AI 应用投入生产。
学习资源
AI/机器学习数据准备
加快对机器学习生命周期至关重要的特征工程和数据准备步骤。通过加快机器学习工作流中最耗时的部分，数据科学家可以运行更多实验、更快地迭代模型，并更快地将有价值的 AI 应用投入生产。
交互式分析
支持直接在数据湖中进行交互式快速 SQL 查询，以进行临时分析和实现商业智能。提供更快的查询响应，助力数据分析师保持思路连贯，从而更快地探索数据并获得更有效的分析洞见。
学习资源
交互式分析
支持直接在数据湖中进行交互式快速 SQL 查询，以进行临时分析和实现商业智能。提供更快的查询响应，助力数据分析师保持思路连贯，从而更快地探索数据并获得更有效的分析洞见。
价格
| 加速 Spark，随心所用 | Lightning Engine 是 Dataproc 和 Google Cloud Serverless for Apache Spark 的高级层级的一项功能。 |
|---|---|
| 产品 | 价格 |
即将推出预览版。 |
加速 Spark，随心所用
Lightning Engine 是 Dataproc 和 Google Cloud Serverless for Apache Spark 的高级层级的一项功能。
