适用于 Apache Spark 的 Lightning Engine

将 Apache Spark 作业的性能提升 4.3 倍*

Lightning Engine 是一款新的 Spark 处理引擎,具有向量化执行、内置智能缓存和优化的存储 I/O,可提升查询性能。Lightning Engine 现已推出预览版。

*这些查询源自 TPC-DS 标准TPC-H 标准,因此无法与已发布的 TPC-DS 标准TPC-H 标准结果进行比较,因为这些运行不符合 TPC-DS 标准TPC-H 标准规范的所有要求。

Apache Spark 是 Apache Software Foundation 的商标。

功能

提升 Spark 性能

Lightning Engine 利用新的 Apache Spark 处理引擎,提供向量化执行、内置智能缓存和优化的存储 I/O,从而显著提高查询性能。Lightning Engine 与开源 Spark 应用完全兼容。



业界领先的性价比

提供卓越的性能和成本效益,让用户能够以更低的成本处理更多数据。与开源 Apache Spark 相比,Lightning Engine 的性能高出 4.3 倍*,并且与 BigQuery 和 Vertex AI 等 Google Cloud 服务深度集成。托管式优化可减少手动性能调优。


与开放式湖仓一体的互操作性

Lightning Engine 与 Apache Iceberg 和 Google Cloud BigLake 深度集成,提供统一的数据分析和 AI 平台。它具有针对 Cloud Storage 和 BigQuery 进行了优化的数据连接器,可显著缩短数据访问延迟时间并提高吞吐量。

灵活部署

Lightning Engine 目前为预览版,将在 Google Cloud Serverless for Apache Spark 的高级层级以及 Dataproc 中的托管式集群中提供。这两项服务都已支持 GPU,可加速机器学习工作负载,并提供一流的作业监控工具,提高运营效率。借助无服务器 Spark,您可以通过灵活的 Spark 配置和处理大型记录来大规模支持强大的生产作业,同时实现接近 100% 的资源利用率。

工作方式

Lightning Engine 通过优化数据访问、实现智能缓存和利用向量化 C++ 执行引擎,显著提升了 Spark 在 Google Cloud 上的性能,在各种基准测试中显著缩短了查询时间并降低了资源消耗。

常见用途

大规模 ETL/ELT 工作负载

通过复杂的 SQL 转换提升工作负载的性能

包含复杂 SQL 查询的大规模 ETL/ELT 工作负载通常受限于 CPU,并且涉及大量数据重排和计算。Lightning Engine 的列式处理和向量化执行有助于大幅缩短这些复杂 SQL 操作的处理时间,从而加快数据流水线,缩短运行时间来降低成本,并实现更频繁的数据更新。

    通过复杂的 SQL 转换提升工作负载的性能

    包含复杂 SQL 查询的大规模 ETL/ELT 工作负载通常受限于 CPU,并且涉及大量数据重排和计算。Lightning Engine 的列式处理和向量化执行有助于大幅缩短这些复杂 SQL 操作的处理时间,从而加快数据流水线,缩短运行时间来降低成本,并实现更频繁的数据更新。

      AI/机器学习工作负载

      通过原生 GPU 支持加速 AI/机器学习工作负载和 ETL 工作负载

      无需额外的设置或配置,即可运行 Spark ML 训练和批量推断工作负载。Spark 映像预封装了 NVIDIA 驱动程序和热门机器学习库。使用内置的 Spark 快速功能支持,该功能受益于 Lightning Engine 的所有性能改进,具有针对作业的最佳默认配置,可更好地利用 GPU,并具有快速的节点自动扩缩功能。

        通过原生 GPU 支持加速 AI/机器学习工作负载和 ETL 工作负载

        无需额外的设置或配置,即可运行 Spark ML 训练和批量推断工作负载。Spark 映像预封装了 NVIDIA 驱动程序和热门机器学习库。使用内置的 Spark 快速功能支持,该功能受益于 Lightning Engine 的所有性能改进,具有针对作业的最佳默认配置,可更好地利用 GPU,并具有快速的节点自动扩缩功能。

          生成解决方案
          您想解决什么问题?
          What you'll get:
          分步指南
          参考架构
          可用的预构建解决方案
          此服务是使用 Vertex AI 构建的。您必须年满 18 周岁才能使用。请勿输入敏感信息、机密信息或个人信息。

          价格

          Lightning Engine 定价方式适用于 Apache Spark 的 Lightning Engine 现已推出预览版,价格即将公布
          服务和用量说明价格 (USD)

          数据计算单元 (DCU)

          DCU 费率详情即将发布


          即将推出

          Lightning Engine(预览版)价格即将公布。

          Lightning Engine 定价方式

          适用于 Apache Spark 的 Lightning Engine 现已推出预览版,价格即将公布

          数据计算单元 (DCU)

          说明

          DCU 费率详情即将发布


          价格 (USD)

          即将推出

          Lightning Engine(预览版)价格即将公布。

          价格计算器

          估算您的每月费用,包括特定于区域的价格和费用。

          定制报价

          请与我们的销售团队联系,获取为贵组织量身定制的报价。

          开始概念验证

          为您的 Spark 作业注入强劲动力

          有一个大型项目?

          详细了解 Google Cloud Serverless for Apache Spark

          何时使用适用于 Apache Spark 的 Lightning Engine

          调优 Lightning Engine Spark 工作负载