Lightning Engine 是一款新的 Spark 处理引擎,具有向量化执行、内置智能缓存和优化的存储 I/O,可提升查询性能。Lightning Engine 现已推出预览版。
功能
Lightning Engine 利用新的 Apache Spark 处理引擎,提供向量化执行、内置智能缓存和优化的存储 I/O,从而显著提高查询性能。Lightning Engine 与开源 Spark 应用完全兼容。
提供卓越的性能和成本效益,让用户能够以更低的成本处理更多数据。与开源 Apache Spark 相比,Lightning Engine 的性能高出 4.3 倍*,并且与 BigQuery 和 Vertex AI 等 Google Cloud 服务深度集成。托管式优化可减少手动性能调优。
Lightning Engine 与 Apache Iceberg 和 Google Cloud BigLake 深度集成,提供统一的数据分析和 AI 平台。它具有针对 Cloud Storage 和 BigQuery 进行了优化的数据连接器,可显著缩短数据访问延迟时间并提高吞吐量。
Lightning Engine 目前为预览版,将在 Google Cloud Serverless for Apache Spark 的高级层级以及 Dataproc 中的托管式集群中提供。这两项服务都已支持 GPU,可加速机器学习工作负载,并提供一流的作业监控工具,提高运营效率。借助无服务器 Spark,您可以通过灵活的 Spark 配置和处理大型记录来大规模支持强大的生产作业,同时实现接近 100% 的资源利用率。
常见用途
价格
Lightning Engine 定价方式 | 适用于 Apache Spark 的 Lightning Engine 现已推出预览版,价格即将公布 | |
---|---|---|
服务和用量 | 说明 | 价格 (USD) |
数据计算单元 (DCU) | DCU 费率详情即将发布 | 即将推出 |
Lightning Engine(预览版)价格即将公布。
Lightning Engine 定价方式
适用于 Apache Spark 的 Lightning Engine 现已推出预览版,价格即将公布
数据计算单元 (DCU)
DCU 费率详情即将发布
即将推出
Lightning Engine(预览版)价格即将公布。