Lightning Engine
Acelera el rendimiento de Apache Spark
Nuestro motor vectorizado es una forma más sencilla de optimizar Spark con un motor más inteligente que ofrece un rendimiento de Spark más de 4,3 veces más rápido*, lo que reduce los costes de computación.
*Las consultas se derivan del estándar TPC-DS y del estándar TPC-H y, como tal, no se pueden comparar con los resultados publicados del estándar TPC-DS y del estándar TPC-H, ya que estas ejecuciones no cumplen todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.
Apache Spark es una marca de The Apache Software Foundation.
Características
Reduce los tiempos de ejecución de las tareas y los costes
Disfruta de una forma más rápida de ejecutar Spark. Acelera tus cargas de trabajo de ETL, ciencia de datos y SQL a gran escala más de 4,3 veces más rápido que Apache Spark de código abierto. Esta drástica reducción del tiempo de ejecución de las tareas disminuye el coste total de propiedad de tus cargas de trabajo de Spark al reducir el tiempo de computación.
Acelera el rendimiento de Spark
Descubre una forma más sencilla de mejorar el rendimiento. Reduce el tiempo que los ingenieros dedican a optimizar Spark.
Acceso a datos y almacenamiento en caché inteligentes
Aprovecha una arquitectura más inteligente. Lightning Engine almacena automáticamente en caché los datos activos en la memoria y utiliza conectores optimizados de alto rendimiento para Cloud Storage y BigQuery, lo que mejora significativamente la latencia de E/S y el rendimiento del procesamiento de datos de Spark a gran escala.
La tecnología principal: ejecución vectorizada
Lightning Engine aprovecha un motor de ejecución vectorizado nativo de C++ para procesar datos en lotes, lo que mejora drásticamente la eficiencia de la CPU en comparación con el procesamiento tradicional fila por fila. Este es un componente fundamental de su innovador rendimiento de Spark.
Disponibilidad
| Disponibilidad | Lightning Engine está pensado para tus cargas de trabajo de Spark más exigentes. Puedes acceder a él con los niveles premium de Dataproc y Serverless Apache Spark. | |
|---|---|---|
| Producto | Disponibilidad | Acceso |
Google Cloud Serverless para Apache Spark - Nivel Premium | Disponible de forma general | |
Dataproc en Google Compute Engine | En versión preliminar | Disponible próximamente |
Disponibilidad
Lightning Engine está pensado para tus cargas de trabajo de Spark más exigentes. Puedes acceder a él con los niveles premium de Dataproc y Serverless Apache Spark.
Google Cloud Serverless para Apache Spark - Nivel Premium
Disponible de forma general
Cómo funciona
Lightning Engine acelera el procesamiento de datos de Spark con un motor vectorizado nativo de C++, almacenamiento en caché inteligente y E/S optimizada. Procesa los datos por lotes para maximizar la eficiencia de la CPU, reducir los tiempos de ejecución de las tareas y los costes de computación. Este conjunto de optimizaciones ofrece un rendimiento de Spark revolucionario.
Lightning Engine acelera el procesamiento de datos de Spark con un motor vectorizado nativo de C++, almacenamiento en caché inteligente y E/S optimizada. Procesa los datos por lotes para maximizar la eficiencia de la CPU, reducir los tiempos de ejecución de las tareas y los costes de computación. Este conjunto de optimizaciones ofrece un rendimiento de Spark revolucionario.
Usos habituales
Ideal para tus trabajos más exigentes
ETL a gran escala
Reduce drásticamente el tiempo de ejecución de tus flujos de procesamiento y transformación de datos de Spark más complejos. Esto significa que puedes cumplir acuerdos de nivel de servicio más frecuentes en cuanto a la actualización de datos, reducir las ventanas de procesamiento por lotes repentinas y disminuir significativamente el coste total de propiedad de tus flujos de datos que más recursos consumen.
Recursos de formación
ETL a gran escala
Reduce drásticamente el tiempo de ejecución de tus flujos de procesamiento y transformación de datos de Spark más complejos. Esto significa que puedes cumplir acuerdos de nivel de servicio más frecuentes en cuanto a la actualización de datos, reducir las ventanas de procesamiento por lotes repentinas y disminuir significativamente el coste total de propiedad de tus flujos de datos que más recursos consumen.
Preparación de datos para IA y aprendizaje automático
Acelera los pasos de ingeniería de funciones y preparación de datos que son fundamentales para tu ciclo de vida de aprendizaje automático. Al acelerar la parte más lenta del flujo de trabajo de aprendizaje automático, tus científicos de datos pueden ejecutar más experimentos, iterar en los modelos más rápido y poner en producción aplicaciones de IA valiosas antes.
Recursos de formación
Preparación de datos para IA y aprendizaje automático
Acelera los pasos de ingeniería de funciones y preparación de datos que son fundamentales para tu ciclo de vida de aprendizaje automático. Al acelerar la parte más lenta del flujo de trabajo de aprendizaje automático, tus científicos de datos pueden ejecutar más experimentos, iterar en los modelos más rápido y poner en producción aplicaciones de IA valiosas antes.
Analíticas interactivas
Ejecuta consultas de SQL rápidas e interactivas directamente en tu data lake para hacer análisis ad hoc y de inteligencia empresarial. Permite que tus analistas de datos mantengan el hilo de sus pensamientos con tiempos de respuesta de las consultas más rápidos, lo que lleva a una exploración de datos más rápida y a estadísticas más eficaces.
Recursos de formación
Analíticas interactivas
Ejecuta consultas de SQL rápidas e interactivas directamente en tu data lake para hacer análisis ad hoc y de inteligencia empresarial. Permite que tus analistas de datos mantengan el hilo de sus pensamientos con tiempos de respuesta de las consultas más rápidos, lo que lleva a una exploración de datos más rápida y a estadísticas más eficaces.
Precios
| Spark acelerado, a tu manera | Lightning Engine es una función de los niveles premium de Dataproc y Google Cloud Serverless para Apache Spark. |
|---|---|
| Producto | Precios |
En vista previa, disponible próximamente. |
Spark acelerado, a tu manera
Lightning Engine es una función de los niveles premium de Dataproc y Google Cloud Serverless para Apache Spark.
