Lightning Engine
Acelera el rendimiento de Apache Spark
Nuestro motor vectorizado es una forma más sencilla de optimizar Spark con un motor más inteligente, que ofrece un rendimiento de Spark más rápido (más de 4.3 veces)*, lo que reduce los costos de procesamiento.
* Las consultas se derivan del estándar TPC-DS y del estándar TPC-H y, como tal, no son comparables con los resultados publicados del estándar TPC-DS ni del estándar TPC-H, ya que estas ejecuciones no cumplen con todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.
Spark es una marca comercial de The Apache Software Foundation.
Funciones
Reduce los tiempos de ejecución de los trabajos y los costos
Experimenta una forma más rápida de ejecutar Spark. Acelera tus cargas de trabajo de ETL, ciencia de datos y SQL a gran escala más de 4.3 veces más rápido que Apache Spark de código abierto. Esta caída drástica en el tiempo de ejecución del trabajo disminuye el costo total de propiedad de tus cargas de trabajo de Spark, ya que reduce el tiempo de procesamiento.
Acelera el rendimiento de Spark
Descubre una forma más sencilla de mejorar el rendimiento. Reduce el gasto de valiosos ciclos de ingeniería con la optimización de Spark.
Acceso a los datos y almacenamiento en caché inteligentes
Aprovecha una arquitectura más inteligente. Lightning Engine almacena automáticamente en caché los datos activos en la memoria y utiliza conectores optimizados de alto rendimiento para Cloud Storage y BigQuery, lo que mejora significativamente la latencia de E/S y la capacidad de procesamiento para el procesamiento de datos de Spark a gran escala.
La tecnología principal: ejecución vectorizada
Lightning Engine aprovecha un motor de ejecución vectorizado de C++ nativo para procesar datos en lotes, lo que mejora drásticamente la eficiencia de la CPU en comparación con el procesamiento tradicional fila por fila. Este es un componente central del rendimiento innovador de Spark.
Disponibilidad
| Disponibilidad | Lightning Engine es para tus cargas de trabajo de Spark más exigentes. Puedes acceder a él con los niveles premium de Dataproc y Serverless Apache Spark | |
|---|---|---|
| Producto | Disponibilidad | Acceso |
Google Cloud Serverless para Apache Spark: nivel Premium | Disponible de manera general | |
Dataproc en Google Compute Engine | En versión preliminar | Disponible próximamente |
Disponibilidad
Lightning Engine es para tus cargas de trabajo de Spark más exigentes. Puedes acceder a él con los niveles premium de Dataproc y Serverless Apache Spark
Google Cloud Serverless para Apache Spark: nivel Premium
Disponible de manera general
Cómo funciona
Lightning Engine acelera el procesamiento de datos de Spark con un motor vectorizado nativo de C++, almacenamiento en caché inteligente y E/S optimizada. Procesa datos en lotes para lograr la máxima eficiencia de la CPU, lo que reduce los tiempos de ejecución de los trabajos y los costos de procesamiento. Este conjunto de optimizaciones ofrece un rendimiento innovador en Spark.
Lightning Engine acelera el procesamiento de datos de Spark con un motor vectorizado nativo de C++, almacenamiento en caché inteligente y E/S optimizada. Procesa datos en lotes para lograr la máxima eficiencia de la CPU, lo que reduce los tiempos de ejecución de los trabajos y los costos de procesamiento. Este conjunto de optimizaciones ofrece un rendimiento innovador en Spark.
Usos comunes
Ideal para tus trabajos más exigentes
ETL a gran escala
Reduce drásticamente el tiempo de ejecución de tus canalizaciones más complejas de procesamiento y transformación de datos de Spark. Esto significa que puedes cumplir con SLA de actualidad de los datos más estrictos, reducir las ventanas de procesamiento por lotes durante la noche y disminuir significativamente el TCO de tus canalizaciones de datos con mayor uso de recursos.
Recursos de aprendizaje
ETL a gran escala
Reduce drásticamente el tiempo de ejecución de tus canalizaciones más complejas de procesamiento y transformación de datos de Spark. Esto significa que puedes cumplir con SLA de actualidad de los datos más estrictos, reducir las ventanas de procesamiento por lotes durante la noche y disminuir significativamente el TCO de tus canalizaciones de datos con mayor uso de recursos.
Preparación de datos para IA/AA
Acelera los pasos de ingeniería de atributos y de preparación de datos que son fundamentales para tu ciclo de vida de aprendizaje automático. Si aceleras la parte más lenta del flujo de trabajo de AA, tus científicos de datos podrán ejecutar más experimentos, iterar en modelos más rápido y poner en producción aplicaciones de IA valiosas antes.
Recursos de aprendizaje
Preparación de datos para IA/AA
Acelera los pasos de ingeniería de atributos y de preparación de datos que son fundamentales para tu ciclo de vida de aprendizaje automático. Si aceleras la parte más lenta del flujo de trabajo de AA, tus científicos de datos podrán ejecutar más experimentos, iterar en modelos más rápido y poner en producción aplicaciones de IA valiosas antes.
Análisis interactivos
Potencia las consultas en SQL rápidas e interactivas directamente en tu data lake para el análisis ad hoc y la inteligencia empresarial. Permite que tus analistas de datos mantengan la coherencia con tiempos de respuesta de consultas más rápidos, lo que lleva a una exploración de datos más veloz y estadísticas más eficaces.
Recursos de aprendizaje
Análisis interactivos
Potencia las consultas en SQL rápidas e interactivas directamente en tu data lake para el análisis ad hoc y la inteligencia empresarial. Permite que tus analistas de datos mantengan la coherencia con tiempos de respuesta de consultas más rápidos, lo que lleva a una exploración de datos más veloz y estadísticas más eficaces.
Precios
| Spark acelerado a tu manera | Lightning Engine es una función de los niveles premium de Dataproc y Google Cloud Serverless para Apache Spark. |
|---|---|
| Producto | Precios |
En vista previa, disponible próximamente. |
Spark acelerado a tu manera
Lightning Engine es una función de los niveles premium de Dataproc y Google Cloud Serverless para Apache Spark.
