Lightning Engine para Apache Spark
Acelera el rendimiento de las tareas de Apache Spark hasta 4,3 veces*
Disfruta de un rendimiento de consultas más rápido con Lightning Engine, un nuevo motor de procesamiento de Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizada. Lightning Engine ya está disponible en versión preliminar.
*Las consultas se derivan del estándar TPC-DS y del estándar TPC-H y, como tal, no se pueden comparar con los resultados publicados del estándar TPC-DS y del estándar TPC-H, ya que estas ejecuciones no cumplen todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.
Apache Spark es una marca de The Apache Software Foundation.
Características
Mejora del rendimiento de Spark
Lightning Engine aprovecha un nuevo motor de procesamiento Apache Spark con ejecución vectorizada, almacenamiento en caché inteligente integrado y E/S de almacenamiento optimizada para ofrecer un rendimiento de consultas mucho más rápido. Lightning Engine es totalmente compatible con las aplicaciones de código abierto de Spark.
Relación precio-rendimiento líder en el sector
Ofrece un rendimiento superior y una eficiencia de costes, lo que permite a los usuarios procesar más datos por menos. Lightning Engine ofrece un rendimiento 4,3 veces* superior al de Apache Spark (software libre) y se integra a la perfección con servicios de Google Cloud, como BigQuery y Vertex AI. La optimización gestionada reduce el ajuste manual del rendimiento.
Interoperabilidad con un lakehouse abierto
Lightning Engine está profundamente integrado con Apache Iceberg y Google Cloud BigLake, lo que proporciona una plataforma unificada de IA y analíticas de datos. Incluye conectores de datos optimizados para Cloud Storage y BigQuery, lo que mejora significativamente la latencia de acceso a los datos y el rendimiento.
Despliegue flexible
Lightning Engine está actualmente en versión preliminar y estará disponible en el nivel premium de Google Cloud sin servidores para Apache Spark, así como en los clústeres gestionados de Dataproc. Ambos servicios ya incluyen compatibilidad con GPUs para cargas de trabajo de aprendizaje automático acelerado y las mejores herramientas de monitorización de tareas para una mayor eficiencia operativa. Con Spark sin servidores, que ofrece una solución sólida para tareas de producción a gran escala mediante configuraciones flexibles de Spark y la gestión de registros de gran tamaño, también se consigue una utilización de recursos cercana al 100 %.
Cómo funciona
Lightning Engine mejora significativamente el rendimiento de Spark en Google Cloud al optimizar el acceso a datos, implementar un almacenamiento en caché inteligente y aprovechar un motor de ejecución vectorizado en C++, lo que permite reducir considerablemente los tiempos de consulta y el consumo de recursos en varios puntos de referencia.
Lightning Engine mejora significativamente el rendimiento de Spark en Google Cloud al optimizar el acceso a datos, implementar un almacenamiento en caché inteligente y aprovechar un motor de ejecución vectorizado en C++, lo que permite reducir considerablemente los tiempos de consulta y el consumo de recursos en varios puntos de referencia.
Usos habituales
Cargas de trabajo de proceso de extracción, transformación y carga (ETL) o de extracción, carga y transformación (ELT) a gran escala
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Las cargas de trabajo de proceso de extracción, transformación y carga (ETL) o de extracción, carga y transformación (ELT) a gran escala con consultas de SQL complejas suelen estar limitadas por la CPU y requieren operaciones de agrupamiento de datos por clave y computacionales muy pesadas. El procesamiento en columnas y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones de SQL complejas, lo que se traduce en flujos de procesamiento de datos más rápidos, costes reducidos debido a tiempos de ejecución más cortos y actualizaciones de datos más frecuentes.
Tutoriales, guías de inicio rápido y experimentos
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Mejora el rendimiento de las cargas de trabajo con transformaciones de SQL complejas
Las cargas de trabajo de proceso de extracción, transformación y carga (ETL) o de extracción, carga y transformación (ELT) a gran escala con consultas de SQL complejas suelen estar limitadas por la CPU y requieren operaciones de agrupamiento de datos por clave y computacionales muy pesadas. El procesamiento en columnas y la ejecución vectorizada de Lightning Engine pueden ayudar a reducir drásticamente el tiempo de procesamiento de estas operaciones de SQL complejas, lo que se traduce en flujos de procesamiento de datos más rápidos, costes reducidos debido a tiempos de ejecución más cortos y actualizaciones de datos más frecuentes.
Cargas de trabajo de IA y aprendizaje automático
Agiliza las cargas de trabajo de IA y aprendizaje automático, así como las de proceso de extracción, transformación y carga (ETL), con compatibilidad nativa con GPU
Agiliza las cargas de trabajo de IA y aprendizaje automático, así como las de proceso de extracción, transformación y carga (ETL), con compatibilidad nativa con GPU
Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de aprendizaje automático de Spark sin necesidad de configurarlas. La imagen de Spark viene preempaquetada con controladores de NVIDIA y bibliotecas de aprendizaje automático populares. Usa la compatibilidad integrada con Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos aprovechen mejor las GPUs y permite el autoescalado rápido de los nodos.
Tutoriales, guías de inicio rápido y experimentos
Agiliza las cargas de trabajo de IA y aprendizaje automático, así como las de proceso de extracción, transformación y carga (ETL), con compatibilidad nativa con GPU
Agiliza las cargas de trabajo de IA y aprendizaje automático, así como las de proceso de extracción, transformación y carga (ETL), con compatibilidad nativa con GPU
Ejecuta cargas de trabajo de inferencia por lotes y entrenamiento de aprendizaje automático de Spark sin necesidad de configurarlas. La imagen de Spark viene preempaquetada con controladores de NVIDIA y bibliotecas de aprendizaje automático populares. Usa la compatibilidad integrada con Spark Rapids, que se beneficia de todas las mejoras de rendimiento de Lightning Engine, tiene configuraciones predeterminadas óptimas para que los trabajos aprovechen mejor las GPUs y permite el autoescalado rápido de los nodos.
Precios
| Cómo funcionan los precios de Lightning Engine | Lightning Engine para Apache Spark está en fase preliminar y los precios se anunciarán próximamente. | |
|---|---|---|
| Servicios y uso | Descripción | Precio (USD) |
Unidad de computación de datos (DCU) | Próximamente se darán a conocer los detalles de las tarifas de unidades de computación de datos (DCU). | Disponible próximamente |
La información sobre los precios de Lightning Engine (versión preliminar) estará disponible próximamente.
Cómo funcionan los precios de Lightning Engine
Lightning Engine para Apache Spark está en fase preliminar y los precios se anunciarán próximamente.
Unidad de computación de datos (DCU)
Próximamente se darán a conocer los detalles de las tarifas de unidades de computación de datos (DCU).
Disponible próximamente
La información sobre los precios de Lightning Engine (versión preliminar) estará disponible próximamente.
