Lightning Engine
Accélérer les performances d'Apache Spark
Notre moteur vectorisé est un moyen simple d'optimiser Spark grâce à un moteur intelligent qui offre des performances plus de 4,3 fois supérieures*, tout en réduisant les coûts de calcul.
Fonctionnalités
Réduire le temps d'exécution des jobs et les coûts
Exécutez Spark plus rapidement. Accélérez vos charges de travail ETL, de data science et SQL à grande échelle, avec des performances plus de 4,3 fois supérieures à celles d'Apache Spark Open Source. Cette réduction considérable de la durée d'exécution des jobs diminue le coût total de possession de vos charges de travail Spark en réduisant le temps de calcul.
Améliorer les performances de Spark
Découvrez un moyen plus simple d'améliorer les performances. Évitez de consacrer de précieuses ressources d'ingénierie à l'optimisation de Spark.
Mise en cache et accès aux données intelligents
Exploitez une architecture plus intelligente. Lightning Engine met automatiquement en cache les données fréquemment consultées en mémoire et utilise des connecteurs optimisés à haut débit pour Cloud Storage et BigQuery, ce qui améliore considérablement la latence des E/S et le débit pour le traitement des données Spark à grande échelle.
Technologie de base : exécution vectorisée
Lightning Engine exploite un moteur C++ natif avec exécution vectorisée pour traiter les données par lots, ce qui améliore considérablement l'efficacité du processeur par rapport au traitement ligne par ligne traditionnel. C'est l'un des facteurs clés de ses performances révolutionnaires dans Spark.
Qui peut en bénéficier ?
| Qui peut en bénéficier ? | Lightning Engine est conçu pour vos charges de travail Spark les plus exigeantes. Vous pouvez y accéder avec les niveaux Premium de Dataproc et Serverless pour Apache Spark. | |
|---|---|---|
| Produit | Disponibilité | Accès |
Google Cloud Serverless pour Apache Spark – Niveau Premium | Disponible pour tous les utilisateurs | |
Dataproc sur Google Compute Engine | En preview | Bientôt disponible |
Qui peut en bénéficier ?
Lightning Engine est conçu pour vos charges de travail Spark les plus exigeantes. Vous pouvez y accéder avec les niveaux Premium de Dataproc et Serverless pour Apache Spark.
Google Cloud Serverless pour Apache Spark – Niveau Premium
Disponible pour tous les utilisateurs
Fonctionnement
Lightning Engine accélère le traitement des données Spark grâce à un moteur vectorisé C++ natif, à la mise en cache intelligente et à des E/S optimisées. Cette fonctionnalité traite les données par lots pour une efficacité maximale du processeur, ce qui réduit le temps d'exécution des jobs et les coûts de calcul. Cet ensemble d'optimisations offre des performances Spark exceptionnelles.
Lightning Engine accélère le traitement des données Spark grâce à un moteur vectorisé C++ natif, à la mise en cache intelligente et à des E/S optimisées. Cette fonctionnalité traite les données par lots pour une efficacité maximale du processeur, ce qui réduit le temps d'exécution des jobs et les coûts de calcul. Cet ensemble d'optimisations offre des performances Spark exceptionnelles.
Utilisations courantes
Idéal pour vos jobs les plus exigeants
ETL à grande échelle
Réduisez considérablement le temps d'exécution de vos pipelines de traitement et de transformation des données Spark les plus complexes. Vous pouvez ainsi respecter des SLA plus stricts concernant la fraîcheur des données, réduire les fenêtres par lot nocturnes et diminuer considérablement le coût total de possession de vos pipelines de données les plus gourmands en ressources.
Ressources de formation
ETL à grande échelle
Réduisez considérablement le temps d'exécution de vos pipelines de traitement et de transformation des données Spark les plus complexes. Vous pouvez ainsi respecter des SLA plus stricts concernant la fraîcheur des données, réduire les fenêtres par lot nocturnes et diminuer considérablement le coût total de possession de vos pipelines de données les plus gourmands en ressources.
Préparation des données d'IA et de ML
Accélérez les étapes d'ingénierie des caractéristiques et de préparation des données qui sont essentielles pour votre cycle de vie de machine learning. En accélérant la partie la plus chronophage du workflow de ML, vos data scientists peuvent exécuter davantage de tests, effectuer des itérations plus rapidement sur les modèles et mettre en production plus tôt des applications d'IA de qualité.
Ressources de formation
Préparation des données d'IA et de ML
Accélérez les étapes d'ingénierie des caractéristiques et de préparation des données qui sont essentielles pour votre cycle de vie de machine learning. En accélérant la partie la plus chronophage du workflow de ML, vos data scientists peuvent exécuter davantage de tests, effectuer des itérations plus rapidement sur les modèles et mettre en production plus tôt des applications d'IA de qualité.
Analyse interactive
Exécutez des requêtes SQL rapides et interactives directement sur votre lac de données pour les analyses ad hoc et l'informatique décisionnelle. Offrez à vos analystes de données des temps de réponse plus courts aux requêtes afin qu'ils puissent rester concentrés, explorer les données plus rapidement et obtenir des insights plus pertinents.
Ressources de formation
Analyse interactive
Exécutez des requêtes SQL rapides et interactives directement sur votre lac de données pour les analyses ad hoc et l'informatique décisionnelle. Offrez à vos analystes de données des temps de réponse plus courts aux requêtes afin qu'ils puissent rester concentrés, explorer les données plus rapidement et obtenir des insights plus pertinents.
Tarification
| Requêtes Spark accélérées, à votre façon | Lightning Engine est une fonctionnalité des niveaux Premium de Dataproc et de Google Cloud Serverless pour Apache Spark. |
|---|---|
| Produit | Tarifs |
En preview, bientôt disponible. |
Requêtes Spark accélérées, à votre façon
Lightning Engine est une fonctionnalité des niveaux Premium de Dataproc et de Google Cloud Serverless pour Apache Spark.
