Lightning Engine für Apache Spark
4,3-mal schnellere* Bearbeitung von Apache Spark-Jobs
Mit der Lightning Engine, einer neuen Spark-Verarbeitungs-Engine mit vektorisierter Ausführung, integriertem intelligentem Caching und optimierter Speicher-E/A, können Sie die Abfrageleistung beschleunigen. Lightning Engine ist jetzt in der Vorabversion verfügbar.
*Die Abfragen sind von den Standards TPC-DS und TPC-H abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS- und TPC-H-Standard-Spezifikation entsprechen.
Apache Spark ist eine Marke der Apache Software Foundation.
Features
Verbesserte Spark-Leistung
Die Lightning Engine nutzt eine neue Apache Spark-Verarbeitungs-Engine mit vektorisierter Ausführung, integriertem intelligentem Caching und optimierter Speicher-E/A, um eine deutlich schnellere Abfrageleistung zu erzielen. Lightning Engine ist vollständig mit Open-Source-Spark-Anwendungen kompatibel.
Branchenführendes Preis-Leistungs-Verhältnis
Bietet erstklassige Leistung und Kosteneffizienz, sodass Nutzer mehr Daten zu geringeren Kosten verarbeiten können. Die Lightning Engine bietet im Vergleich zu Open-Source-Apache Spark eine mehr als 4,3‑mal schnellere* Leistung und ist eng in Google Cloud-Dienste wie BigQuery und Vertex AI eingebunden. Dank der verwalteten Optimierung müssen Sie die Leistung nicht mehr manuell optimieren.
Interoperabilität mit Open Lakehouse
Lightning Engine ist eng in Apache Iceberg und Google Cloud BigLake eingebunden und bietet eine einheitliche Plattform für Datenanalyse und KI. Es bietet optimierte Datenconnectoren für Cloud Storage und BigQuery, die die Latenz und den Durchsatz beim Datenzugriff deutlich verbessern.
Flexible Bereitstellung
Lightning Engine befindet sich derzeit in der Vorschau und wird in der Premium-Stufe von Google Cloud Serverless for Apache Spark sowie in verwalteten Clustern in Dataproc verfügbar sein. Beide Dienste bieten bereits GPU-Unterstützung für beschleunigte Arbeitslasten für Machine Learning und erstklassige Tools zur Jobüberwachung für mehr betriebliche Effizienz. Dank dem serverlosem Spark, das durch flexible Spark-Konfigurationen und die Verarbeitung großer Datenmengen eine zuverlässige Unterstützung von Produktionsaufträgen in großem Maßstab bietet, erreichen Sie außerdem eine nahezu 100-prozentige Ressourcenauslastung.
Funktionsweise
Die Lightning Engine steigert die Leistung von Spark in Google Cloud erheblich, indem sie den Datenzugriff optimiert, intelligentes Caching implementiert und eine vektorisierte C++-Ausführungs-Engine nutzt. So werden wesentlich schnellere Abfragezeiten und ein reduzierter Ressourcenverbrauch in verschiedenen Benchmarks erreicht.
Die Lightning Engine steigert die Leistung von Spark in Google Cloud erheblich, indem sie den Datenzugriff optimiert, intelligentes Caching implementiert und eine vektorisierte C++-Ausführungs-Engine nutzt. So werden wesentlich schnellere Abfragezeiten und ein reduzierter Ressourcenverbrauch in verschiedenen Benchmarks erreicht.
Gängige Einsatzmöglichkeiten
Große ETL-/ELT-Arbeitslasten
Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern
Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern
Große ETL/ELT-Arbeitslasten mit komplexen SQL-Abfragen sind oft CPU-gebunden und erfordern umfangreiche Datenumsortierungen und Berechnungen. Die spaltenbasierte Verarbeitung und die vektorisierte Ausführung der Lightning Engine können die Verarbeitungszeit für diese komplexen SQL-Operationen erheblich reduzieren. Das bedeutet schnellere Datenpipelines, geringere Kosten aufgrund kürzerer Laufzeiten und die Option für häufigere Datenaktualisierungen.
Tutorials, Kurzanleitungen und Labs
Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern
Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern
Große ETL/ELT-Arbeitslasten mit komplexen SQL-Abfragen sind oft CPU-gebunden und erfordern umfangreiche Datenumsortierungen und Berechnungen. Die spaltenbasierte Verarbeitung und die vektorisierte Ausführung der Lightning Engine können die Verarbeitungszeit für diese komplexen SQL-Operationen erheblich reduzieren. Das bedeutet schnellere Datenpipelines, geringere Kosten aufgrund kürzerer Laufzeiten und die Option für häufigere Datenaktualisierungen.
KI-/ML-Arbeitslasten
AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen
AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen
Führen Sie Spark ML-Trainings- und Batch-Inferenzarbeitslasten ohne zusätzliche Einrichtung oder Konfiguration aus. Das Spark-Image wird mit NVIDIA-Treibern und beliebten ML-Bibliotheken geliefert. Nutzen Sie die integrierte Unterstützung für Spark Rapids, die von allen Leistungsverbesserungen der Lightning Engine profitiert, zur besseren GPU-Nutzung optimale Standardkonfigurationen für die Jobs verwendet und über eine schnelles Autoscaling von Knoten verfügt.
Tutorials, Kurzanleitungen und Labs
AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen
AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen
Führen Sie Spark ML-Trainings- und Batch-Inferenzarbeitslasten ohne zusätzliche Einrichtung oder Konfiguration aus. Das Spark-Image wird mit NVIDIA-Treibern und beliebten ML-Bibliotheken geliefert. Nutzen Sie die integrierte Unterstützung für Spark Rapids, die von allen Leistungsverbesserungen der Lightning Engine profitiert, zur besseren GPU-Nutzung optimale Standardkonfigurationen für die Jobs verwendet und über eine schnelles Autoscaling von Knoten verfügt.
Preise
| Preisgestaltung für Lightning Engine | Lightning Engine für Apache Spark ist in der Vorschauversion verfügbar. Die Preise werden demnächst bekannt gegeben. | |
|---|---|---|
| Dienste und Nutzung | Beschreibung | Preis ($) |
Data Compute Unit (DCU) | Die DCU-Preise werden demnächst bekannt gegeben. | Bald verfügbar |
Preise für Lightning Engine (Preview) sind bald verfügbar.
Preisgestaltung für Lightning Engine
Lightning Engine für Apache Spark ist in der Vorschauversion verfügbar. Die Preise werden demnächst bekannt gegeben.
Data Compute Unit (DCU)
Die DCU-Preise werden demnächst bekannt gegeben.
Bald verfügbar
Preise für Lightning Engine (Preview) sind bald verfügbar.
