Lightning Engine für Apache Spark

4,3-mal schnellere* Bearbeitung von Apache Spark-Jobs

Mit der Lightning Engine, einer neuen Spark-Verarbeitungs-Engine mit vektorisierter Ausführung, integriertem intelligentem Caching und optimierter Speicher-E/A, können Sie die Abfrageleistung beschleunigen. Lightning Engine ist jetzt in der Vorabversion verfügbar.

*Die Abfragen sind von den Standards TPC-DS und TPC-H abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS- und TPC-H-Standard-Spezifikation entsprechen.

Apache Spark ist eine Marke der Apache Software Foundation.

Features

Verbesserte Spark-Leistung

Die Lightning Engine nutzt eine neue Apache Spark-Verarbeitungs-Engine mit vektorisierter Ausführung, integriertem intelligentem Caching und optimierter Speicher-E/A, um eine deutlich schnellere Abfrageleistung zu erzielen. Lightning Engine ist vollständig mit Open-Source-Spark-Anwendungen kompatibel.



Branchenführendes Preis-Leistungs-Verhältnis

Bietet erstklassige Leistung und Kosteneffizienz, sodass Nutzer mehr Daten zu geringeren Kosten verarbeiten können. Die Lightning Engine bietet im Vergleich zu Open-Source-Apache Spark eine mehr als 4,3‑mal schnellere* Leistung und ist eng in Google Cloud-Dienste wie BigQuery und Vertex AI eingebunden. Dank der verwalteten Optimierung müssen Sie die Leistung nicht mehr manuell optimieren.


Interoperabilität mit Open Lakehouse

Lightning Engine ist eng in Apache Iceberg und Google Cloud BigLake eingebunden und bietet eine einheitliche Plattform für Datenanalyse und KI. Es bietet optimierte Datenconnectoren für Cloud Storage und BigQuery, die die Latenz und den Durchsatz beim Datenzugriff deutlich verbessern.

Flexible Bereitstellung

Lightning Engine befindet sich derzeit in der Vorschau und wird in der Premium-Stufe von Google Cloud Serverless for Apache Spark sowie in verwalteten Clustern in Dataproc verfügbar sein. Beide Dienste bieten bereits GPU-Unterstützung für beschleunigte Arbeitslasten für Machine Learning und erstklassige Tools zur Jobüberwachung für mehr betriebliche Effizienz. Dank dem serverlosem Spark, das durch flexible Spark-Konfigurationen und die Verarbeitung großer Datenmengen eine zuverlässige Unterstützung von Produktionsaufträgen in großem Maßstab bietet, erreichen Sie außerdem eine nahezu 100-prozentige Ressourcenauslastung.

Funktionsweise

Die Lightning Engine steigert die Leistung von Spark in Google Cloud erheblich, indem sie den Datenzugriff optimiert, intelligentes Caching implementiert und eine vektorisierte C++-Ausführungs-Engine nutzt. So werden wesentlich schnellere Abfragezeiten und ein reduzierter Ressourcenverbrauch in verschiedenen Benchmarks erreicht.

Gängige Einsatzmöglichkeiten

Große ETL-/ELT-Arbeitslasten

Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern

Große ETL/ELT-Arbeitslasten mit komplexen SQL-Abfragen sind oft CPU-gebunden und erfordern umfangreiche Datenumsortierungen und Berechnungen. Die spaltenbasierte Verarbeitung und die vektorisierte Ausführung der Lightning Engine können die Verarbeitungszeit für diese komplexen SQL-Operationen erheblich reduzieren. Das bedeutet schnellere Datenpipelines, geringere Kosten aufgrund kürzerer Laufzeiten und die Option für häufigere Datenaktualisierungen.

    Leistung von Arbeitslasten mit komplexen SQL-Transformationen steigern

    Große ETL/ELT-Arbeitslasten mit komplexen SQL-Abfragen sind oft CPU-gebunden und erfordern umfangreiche Datenumsortierungen und Berechnungen. Die spaltenbasierte Verarbeitung und die vektorisierte Ausführung der Lightning Engine können die Verarbeitungszeit für diese komplexen SQL-Operationen erheblich reduzieren. Das bedeutet schnellere Datenpipelines, geringere Kosten aufgrund kürzerer Laufzeiten und die Option für häufigere Datenaktualisierungen.

      KI-/ML-Arbeitslasten

      AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen

      Führen Sie Spark ML-Trainings- und Batch-Inferenzarbeitslasten ohne zusätzliche Einrichtung oder Konfiguration aus. Das Spark-Image wird mit NVIDIA-Treibern und beliebten ML-Bibliotheken geliefert. Nutzen Sie die integrierte Unterstützung für Spark Rapids, die von allen Leistungsverbesserungen der Lightning Engine profitiert, zur besseren GPU-Nutzung optimale Standardkonfigurationen für die Jobs verwendet und über eine schnelles Autoscaling von Knoten verfügt.

        AI/ML- und ETL-Arbeitslasten mit nativer GPU-Unterstützung beschleunigen

        Führen Sie Spark ML-Trainings- und Batch-Inferenzarbeitslasten ohne zusätzliche Einrichtung oder Konfiguration aus. Das Spark-Image wird mit NVIDIA-Treibern und beliebten ML-Bibliotheken geliefert. Nutzen Sie die integrierte Unterstützung für Spark Rapids, die von allen Leistungsverbesserungen der Lightning Engine profitiert, zur besseren GPU-Nutzung optimale Standardkonfigurationen für die Jobs verwendet und über eine schnelles Autoscaling von Knoten verfügt.

          Lösung erstellen
          Welches Problem möchten Sie lösen?
          What you'll get:
          Detaillierte Anleitung
          Referenzarchitektur
          Vorkonfigurierte Lösungen
          Dieser Dienst wurde mit Vertex AI erstellt. Nutzer müssen mindestens 18 Jahre alt sein, um ihn verwenden zu können. Geben Sie keine vertraulichen oder personenbezogenen Daten ein.

          Preise

          Preisgestaltung für Lightning EngineLightning Engine für Apache Spark ist in der Vorschauversion verfügbar. Die Preise werden demnächst bekannt gegeben.
          Dienste und NutzungBeschreibungPreis ($)

          Data Compute Unit (DCU)

          Die DCU-Preise werden demnächst bekannt gegeben.


          Bald verfügbar

          Preise für Lightning Engine (Preview) sind bald verfügbar.

          Preisgestaltung für Lightning Engine

          Lightning Engine für Apache Spark ist in der Vorschauversion verfügbar. Die Preise werden demnächst bekannt gegeben.

          Data Compute Unit (DCU)

          Beschreibung

          Die DCU-Preise werden demnächst bekannt gegeben.


          Preis ($)

          Bald verfügbar

          Preise für Lightning Engine (Preview) sind bald verfügbar.

          Preisrechner

          Schätzen Sie Ihre monatlichen Kosten einschließlich regionsspezifischer Preise und Gebühren.

          Individuelles Angebot

          Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.

          Proof of Concept starten

          Spark-Jobs optimieren

          Sie haben ein großes Projekt?

          Weitere Informationen zu Google Cloud Serverless für Apache Spark

          Wann sollte Lightning Engine für Apache Spark verwendet werden?

          Lightning Engine Spark-Arbeitslasten optimieren

          Google Cloud