Lightning-Engine
Apache Spark-Leistung beschleunigen
Unsere vektorisierte Engine bietet eine einfachere Möglichkeit, Spark mit einer intelligenteren Engine zu optimieren, die eine mehr als 4,3-mal schnellere Spark-Leistung* bietet und die Rechenkosten senkt.
*Die Abfragen sind von den Standards TPC-DS und TPC-H abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS- und TPC-H-Standard-Spezifikation entsprechen.
Apache Spark ist eine Marke der Apache Software Foundation.
Features
Joblaufzeiten verkürzen und Kosten senken
Erleben Sie ein schnelleres Spark. Beschleunigen Sie große ETL-, Data-Science- und SQL-Arbeitslasten um mehr als das 4, 3-Fache im Vergleich zu Open-Source-Apache Spark. Durch diese drastische Reduzierung der Joblaufzeit sinken die Gesamtbetriebskosten für Ihre Spark-Arbeitslasten, da die Rechenzeit reduziert wird.
Spark-Leistung beschleunigen
Entdecken Sie eine einfachere Art, die Leistung zu steigern. So müssen Sie weniger Zeit für die Optimierung von Spark aufwenden.
Intelligenter Datenzugriff und intelligentes Caching
Nutzen Sie eine intelligente Architektur. Die Lightning Engine speichert automatisch häufig verwendete Daten im Cache und nutzt optimierte Connectors mit hohem Durchsatz für Cloud Storage und BigQuery. Dadurch werden die E/A-Latenz und der Durchsatz für die Spark-Datenverarbeitung im großen Maßstab deutlich verbessert.
Die Kerntechnologie: Vektorisierte Ausführung
Lightning Engine nutzt eine native C++-Engine für die vektorisierte Ausführung, um Daten in Batches zu verarbeiten. Dadurch wird die CPU-Effizienz im Vergleich zur herkömmlichen zeilenweisen Verarbeitung erheblich verbessert. Das ist ein wichtiger Bestandteil der bahnbrechenden Leistung von Spark.
Verfügbarkeit
| Verfügbarkeit | Die Lightning Engine ist für Ihre anspruchsvollsten Spark-Arbeitslasten gedacht. Sie können darauf mit den Premium-Tarifen von Dataproc und Serverless Apache Spark zugreifen. | |
|---|---|---|
| Produkt | Verfügbarkeit | Zugriff |
Google Cloud Serverless for Apache Spark – Premium-Stufe | Allgemein verfügbar | |
Dataproc in Google Compute Engine | Als Vorabversion | Bald verfügbar |
Verfügbarkeit
Die Lightning Engine ist für Ihre anspruchsvollsten Spark-Arbeitslasten gedacht. Sie können darauf mit den Premium-Tarifen von Dataproc und Serverless Apache Spark zugreifen.
Funktionsweise
Die Lightning Engine beschleunigt die Spark-Datenverarbeitung mit einer nativen C++-Vektorisierungs-Engine, intelligentem Caching und optimierter E/A. Die Daten werden in Batches verarbeitet, um die CPU-Effizienz zu maximieren, die Joblaufzeiten zu verkürzen und die Rechenkosten zu senken. Diese Optimierungen sorgen für eine bahnbrechende Spark-Leistung.
Die Lightning Engine beschleunigt die Spark-Datenverarbeitung mit einer nativen C++-Vektorisierungs-Engine, intelligentem Caching und optimierter E/A. Die Daten werden in Batches verarbeitet, um die CPU-Effizienz zu maximieren, die Joblaufzeiten zu verkürzen und die Rechenkosten zu senken. Diese Optimierungen sorgen für eine bahnbrechende Spark-Leistung.
Gängige Einsatzmöglichkeiten
Ideal für Ihre anspruchsvollsten Aufgaben
ETL im großen Maßstab
Die Laufzeit Ihrer komplexesten Spark-Pipelines zur Datenverarbeitung und ‑transformation lässt sich drastisch reduzieren. So können Sie strengere SLAs für die Datenaktualität einhalten, Batch-Fenster über Nacht verkleinern und die Gesamtbetriebskosten Ihrer ressourcenintensivsten Datenpipelines deutlich senken.
Lernressourcen
ETL im großen Maßstab
Die Laufzeit Ihrer komplexesten Spark-Pipelines zur Datenverarbeitung und ‑transformation lässt sich drastisch reduzieren. So können Sie strengere SLAs für die Datenaktualität einhalten, Batch-Fenster über Nacht verkleinern und die Gesamtbetriebskosten Ihrer ressourcenintensivsten Datenpipelines deutlich senken.
KI/ML-Datenvorbereitung
Beschleunigen Sie die Schritte für Feature Engineering und Datenvorbereitung, die für den Machine-Learning-Lebenszyklus entscheidend sind. Durch die Beschleunigung des zeitaufwendigsten Teils des ML-Workflows können Ihre Data Scientists mehr Experimente durchführen, Modelle schneller iterieren und wertvolle KI-Anwendungen früher in die Produktion bringen.
Lernressourcen
KI/ML-Datenvorbereitung
Beschleunigen Sie die Schritte für Feature Engineering und Datenvorbereitung, die für den Machine-Learning-Lebenszyklus entscheidend sind. Durch die Beschleunigung des zeitaufwendigsten Teils des ML-Workflows können Ihre Data Scientists mehr Experimente durchführen, Modelle schneller iterieren und wertvolle KI-Anwendungen früher in die Produktion bringen.
Interaktive Analysen
Führen Sie schnelle, interaktive SQL-Abfragen direkt in Ihrem Data Lake aus, um Ad-hoc-Analysen und Business Intelligence zu ermöglichen. Datenanalysten können dank schnelleren Antwortzeiten für Abfragen Gedankengänge besser verfolgen, was zu einer schnelleren Datenexploration und effektiveren Erkenntnissen führt.
Lernressourcen
Interaktive Analysen
Führen Sie schnelle, interaktive SQL-Abfragen direkt in Ihrem Data Lake aus, um Ad-hoc-Analysen und Business Intelligence zu ermöglichen. Datenanalysten können dank schnelleren Antwortzeiten für Abfragen Gedankengänge besser verfolgen, was zu einer schnelleren Datenexploration und effektiveren Erkenntnissen führt.
Preise
| Beschleunigtes Spark, ganz nach Ihren Wünschen | Lightning Engine ist eine Funktion der Premium-Stufen von Dataproc und Google Cloud Serverless for Apache Spark. |
|---|---|
| Produkt | Preise |
Vorabversion, bald verfügbar. |
Beschleunigtes Spark, ganz nach Ihren Wünschen
Lightning Engine ist eine Funktion der Premium-Stufen von Dataproc und Google Cloud Serverless for Apache Spark.
