Ti presentiamo Lightning Engine, la nuova generazione di prestazioni di Apache Spark. Leggi il blog.
Lightning Engine
Accelerare le prestazioni di Apache Spark
Il nostro motore vettorializzato è un modo più semplice per ottimizzare Spark con un motore più intelligente che offre prestazioni Spark oltre 4,3 volte più veloci*, riducendo i costi di computing.
*Le query derivano dallo standard TPC-DS e dallo standard TPC-H e, in quanto tali, non sono comparabili ai risultati pubblicati dello standard TPC-DS e dello standard TPC-H, poiché queste esecuzioni non sono conformi a tutti i requisiti delle specifiche dello standard TPC-DS e dello standard TPC-H.
Apache Spark è un marchio di Apache Software Foundation.
Caratteristiche principali del prodotto
Aumenta le prestazioni dei tuoi job Spark di 4,3 volte
Le query Spark accelerate riducono il consumo di risorse e i costi
Funzionalità
Riduci i tempi di esecuzione dei job e abbassa i costi
Prova un modo più veloce per eseguire Spark. Accelera i tuoi workload ETL, di data science e SQL su larga scala di oltre 4, 3 volte rispetto ad Apache Spark open source. Questa drastica riduzione del runtime dei job abbassa il costo totale di proprietà per i workload Spark riducendo il tempo di calcolo.
Accelera le prestazioni di Spark
Scopri un modo più semplice per migliorare il rendimento. Riduci la spesa di preziosi cicli di progettazione per l'ottimizzazione di Spark.
Accesso intelligente ai dati e memorizzazione nella cache
Sfrutta un'architettura più intelligente. Lightning Engine memorizza automaticamente nella cache i dati attivi in memoria e utilizza connettori ottimizzati ad alto throughput per Cloud Storage e BigQuery, migliorando significativamente la latenza e il throughput I/O per l'elaborazione dei dati Spark su larga scala.
La tecnologia di base: esecuzione con vettori
Lightning Engine sfrutta un motore di esecuzione vettorializzato C++ nativo per elaborare i dati in batch, migliorando notevolmente l'efficienza della CPU rispetto all'elaborazione tradizionale riga per riga. Questo è un componente fondamentale delle prestazioni rivoluzionarie di Spark.
Disponibilità
| Disponibilità | Lightning Engine è per i tuoi workload Spark più impegnativi. Puoi accedervi con i livelli premium di Dataproc e Serverless Apache Spark | |
|---|---|---|
| Prodotto | Disponibilità | Accesso |
Google Cloud Serverless per Apache Spark - Livello premium | Disponibilità generale | |
Dataproc su Google Compute Engine | In anteprima | Disponibile a breve |
Disponibilità
Lightning Engine è per i tuoi workload Spark più impegnativi. Puoi accedervi con i livelli premium di Dataproc e Serverless Apache Spark
Google Cloud Serverless per Apache Spark - Livello premium
Disponibilità generale
Come funziona
Lightning Engine accelera l'elaborazione dei dati Spark con un motore vettorializzato C++ nativo, la memorizzazione nella cache intelligente e l'I/O ottimizzato. Elabora i dati in batch per la massima efficienza della CPU, riducendo i tempi di esecuzione dei job e i costi di calcolo. Questa suite di ottimizzazioni offre prestazioni Spark rivoluzionarie.
Lightning Engine accelera l'elaborazione dei dati Spark con un motore vettorializzato C++ nativo, la memorizzazione nella cache intelligente e l'I/O ottimizzato. Elabora i dati in batch per la massima efficienza della CPU, riducendo i tempi di esecuzione dei job e i costi di calcolo. Questa suite di ottimizzazioni offre prestazioni Spark rivoluzionarie.
Utilizzi comuni
Ideale per i job più impegnativi
ETL su larga scala
Riduci drasticamente il runtime delle pipeline di elaborazione e trasformazione dei dati Spark più complesse. Ciò significa che puoi rispettare SLA (accordo sul livello del servizio) di aggiornamento dei dati più rigidi, ridurre le finestre dei batch overnight e abbassare significativamente il TCO delle pipeline di dati più intensive in termini di risorse.
Risorse per l'apprendimento
ETL su larga scala
Riduci drasticamente il runtime delle pipeline di elaborazione e trasformazione dei dati Spark più complesse. Ciò significa che puoi rispettare SLA (accordo sul livello del servizio) di aggiornamento dei dati più rigidi, ridurre le finestre dei batch overnight e abbassare significativamente il TCO delle pipeline di dati più intensive in termini di risorse.
Preparazione dei dati AI/ML
Accelera le fasi di feature engineering e preparazione dei dati che sono fondamentali per il ciclo di vita del machine learning. Accelerando la parte più dispendiosa in termini di tempo del workfow ML, i tuoi data scientist possono eseguire più esperimenti, iterare più velocemente sui modelli e mettere in produzione prima applicazioni di AI di valore.
Risorse per l'apprendimento
Preparazione dei dati AI/ML
Accelera le fasi di feature engineering e preparazione dei dati che sono fondamentali per il ciclo di vita del machine learning. Accelerando la parte più dispendiosa in termini di tempo del workfow ML, i tuoi data scientist possono eseguire più esperimenti, iterare più velocemente sui modelli e mettere in produzione prima applicazioni di AI di valore.
Analisi interattiva
Esegui query SQL rapide e interattive direttamente sul tuo data lake per l'analisi ad hoc e la business intelligence. Consenti ai tuoi analisti di dati di mantenere il filo del discorso con tempi di risposta alle query più rapidi, che portano a un'esplorazione dei dati più veloce e a insight più efficaci.
Risorse per l'apprendimento
Analisi interattiva
Esegui query SQL rapide e interattive direttamente sul tuo data lake per l'analisi ad hoc e la business intelligence. Consenti ai tuoi analisti di dati di mantenere il filo del discorso con tempi di risposta alle query più rapidi, che portano a un'esplorazione dei dati più veloce e a insight più efficaci.
Prezzi
| Spark accelerato, a modo tuo | Lightning Engine è una funzionalità dei livelli Premium di Dataproc e Google Cloud Serverless per Apache Spark. |
|---|---|
| Prodotto | Prezzi |
In anteprima, disponibile a breve. |
Spark accelerato, a modo tuo
Lightning Engine è una funzionalità dei livelli Premium di Dataproc e Google Cloud Serverless per Apache Spark.
