Ti presentiamo Lightning Engine, la nuova generazione di prestazioni di Apache Spark. Leggi il blog.

Lightning Engine per Apache Spark

Accelera le prestazioni dei job Apache Spark di 4,3 volte*

Ottieni prestazioni di query più rapide con Lightning Engine, un nuovo motore di elaborazione Spark con esecuzione vettoriale, memorizzazione nella cache intelligente integrata e I/O di archiviazione ottimizzato. Lightning Engine è ora in anteprima.

*Le query derivano dallo standard TPC-DS e dallo standard TPC-H e, in quanto tali, non sono comparabili ai risultati pubblicati dello standard TPC-DS e dello standard TPC-H, poiché queste esecuzioni non sono conformi a tutti i requisiti delle specifiche dello standard TPC-DS e dello standard TPC-H.

Apache Spark è un marchio di Apache Software Foundation.

Funzionalità

Prestazioni Spark migliorate

Lightning Engine sfrutta un nuovo motore di elaborazione Apache Spark con esecuzione vettorializzata, memorizzazione nella cache intelligente integrata e I/O di archiviazione ottimizzata per offrire prestazioni di query notevolmente più rapide. Lightning Engine è completamente compatibile con le applicazioni Spark open source.



Rapporto prezzo/prestazioni leader del settore

Offre prestazioni superiori ed efficienza in termini di costi, consentendo agli utenti di elaborare più dati a un costo inferiore. Lightning Engine offre prestazioni migliori di 4,3 volte* rispetto ad Apache Spark open source, oltre a integrazioni approfondite tra i servizi Google Cloud come BigQuery e Vertex AI. L'ottimizzazione gestita riduce la necessità di ottimizzare manualmente le prestazioni.


Interoperabilità con lakehouse aperta

Lightning Engine è profondamente integrato con Apache Iceberg e Google Cloud BigLake, fornendo una piattaforma unificata di analisi dei dati e AI. Dispone di connettori di dati ottimizzati per Cloud Storage e BigQuery, migliorando significativamente la latenza e il throughput di accesso ai dati.

Deployment flessibile

Lightning Engine è attualmente in anteprima e sarà disponibile nel livello Premium di Google Cloud Serverless per Apache Spark, nonché nei cluster gestiti in Dataproc. Entrambi i servizi dispongono già del supporto GPU per workload di machine learning accelerati e degli strumenti di monitoraggio dei job migliori della categoria per l'efficienza operativa. Con Spark serverless, che offre un efficace supporto per i job di produzione su larga scala grazie a configurazioni flessibili e alla gestione di record di grandi dimensioni, puoi anche ottenere un utilizzo delle risorse vicino al 100%.

Come funziona

Lightning Engine migliora notevolmente le prestazioni di Spark su Google Cloud ottimizzando l'accesso ai dati, implementando la memorizzazione nella cache intelligente e sfruttando un motore di esecuzione vettorializzato C++. In questo modo, consente di ottenere tempi di query notevolmente più rapidi e di ridurre il consumo di risorse in vari benchmark.

Utilizzi comuni

Workload ETL/ELT su larga scala

Migliora le prestazioni dei workload con trasformazioni SQL complesse

I workload ETL/ELT su larga scala con query SQL complesse sono spesso legati alla CPU e comportano pesanti data shuffling e calcolo dei dati. L'elaborazione colonnare e l'esecuzione vettorializzata di Lightning Engine possono contribuire a ridurre drasticamente i tempi di elaborazione per queste complesse operazioni SQL, con conseguente accelerazione delle pipeline di dati, riduzione dei costi grazie a tempi di esecuzione più brevi e aggiornamenti dei dati più frequenti.

    Migliora le prestazioni dei workload con trasformazioni SQL complesse

    I workload ETL/ELT su larga scala con query SQL complesse sono spesso legati alla CPU e comportano pesanti data shuffling e calcolo dei dati. L'elaborazione colonnare e l'esecuzione vettorializzata di Lightning Engine possono contribuire a ridurre drasticamente i tempi di elaborazione per queste complesse operazioni SQL, con conseguente accelerazione delle pipeline di dati, riduzione dei costi grazie a tempi di esecuzione più brevi e aggiornamenti dei dati più frequenti.

      Workload AI/ML

      Accelera i workload AI/ML e ETL con il supporto GPU nativo

      Esegui l'addestramento ML di Spark e i workload di inferenza batch senza configurazione o configurazione aggiuntiva. L'immagine Spark è pre-pacchettizzata con i driver NVIDIA e le librerie ML più diffuse. Utilizza il supporto integrato per Spark Rapids, che beneficia di tutti i miglioramenti delle prestazioni di Lightning Engine, ha configurazioni predefinite ottimali per i job per utilizzare meglio le GPU e ha una scalabilità automatica rapida dei nodi.

        Accelera i workload AI/ML e ETL con il supporto GPU nativo

        Esegui l'addestramento ML di Spark e i workload di inferenza batch senza configurazione o configurazione aggiuntiva. L'immagine Spark è pre-pacchettizzata con i driver NVIDIA e le librerie ML più diffuse. Utilizza il supporto integrato per Spark Rapids, che beneficia di tutti i miglioramenti delle prestazioni di Lightning Engine, ha configurazioni predefinite ottimali per i job per utilizzare meglio le GPU e ha una scalabilità automatica rapida dei nodi.

          Genera una soluzione
          Che tipo di problema stai cercando di risolvere?
          What you'll get:
          Guida passo passo
          Architettura di riferimento
          Soluzioni predefinite disponibili
          Questo servizio è stato creato con Vertex AI. Devi avere almeno 18 anni per utilizzarlo. Non inserire informazioni sensibili, riservate o personali.

          Prezzi

          Come funzionano i prezzi di Lightning EngineLightning Engine per Apache Spark è in anteprima e i prezzi saranno disponibili a breve
          Servizi e utilizzoDescrizionePrezzo ($)

          Data Compute Unit (DCU)

          I dettagli sulle tariffe DCU saranno disponibili a breve


          Disponibile a breve

          I prezzi di Lightning Engine (anteprima) saranno disponibili a breve.

          Come funzionano i prezzi di Lightning Engine

          Lightning Engine per Apache Spark è in anteprima e i prezzi saranno disponibili a breve

          Data Compute Unit (DCU)

          Descrizione

          I dettagli sulle tariffe DCU saranno disponibili a breve


          Prezzo ($)

          Disponibile a breve

          I prezzi di Lightning Engine (anteprima) saranno disponibili a breve.

          Calcolatore prezzi

          Stima i costi mensili, inclusi i prezzi e le tariffe specifici per regione.

          Preventivo personalizzato

          Contatta il nostro team di vendita per ricevere un preventivo personalizzato per la tua organizzazione.

          Inizia la tua proof of concept

          Potenzia i tuoi job Spark

          Hai un progetto di grandi dimensioni?

          Scopri di più su Google Cloud Serverless per Apache Spark

          Quando usare Lightning Engine per Apache Spark

          Ottimizzazione dei workload Spark di Lightning Engine

          Google Cloud
          DocumentiAssistenza
          Console
          Accedi
          • Accelera la tua trasformazione digitale
          • Sia che la tua azienda sia all'inizio o a buon punto del suo percorso verso la trasformazione digitale, Google Cloud può aiutarti a risolvere le sfide più difficili.
          • Prodotti Google Cloud
          • Scopri oltre 100 prodotti. I nuovi clienti ricevono 300 $ di crediti gratuiti per l'esecuzione, il test e il deployment dei workload. Tutti i clienti hanno a disposizione oltre 25 prodotti gratuitamente, entro i limiti di utilizzo mensili.
          • Risparmia con il nostro approccio trasparente ai prezzi
          • Il pagamento a consumo di Google Cloud offre risparmi automatici in base all'utilizzo mensile e alle tariffe scontate per risorse prepagate. Contattaci oggi per richiedere un preventivo.
          Google Cloud