Lightning Engine
Mempercepat performa Apache Spark
Mesin vektor kami adalah cara lebih mudah untuk mengoptimalkan Spark dengan mesin yang lebih cerdas yang memberikan performa Spark lebih cepat 4,3x lipat*, sehingga mengurangi biaya komputasi.
*Kueri berasal dari standar TPC-DS dan standar TPC-H sehingga tidak dapat dibandingkan dengan hasil standar TPC-DS dan standar TPC-H yang dipublikasikan, karena operasi ini tidak mematuhi semua persyaratan spesifikasi standar TPC-DS dan standar TPC-H.
Apache Spark adalah merek dagang dari Apache Software Foundation.
Fitur
Mengurangi runtime tugas dan menurunkan biaya
Nikmati cara menjalankan Spark yang lebih cepat. Percepat workload ETL, data science, dan SQL berskala besar hingga 4,3x lebih cepat dibandingkan Apache Spark open source. Pengurangan runtime tugas yang signifikan ini menurunkan total biaya kepemilikan untuk workload Spark Anda dengan mengurangi waktu komputasi.
Mempercepat performa Spark
Temukan cara lebih mudah untuk meningkatkan performa. Mengurangi pengeluaran siklus engineering yang berharga untuk mengoptimalkan Spark.
Akses dan caching data yang cerdas
Manfaatkan arsitektur yang lebih cerdas. Lightning Engine secara otomatis menyimpan data aktif dalam cache di memori dan memanfaatkan konektor yang dioptimalkan dan ber-throughput tinggi untuk Cloud Storage dan BigQuery, sehingga meningkatkan latensi I/O dan throughput secara signifikan untuk pemrosesan data Spark berskala besar.
Teknologi inti: Eksekusi vektor
Lightning Engine memanfaatkan mesin eksekusi vektor C++ native untuk memproses data dalam batch, sehingga meningkatkan efisiensi CPU secara signifikan dibandingkan pemrosesan baris per baris tradisional. Ini adalah komponen inti dari performa Spark yang luar biasa.
Ketersediaan
| Ketersediaan | Lightning Engine ditujukan untuk workload Spark Anda yang paling menuntut. Anda dapat mengaksesnya dengan paket premium Dataproc dan Serverless Apache Spark | |
|---|---|---|
| Produk | Ketersediaan | Akses |
Google Cloud Serverless untuk Apache Spark - Tingkat premium | Tersedia secara umum | |
Dataproc di Google Compute Engine | Dalam pratinjau | Segera hadir |
Ketersediaan
Lightning Engine ditujukan untuk workload Spark Anda yang paling menuntut. Anda dapat mengaksesnya dengan paket premium Dataproc dan Serverless Apache Spark
Cara Kerjanya
Lightning Engine mempercepat pemrosesan data Spark dengan mesin vektor C++ native, caching cerdas, dan I/O yang dioptimalkan. Data diproses dalam batch untuk efisiensi CPU maksimum, sehingga mengurangi runtime tugas dan biaya komputasi. Rangkaian pengoptimalan ini memberikan performa Spark yang luar biasa.
Lightning Engine mempercepat pemrosesan data Spark dengan mesin vektor C++ native, caching cerdas, dan I/O yang dioptimalkan. Data diproses dalam batch untuk efisiensi CPU maksimum, sehingga mengurangi runtime tugas dan biaya komputasi. Rangkaian pengoptimalan ini memberikan performa Spark yang luar biasa.
Penggunaan Umum
Ideal untuk pekerjaan Anda yang paling menuntut
ETL berskala besar
Kurangi runtime pipeline pemrosesan dan transformasi data Spark yang paling kompleks secara signifikan. Artinya, Anda dapat memenuhi SLA keaktualan data yang lebih ketat, memperkecil periode batch semalam, dan menurunkan TCO pipeline data yang paling intensif resource secara signifikan.
Referensi pembelajaran
ETL berskala besar
Kurangi runtime pipeline pemrosesan dan transformasi data Spark yang paling kompleks secara signifikan. Artinya, Anda dapat memenuhi SLA keaktualan data yang lebih ketat, memperkecil periode batch semalam, dan menurunkan TCO pipeline data yang paling intensif resource secara signifikan.
Persiapan data AI/ML
Percepat langkah rekayasa fitur dan persiapan data yang penting untuk siklus proses machine learning Anda. Dengan mempercepat bagian alur kerja ML yang paling memakan waktu, data scientist Anda dapat menjalankan lebih banyak eksperimen, melakukan iterasi pada model dengan lebih cepat, dan membawa aplikasi AI yang berharga ke dalam produksi lebih cepat.
Referensi pembelajaran
Persiapan data AI/ML
Percepat langkah rekayasa fitur dan persiapan data yang penting untuk siklus proses machine learning Anda. Dengan mempercepat bagian alur kerja ML yang paling memakan waktu, data scientist Anda dapat menjalankan lebih banyak eksperimen, melakukan iterasi pada model dengan lebih cepat, dan membawa aplikasi AI yang berharga ke dalam produksi lebih cepat.
Analisis interaktif
Mendukung kueri SQL interaktif yang cepat secara langsung di data lake Anda untuk analisis ad-hoc dan business intelligence. Dukung analis data Anda untuk mempertahankan alur pemikiran mereka dengan waktu respons kueri yang lebih cepat, sehingga menghasilkan eksplorasi data yang lebih cepat dan insight yang lebih efektif.
Referensi pembelajaran
Analisis interaktif
Mendukung kueri SQL interaktif yang cepat secara langsung di data lake Anda untuk analisis ad-hoc dan business intelligence. Dukung analis data Anda untuk mempertahankan alur pemikiran mereka dengan waktu respons kueri yang lebih cepat, sehingga menghasilkan eksplorasi data yang lebih cepat dan insight yang lebih efektif.
Harga
| Spark yang dipercepat, sesuai keinginan Anda | Lightning Engine adalah fitur paket premium Dataproc dan Google Cloud Serverless untuk Apache Spark. |
|---|---|
| Produk | Harga |
Dalam pratinjau, segera hadir. |
Spark yang dipercepat, sesuai keinginan Anda
Lightning Engine adalah fitur paket premium Dataproc dan Google Cloud Serverless untuk Apache Spark.
