Lightning Engine untuk Apache Spark
Mempercepat performa tugas Apache Spark sebesar 4,3x*
Dapatkan performa kueri yang lebih cepat dengan Lightning Engine, mesin pemrosesan Spark baru dengan eksekusi vektor, caching cerdas bawaan, dan I/O penyimpanan yang dioptimalkan. Lightning Engine kini dalam versi Pratinjau.
*Kueri berasal dari standar TPC-DS dan standar TPC-H sehingga tidak dapat dibandingkan dengan hasil standar TPC-DS dan standar TPC-H yang dipublikasikan, karena operasi ini tidak mematuhi semua persyaratan spesifikasi standar TPC-DS dan standar TPC-H.
Apache Spark adalah merek dagang dari Apache Software Foundation.
Fitur
Meningkatkan performa Spark
Lightning Engine memanfaatkan mesin pemrosesan Apache Spark baru dengan eksekusi vektor, caching cerdas bawaan, dan I/O penyimpanan yang dioptimalkan untuk menghasilkan performa kueri yang jauh lebih cepat. Lightning Engine sepenuhnya kompatibel dengan aplikasi Spark open source.
Rasio harga-performa terbaik di industri
Menghadirkan performa yang unggul dan efisiensi biaya, sehingga pengguna dapat memproses lebih banyak data dengan biaya lebih rendah. Lightning Engine memberikan performa 4,3x lipat* lebih baik dibandingkan Apache Spark open source, serta integrasi mendalam di seluruh layanan Google Cloud seperti BigQuery dan Vertex AI. Pengoptimalan terkelola mengurangi penyesuaian performa manual.
Interoperabilitas dengan lakehouse terbuka
Lightning Engine terintegrasi secara mendalam dengan Apache Iceberg dan Google Cloud BigLake, sehingga memberikan platform AI dan analisis data terpadu. Layanan ini memiliki konektor data yang dioptimalkan untuk Cloud Storage dan BigQuery, sehingga meningkatkan throughput dan latensi akses data secara signifikan.
Deployment fleksibel
Lightning Engine saat ini dalam versi Pratinjau dan akan tersedia di paket premium Google Cloud Serverless untuk Apache Spark serta cluster terkelola di Dataproc. Kedua layanan ini sudah memiliki dukungan GPU untuk workload machine learning yang dipercepat, dan alat pemantauan tugas terbaik di kelasnya untuk efisiensi operasional. Dengan Spark serverless, yang mendukung tugas produksi yang kuat dalam skala besar melalui konfigurasi Spark yang fleksibel dan penanganan kumpulan data berukuran besar, Anda juga dapat mencapai pemanfaatan resource mendekati 100%.
Cara Kerjanya
Lightning Engine secara signifikan meningkatkan performa Spark di Google Cloud dengan mengoptimalkan akses data, menerapkan caching cerdas, dan memanfaatkan mesin eksekusi C++ yang diubah menjadi vektor, sehingga memungkinkan waktu kueri yang jauh lebih cepat dan mengurangi penggunaan resource di berbagai tolok ukur.
Lightning Engine secara signifikan meningkatkan performa Spark di Google Cloud dengan mengoptimalkan akses data, menerapkan caching cerdas, dan memanfaatkan mesin eksekusi C++ yang diubah menjadi vektor, sehingga memungkinkan waktu kueri yang jauh lebih cepat dan mengurangi penggunaan resource di berbagai tolok ukur.
Penggunaan Umum
Workload ETL/ELT berskala besar
Meningkatkan performa workload dengan transformasi SQL yang kompleks
Meningkatkan performa workload dengan transformasi SQL yang kompleks
Workload ETL/ELT berskala besar dengan kueri SQL yang kompleks sering kali terikat CPU serta melibatkan pengacakan dan komputasi data yang berat. Pemrosesan kolom dan eksekusi vektor Lightning Engine dapat membantu mengurangi waktu pemrosesan secara signifikan untuk operasi SQL yang kompleks ini, sehingga menghasilkan pipeline data yang lebih cepat, pengurangan biaya karena runtime yang lebih singkat, dan memungkinkan update data lebih sering.
Tutorial, panduan memulai, dan lab
Meningkatkan performa workload dengan transformasi SQL yang kompleks
Meningkatkan performa workload dengan transformasi SQL yang kompleks
Workload ETL/ELT berskala besar dengan kueri SQL yang kompleks sering kali terikat CPU serta melibatkan pengacakan dan komputasi data yang berat. Pemrosesan kolom dan eksekusi vektor Lightning Engine dapat membantu mengurangi waktu pemrosesan secara signifikan untuk operasi SQL yang kompleks ini, sehingga menghasilkan pipeline data yang lebih cepat, pengurangan biaya karena runtime yang lebih singkat, dan memungkinkan update data lebih sering.
Workload AI/ML
Mempercepat workload AI/ML dan workload ETL dengan dukungan GPU native
Mempercepat workload AI/ML dan workload ETL dengan dukungan GPU native
Jalankan workload inferensi batch dan pelatihan ML Spark tanpa penyiapan atau konfigurasi tambahan. Image Spark dilengkapi dengan driver NVIDIA dan library ML populer dalam bentuk paket. Gunakan dukungan bawaan untuk Spark Rapid, yang mendapatkan manfaat dari semua peningkatan performa Lightning Engine, memiliki konfigurasi default yang optimal untuk tugas agar dapat memanfaatkan GPU dengan lebih baik, dan memiliki penskalaan otomatis yang cepat untuk node.
Tutorial, panduan memulai, dan lab
Mempercepat workload AI/ML dan workload ETL dengan dukungan GPU native
Mempercepat workload AI/ML dan workload ETL dengan dukungan GPU native
Jalankan workload inferensi batch dan pelatihan ML Spark tanpa penyiapan atau konfigurasi tambahan. Image Spark dilengkapi dengan driver NVIDIA dan library ML populer dalam bentuk paket. Gunakan dukungan bawaan untuk Spark Rapid, yang mendapatkan manfaat dari semua peningkatan performa Lightning Engine, memiliki konfigurasi default yang optimal untuk tugas agar dapat memanfaatkan GPU dengan lebih baik, dan memiliki penskalaan otomatis yang cepat untuk node.
Harga
| Cara kerja penetapan harga Lightning Engine | Lightning Engine untuk Apache Spark dalam versi Pratinjau dan harganya akan segera hadir | |
|---|---|---|
| Layanan dan penggunaan | Deskripsi | Harga (USD) |
Unit Komputasi Data (DCU) | Detail tarif DCU akan segera hadir | Segera hadir |
Harga Lightning Engine (Pratinjau) akan segera tersedia.
Cara kerja penetapan harga Lightning Engine
Lightning Engine untuk Apache Spark dalam versi Pratinjau dan harganya akan segera hadir
Unit Komputasi Data (DCU)
Detail tarif DCU akan segera hadir
Segera hadir
Harga Lightning Engine (Pratinjau) akan segera tersedia.
