Diumumkan pada Mei 2025: Dataproc Serverless kini menjadi Google Cloud Serverless untuk Apache Spark
Spark on-demand: Proses mulai cepat, tanpa pengoperasian, meningkatkan performa kueri, dan produktivitas Gemini. TCO hingga 60% lebih rendah untuk workload Spark.
Apache Spark adalah merek dagang dari Apache Software Foundation.
Fitur
Hilangkan kompleksitas pengelolaan cluster dan tidak perlu membayar resource yang nonaktif dan kurang dimanfaatkan. Google Cloud Serverless untuk Apache Spark menawarkan proses mulai VM yang cepat dan penskalaan otomatis dinamis untuk workload interaktif, batch, dan AI Anda. Gunakan waktu Anda untuk membangun fitur, bukan mengelola infrastruktur. Tidak ada biaya selama proses mulai dan penonaktifan VM.
Rasakan rasio harga-performa terbaik di industri Google Cloud Serverless untuk Apache Spark didukung oleh mesin kueri native generasi berikutnya, Lightning Engine, dalam versi Pratinjau. Teknologi ini memberikan performa pemrosesan data dan kueri Spark yang jauh lebih cepat, lebih dari 4,3x lebih cepat** daripada Apache Spark open source, melalui eksekusi vektor yang canggih, caching cerdas bawaan, dan I/O penyimpanan yang dioptimalkan, sehingga membantu Anda mendapatkan insight lebih cepat dan menghemat biaya.
** Kueri berasal dari standar TPC-DS dan standar TPC-H sehingga tidak dapat dibandingkan dengan hasil standar TPC-DS dan standar TPC-H yang dipublikasikan, karena proses ini tidak mematuhi semua spesifikasi standar TPC-DS dan standar TPC-H.
Jalankan workload Spark produksi Anda dengan penuh percaya diri. Google Cloud Serverless untuk Apache Spark mengoptimalkan resource, menyediakan isolasi tugas, dan mendukung kemampuan keamanan perusahaan Google Cloud (termasuk VPC-SC, CMEK, autentikasi pribadi, dan kebijakan organisasi kustom). Layanan ini memastikan lingkungan eksekusi yang aman dengan kemampuan seperti subnet aman, enkripsi secara default untuk data dalam penyimpanan dan dalam pengiriman, dan tidak ada akses root atau VM langsung, sehingga meminimalkan beban keamanan operasional Anda. Meskipun dibuat untuk otomatisasi, pengguna ahli tetap memiliki akses penuh ke konfigurasi Spark untuk kontrol yang terperinci.
Padukan AI generatif ke dalam siklus proses pengembangan Spark Anda. Manfaatkan Gemini untuk pembuatan kode PySpark yang peka konteks di notebook dengan konteks cerdas dari data Anda untuk meningkatkan produktivitas. Dapatkan rekomendasi pemecahan masalah yang didukung AI dengan Gemini Cloud Assist Investigate untuk menyelesaikan masalah dengan cepat, mendapatkan insight operasional yang lebih mendalam, dan mengoptimalkan performa.
Menjalankan workload inferensi batch atau pelatihan terdistribusi dengan lancar. Google Cloud Serverless untuk Apache Spark menawarkan dukungan bawaan untuk akselerasi GPU dan dilengkapi dengan library ML populer yang dikemas sebelumnya seperti XGBoost, PyTorch, dan Transformers. Hal ini menghasilkan proses mulai yang jauh lebih cepat untuk lingkungan AI/ML dan meningkatkan keandalan karena image tersebut bersertifikat Google.
Mempertahankan fleksibilitas penuh. Google Cloud Serverless untuk Apache Spark sepenuhnya kompatibel dengan OSS, sehingga Anda dapat menggunakan kode dan library Spark yang ada tanpa perlu modifikasi. Kembangkan dalam bahasa pilihan Anda (Python, Java, Scala, R) menggunakan IDE pilihan Anda (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) dan orkestrasi dengan alat seperti Apache Airflow/Cloud Composer atau pipeline BigQuery. Proses semua format data, seperti format berbasis Google dan open source seperti Apache Iceberg.
Rasakan kehebatan Apache Spark langsung di dalam BigQuery. Tulis dan jalankan kode PySpark bersama SQL di notebook Colab Enterprise terpadu, dengan memanfaatkan metadata umum melalui BigLake Metastore, keamanan bersama, dan tata kelola yang konsisten melalui Katalog Universal Dataplex.
Penggunaan Umum
ETL/ELT Serverless yang sangat cepat
Serap, transformasikan, dan muat set data besar dengan cepat dari berbagai sumber ke dalam BigQuery atau Google Cloud Storage. Dengan performa Lightning Engine yang tak tertandingi dan tanpa beban operasional, sederhanakan pipeline data Anda dan pastikan data terbaru digunakan untuk analisis.
ETL/ELT Serverless yang sangat cepat
Serap, transformasikan, dan muat set data besar dengan cepat dari berbagai sumber ke dalam BigQuery atau Google Cloud Storage. Dengan performa Lightning Engine yang tak tertandingi dan tanpa beban operasional, sederhanakan pipeline data Anda dan pastikan data terbaru digunakan untuk analisis.
Analisis interaktif dan pembuatan prototipe yang cepat
Berdayakan data scientist dan analis Anda dengan lingkungan serverless Spark yang fleksibel dan berperforma tinggi. Baik Anda melakukan eksplorasi data ad-hoc, membuat prototipe dengan cepat, maupun membangun model machine learning yang canggih, Google Cloud Serverless untuk Apache Spark menyediakan kecepatan dan alat yang Anda butuhkan. Kembangkan kode PySpark dan SQL di BigQuery Studio untuk pengalaman terpadu, atau hubungkan dari alat pilihan Anda seperti notebook Jupyter dan VS Code dengan ekstensi Google Cloud. Manfaatkan Gemini untuk bantuan kode dan pemecahan masalah, Lightning Engine untuk hasil kueri yang cepat, dan integrasi Vertex AI untuk MLOps. Dari penemuan data yang cepat hingga pelatihan model kompleks dengan GPU dan library yang sudah dikemas sebelumnya, percepat seluruh siklus proses data science Anda.
Analisis interaktif dan pembuatan prototipe yang cepat
Berdayakan data scientist dan analis Anda dengan lingkungan serverless Spark yang fleksibel dan berperforma tinggi. Baik Anda melakukan eksplorasi data ad-hoc, membuat prototipe dengan cepat, maupun membangun model machine learning yang canggih, Google Cloud Serverless untuk Apache Spark menyediakan kecepatan dan alat yang Anda butuhkan. Kembangkan kode PySpark dan SQL di BigQuery Studio untuk pengalaman terpadu, atau hubungkan dari alat pilihan Anda seperti notebook Jupyter dan VS Code dengan ekstensi Google Cloud. Manfaatkan Gemini untuk bantuan kode dan pemecahan masalah, Lightning Engine untuk hasil kueri yang cepat, dan integrasi Vertex AI untuk MLOps. Dari penemuan data yang cepat hingga pelatihan model kompleks dengan GPU dan library yang sudah dikemas sebelumnya, percepat seluruh siklus proses data science Anda.
Harga
Harga yang transparan dan berbasis nilai | Harga Google Cloud Serverless Spark didasarkan pada penggunaan komputasi (DCU), GPU, dan penyimpanan shuffle per detik. | |
---|---|---|
Layanan dan penggunaan | Jenis langganan | Harga (USD) |
Unit Komputasi Data (DCU) | Standar | Mulai dari $0,06 per jam |
Premium | Mulai dari $0,089 per jam | |
Penyimpanan shuffle | Standar | Mulai dari $0,04 per GB/bulan |
Premium | Mulai dari $0,1 per GB/bulan | |
Harga akselerator | a100 40 GB | Mulai dari $3,52069 per jam |
a100 80 GB | Mulai dari $4,713696 per jam | |
L4 | Mulai dari $0,672048 per jam |
Lihat detail harga untuk Google Cloud Serverless untuk Apache Spark.
Harga yang transparan dan berbasis nilai
Harga Google Cloud Serverless Spark didasarkan pada penggunaan komputasi (DCU), GPU, dan penyimpanan shuffle per detik.
Unit Komputasi Data (DCU)
Standar
Starting at
$0,06
per jam
Premium
Starting at
$0,089
per jam
Penyimpanan shuffle
Standar
Starting at
$0,04
per GB/bulan
Premium
Starting at
$0,1
per GB/bulan
Harga akselerator
a100 40 GB
Starting at
$3,52069
per jam
a100 80 GB
Starting at
$4,713696
per jam
L4
Starting at
$0,672048
per jam
Lihat detail harga untuk Google Cloud Serverless untuk Apache Spark.