Diumumkan pada Mei 2025: Dataproc Serverless kini menjadi Google Cloud Serverless untuk Apache Spark

Google Cloud Serverless untuk Apache Spark

Cara baru untuk Apache Spark mulai dari pengembangan hingga produksi

Spark on-demand: Proses mulai cepat, tanpa pengoperasian, meningkatkan performa kueri, dan produktivitas Gemini. TCO hingga 60% lebih rendah untuk workload Spark.

Apache Spark adalah merek dagang dari Apache Software Foundation.


Fitur

Spark on-demand: Berfokus pada kode, bukan cluster

Hilangkan kompleksitas pengelolaan cluster dan tidak perlu membayar resource yang nonaktif dan kurang dimanfaatkan. Google Cloud Serverless untuk Apache Spark menawarkan proses mulai VM yang cepat dan penskalaan otomatis dinamis untuk workload interaktif, batch, dan AI Anda. Gunakan waktu Anda untuk membangun fitur, bukan mengelola infrastruktur. Tidak ada biaya selama proses mulai dan penonaktifan VM.

Tingkatkan performa dengan Lightning Engine

Rasakan rasio harga-performa terbaik di industri Google Cloud Serverless untuk Apache Spark didukung oleh mesin kueri native generasi berikutnya, Lightning Engine, dalam versi Pratinjau. Teknologi ini memberikan performa pemrosesan data dan kueri Spark yang jauh lebih cepat, lebih dari 4,3x lebih cepat** daripada Apache Spark open source, melalui eksekusi vektor yang canggih, caching cerdas bawaan, dan I/O penyimpanan yang dioptimalkan, sehingga membantu Anda mendapatkan insight lebih cepat dan menghemat biaya.

** Kueri berasal dari standar TPC-DS dan standar TPC-H sehingga tidak dapat dibandingkan dengan hasil standar TPC-DS dan standar TPC-H yang dipublikasikan, karena proses ini tidak mematuhi semua spesifikasi standar TPC-DS dan standar TPC-H.

Keamanan dan konfigurasi yang siap digunakan perusahaan

Jalankan workload Spark produksi Anda dengan penuh percaya diri. Google Cloud Serverless untuk Apache Spark mengoptimalkan resource, menyediakan isolasi tugas, dan mendukung kemampuan keamanan perusahaan Google Cloud (termasuk VPC-SC, CMEK, autentikasi pribadi, dan kebijakan organisasi kustom). Layanan ini memastikan lingkungan eksekusi yang aman dengan kemampuan seperti subnet aman, enkripsi secara default untuk data dalam penyimpanan dan dalam pengiriman, dan tidak ada akses root atau VM langsung, sehingga meminimalkan beban keamanan operasional Anda. Meskipun dibuat untuk otomatisasi, pengguna ahli tetap memiliki akses penuh ke konfigurasi Spark untuk kontrol yang terperinci.

Produktivitas yang didukung Gemini di setiap langkah

Padukan AI generatif ke dalam siklus proses pengembangan Spark Anda. Manfaatkan Gemini untuk pembuatan kode PySpark yang peka konteks di notebook dengan konteks cerdas dari data Anda untuk meningkatkan produktivitas. Dapatkan rekomendasi pemecahan masalah yang didukung AI dengan Gemini Cloud Assist Investigate untuk menyelesaikan masalah dengan cepat, mendapatkan insight operasional yang lebih mendalam, dan mengoptimalkan performa.

AI/ML terdistribusi yang mudah

Menjalankan workload inferensi batch atau pelatihan terdistribusi dengan lancar. Google Cloud Serverless untuk Apache Spark menawarkan dukungan bawaan untuk akselerasi GPU dan dilengkapi dengan library ML populer yang dikemas sebelumnya seperti XGBoost, PyTorch, dan Transformers. Hal ini menghasilkan proses mulai yang jauh lebih cepat untuk lingkungan AI/ML dan meningkatkan keandalan karena image tersebut bersertifikat Google.

Terbuka, fleksibel, dan memiliki kemampuan interoperabilitas

Mempertahankan fleksibilitas penuh. Google Cloud Serverless untuk Apache Spark sepenuhnya kompatibel dengan OSS, sehingga Anda dapat menggunakan kode dan library Spark yang ada tanpa perlu modifikasi. Kembangkan dalam bahasa pilihan Anda (Python, Java, Scala, R) menggunakan IDE pilihan Anda (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) dan orkestrasi dengan alat seperti Apache Airflow/Cloud Composer atau pipeline BigQuery. Proses semua format data, seperti format berbasis Google dan open source seperti Apache Iceberg.

Pengalaman BigQuery terpadu

Rasakan kehebatan Apache Spark langsung di dalam BigQuery. Tulis dan jalankan kode PySpark bersama SQL di notebook Colab Enterprise terpadu, dengan memanfaatkan metadata umum melalui BigLake Metastore, keamanan bersama, dan tata kelola yang konsisten melalui Katalog Universal Dataplex.

Cara Kerjanya

 Kemudahan Spark mulai dari ide hingga produksi

Penggunaan Umum

Pipeline serverless

 ETL/ELT Serverless yang sangat cepat

Serap, transformasikan, dan muat set data besar dengan cepat dari berbagai sumber ke dalam BigQuery atau Google Cloud Storage. Dengan performa Lightning Engine yang tak tertandingi dan tanpa beban operasional, sederhanakan pipeline data Anda dan pastikan data terbaru digunakan untuk analisis.

 ETL/ELT Serverless yang sangat cepat

Serap, transformasikan, dan muat set data besar dengan cepat dari berbagai sumber ke dalam BigQuery atau Google Cloud Storage. Dengan performa Lightning Engine yang tak tertandingi dan tanpa beban operasional, sederhanakan pipeline data Anda dan pastikan data terbaru digunakan untuk analisis.

Analisis dan data science interaktif

Analisis interaktif dan pembuatan prototipe yang cepat

Berdayakan data scientist dan analis Anda dengan lingkungan serverless Spark yang fleksibel dan berperforma tinggi. Baik Anda melakukan eksplorasi data ad-hoc, membuat prototipe dengan cepat, maupun membangun model machine learning yang canggih, Google Cloud Serverless untuk Apache Spark menyediakan kecepatan dan alat yang Anda butuhkan. Kembangkan kode PySpark dan SQL di BigQuery Studio untuk pengalaman terpadu, atau hubungkan dari alat pilihan Anda seperti notebook Jupyter dan VS Code dengan ekstensi Google Cloud. Manfaatkan Gemini untuk bantuan kode dan pemecahan masalah, Lightning Engine untuk hasil kueri yang cepat, dan integrasi Vertex AI untuk MLOps. Dari penemuan data yang cepat hingga pelatihan model kompleks dengan GPU dan library yang sudah dikemas sebelumnya, percepat seluruh siklus proses data science Anda.

Analisis interaktif dan pembuatan prototipe yang cepat

Berdayakan data scientist dan analis Anda dengan lingkungan serverless Spark yang fleksibel dan berperforma tinggi. Baik Anda melakukan eksplorasi data ad-hoc, membuat prototipe dengan cepat, maupun membangun model machine learning yang canggih, Google Cloud Serverless untuk Apache Spark menyediakan kecepatan dan alat yang Anda butuhkan. Kembangkan kode PySpark dan SQL di BigQuery Studio untuk pengalaman terpadu, atau hubungkan dari alat pilihan Anda seperti notebook Jupyter dan VS Code dengan ekstensi Google Cloud. Manfaatkan Gemini untuk bantuan kode dan pemecahan masalah, Lightning Engine untuk hasil kueri yang cepat, dan integrasi Vertex AI untuk MLOps. Dari penemuan data yang cepat hingga pelatihan model kompleks dengan GPU dan library yang sudah dikemas sebelumnya, percepat seluruh siklus proses data science Anda.

Membuat solusi
Masalah apa yang ingin Anda temukan solusinya?
What you'll get:
Panduan langkah demi langkah
Arsitektur referensi
Solusi siap pakai yang tersedia
Layanan ini dibangun dengan Vertex AI. Anda harus berusia 18 tahun ke atas untuk menggunakannya. Jangan memasukkan informasi sensitif, rahasia, atau pribadi.

Harga

Harga yang transparan dan berbasis nilaiHarga Google Cloud Serverless Spark didasarkan pada penggunaan komputasi (DCU), GPU, dan penyimpanan shuffle per detik.
Layanan dan penggunaanJenis langganan Harga (USD)

Unit Komputasi Data (DCU)

Standar

Mulai dari

$0,06

per jam

Premium

Mulai dari

$0,089

per jam

Penyimpanan shuffle

Standar

Mulai dari

$0,04

per GB/bulan

Premium

Mulai dari

$0,1

per GB/bulan

Harga akselerator

a100 40 GB

Mulai dari

$3,52069

per jam

a100 80 GB

Mulai dari

$4,713696

per jam

L4

Mulai dari

$0,672048

per jam

Lihat detail harga untuk Google Cloud Serverless untuk Apache Spark.

Harga yang transparan dan berbasis nilai

Harga Google Cloud Serverless Spark didasarkan pada penggunaan komputasi (DCU), GPU, dan penyimpanan shuffle per detik.

Unit Komputasi Data (DCU)

Jenis langganan

Standar

Harga (USD)

Starting at

$0,06

per jam

Premium

Jenis langganan

Starting at

$0,089

per jam

Penyimpanan shuffle

Jenis langganan

Standar

Harga (USD)

Starting at

$0,04

per GB/bulan

Premium

Jenis langganan

Starting at

$0,1

per GB/bulan

Harga akselerator

Jenis langganan

a100 40 GB

Harga (USD)

Starting at

$3,52069

per jam

a100 80 GB

Jenis langganan

Starting at

$4,713696

per jam

L4

Jenis langganan

Starting at

$0,672048

per jam

Lihat detail harga untuk Google Cloud Serverless untuk Apache Spark.

Kalkulator harga

Hitung biaya bulanan Anda menurut region.

Penawaran kustom

Hubungi tim penjualan kami untuk mendapatkan penawaran harga khusus bagi organisasi Anda.

Mulai sekarang juga

Tutorial untuk memulai

Punya proyek besar?

Ringkasan produk

Gunakan konektor BigQuery dengan Google Cloud Serverless untuk Apache Spark

Menggunakan GPU dengan Google Cloud Serverless untuk Apache Spark