Ekosistem Spark mencakup lima komponen utama, yang masing-masing ditingkatkan oleh infrastruktur Google Cloud:

• Spark Core: Mesin eksekusi dasar yang mengelola pengiriman tugas dan I/O yang terdistribusi. Spark memperkenalkan Resilient Distributed Datasets (RDD), yakni kumpulan objek terdistribusi yang tidak dapat diubah dan diproses secara paralel dengan fault tolerance.
• Spark SQL: Modul yang digunakan untuk bekerja dengan data terstruktur menggunakan DataFrame. Google Cloud semakin mempercepat operasi ini melalui Lightning Engine, yang memberikan peningkatan kecepatan signifikan tanpa perlu penyesuaian manual.
• Spark Streaming: Memungkinkan solusi streaming yang skalabel dan fault-tolerant untuk tugas batch dan real-time.
• MLlib: Library machine learning yang skalabel. Saat dikombinasikan dengan Platform Agen Gemini Enterprise, alur kerja MLlib dapat diintegrasikan dengan lancar ke pipeline MLOps, dan pengembangan dapat ditingkatkan dengan Gemini untuk coding dan pemecahan masalah.
• GraphX: API untuk komputasi grafik dan paralel grafik.

Apache Spark adalah mesin komputasi serverless atau cluster cepat untuk tujuan umum. Dengan Spark, programmer dapat menulis aplikasi dengan cepat di Java, Scala, Python, R, dan SQL yang membuatnya dapat diakses oleh developer, data scientist, dan pebisnis tingkat lanjut dengan pengalaman statistik. Dengan menggunakan Spark SQL, pengguna dapat terhubung ke sumber data mana pun dan menampilkannya sebagai tabel agar dapat digunakan oleh klien SQL. Selain itu, algoritma machine learning interaktif dapat diterapkan dengan mudah di Spark.

Dengan mesin khusus SQL seperti Apache Impala, Apache Hive, atau Apache Drill, pengguna hanya dapat menggunakan bahasa SQL atau bahasa yang mirip SQL untuk mengkueri data yang disimpan di beberapa database. Artinya, framework-nya lebih kecil dibandingkan dengan Spark. Namun, di Google Cloud, Anda tidak perlu membuat pilihan yang kaku. BigQuery menyediakan kemampuan SQL yang canggih dan Managed Service untuk Apache Spark memungkinkan Anda menggunakan fleksibilitas Spark pada data yang sama melalui Lakehouse dengan format terbuka seperti Apache Iceberg.

Banyak perusahaan menggunakan Spark untuk membantu menyederhanakan tugas yang menantang dan intensif secara komputasi dalam memproses dan menganalisis data real-time atau data yang diarsipkan dalam jumlah besar, baik terstruktur maupun tidak terstruktur. Spark juga memungkinkan pengguna mengintegrasikan kemampuan kompleks yang relevan dengan lancar seperti machine learning dan algoritma grafik. Aplikasi umum mencakup:

• ETL/ELT berskala besar
• Pemrosesan data secara real-time
• Machine learning
• Eksplorasi data interaktif
• Analisis grafik

Data engineer mengandalkan Spark untuk merancang, membangun, dan memelihara pipeline pemrosesan data yang andal serta alur kerja ETL berskala besar. Di Google Cloud, data engineer dapat memanfaatkan Managed Service untuk Apache Spark guna menghilangkan toil infrastruktur, dengan memilih antara eksekusi serverless tanpa pengoperasian atau cluster terkelola sepenuhnya. Melalui terintegrasi yang lancar dengan BigQuery dan Knowledge Catalog, engineer dapat membangun arsitektur lakehouse terbuka yang terkelola menggunakan format seperti Apache Iceberg. Selain itu, dengan bantuan Agen Data dan Gemini, mereka dapat mengotomatiskan data wrangling dan mempercepat pembuatan kode PySpark, sehingga beralih dari data mentah ke pipeline siap produksi lebih cepat dari sebelumnya.

Data scientist dapat memiliki pengalaman yang lebih kaya dengan analisis dan ML menggunakan Spark dengan GPU. Kemampuan untuk memproses data dalam jumlah besar secara lebih cepat dengan bahasa yang sudah dikenal dapat membantu mempercepat inovasi. Google Cloud memberikan dukungan GPU yang andal untuk Spark dan integrasi yang lancar dengan Platform Agen Gemini Enterprise, sehingga data scientist dapat membangun dan men-deploy model dengan lebih cepat. Mereka dapat menghubungkan IDE pilihan mereka seperti Jupyter atau VS Code untuk pengalaman pengembangan yang fleksibel. Jika dikombinasikan dengan Gemini, kemampuan ini dapat mempercepat alur kerja mereka mulai dari eksplorasi awal hingga deployment produksi.

Google Cloud memecahkan tantangan umum dalam menjalankan Spark dalam skala besar sehingga Anda dapat berfokus pada insight, bukan infrastruktur. Optimalkan pengalaman Anda dengan Managed Service untuk Apache Spark. Managed Service untuk Apache Spark:

• Opsi deployment yang fleksibel: Pilih lingkungan yang tepat untuk workload Anda. Hilangkan overhead operasional dengan Spark serverless tanpa pengoperasian, atau pertahankan kontrol terperinci dengan cluster yang terkelola sepenuhnya.
• Performa terbaik di industri: Percepat workload ETL dan data science Anda yang paling menuntut hingga 4,9x lipat dengan Lightning Engine. Fitur yang tersedia untuk cluster terkelola dan serverless ini mengurangi biaya komputasi dan menghilangkan biaya penyesuaian manual tanpa perubahan kode.
• Pengembangan terpadu di IDE pilihan Anda: Tulis dan eksekusi kode Spark secara langsung di lingkungan pilihan Anda, baik itu VS Code, Jupyter, atau lainnya. Nikmati pengalaman lancar di SQL dan Spark pada data terkelola yang sama tanpa pengalihan konteks.
• Pengembangan AI agentic: Percepat alur kerja Anda dengan Agen Data yang mengotomatiskan coding PySpark dan data wrangling. Manfaatkan Gemini Cloud Assist untuk analisis akar masalah otomatis dan pemecahan masalah tugas yang kompleks.
• Tata kelola terpadu: Gunakan Knowledge Catalog untuk mengelola tata kelola data dan AI, yang menyediakan semantik untuk agen, dan memastikan siklus proses data yang konsisten dari penyerapan hingga insight berbasis AI.