Dataproc

Dataproc membuat pemrosesan data dan analisis open source lebih cepat, mudah, dan aman di cloud.

Coba Dataproc, gratis
  • action/check_circle_24px Dibuat dengan Sketch.

    Jalankan cluster penskalaan otomatis dalam 90 detik di mesin kustom

  • action/check_circle_24px Dibuat dengan Sketch.

    Build cluster Apache Spark, Apache Hadoop, Presto, dan cluster OSS lainnya yang terkelola sepenuhnya

  • action/check_circle_24px Dibuat dengan Sketch.

    Cukup bayar resource yang Anda gunakan dan turunkan biaya total kepemilikan OSS

  • action/check_circle_24px Dibuat dengan Sketch.

    Enkripsi dan keamanan terpadu dibuat dalam setiap cluster

  • action/check_circle_24px Dibuat dengan Sketch.

    Percepat sains data dengan cluster yang dibuat untuk tujuan khusus

Mem-build cluster OSS kustom pada mesin kustom dengan lebih cepat

Mulai dari kebutuhan memori tambahan bagi Presto hingga GPU untuk machine learning Apache Spark, Dataproc dapat membantu mempercepat pemrosesan data dan analisis Anda dengan menjalankan cluster yang dibuat untuk tujuan khusus dalam 90 detik.

Pengelolaan cluster yang mudah dan terjangkau

Dengan penskalaan otomatis, penghapusan cluster yang tidak aktif, harga per detik, dan lainnya, Dataproc dapat membantu mengurangi biaya total kepemilikan OSS agar Anda bisa memfokuskan waktu dan resource Anda di tempat lain. 

Dilengkapi fitur keamanan bawaan secara default

Enkripsi secara default membantu memastikan tidak ada data yang tidak dilindungi. Dengan JobsAPI dan Gateway Komponen, Anda dapat menentukan izin untuk cluster Cloud IAM tanpa harus menyiapkan node jaringan atau gateway. 

Fitur utama

Pengelolaan cluster otomatis

Dengan deployment, logging, dan pemantauan yang terkelola, Anda dapat fokus pada data, bukan pada cluster. Cluster Dataproc bersifat stabil, skalabel, dan cepat.

Memasukkan tugas OSS ke dalam container

Ketika mem-build tugas OSS (misalnya, Apache Spark) di Dataproc, Anda dapat memasukkannya dengan cepat ke dalam container menggunakan Kubernetes dan men-deploy-nya di cluster GKE yang aktif. 

Keamanan perusahaan

Ketika membuat cluster Dataproc, Anda dapat mengaktifkan Mode Aman Hadoop melalui Kerberos dengan menambahkan Konfigurasi Keamanan. Selain itu, beberapa fitur keamanan spesifik Google Cloud yang paling sering digunakan dengan Dataproc meliputi enkripsi nonaktif default, Login OS, Kontrol Layanan VPC, and Kunci Enkripsi yang Dikelola Pelanggan (CMEK).

Lihat semua fitur

Dokumentasi

API & Library
Tindakan inisialisasi Dataproc

Tambahkan project OSS lainnya ke cluster Dataproc Anda dengan tindakan inisialisasi yang telah dibuat sebelumnya.

API & Library
Konektor open source

Library dan alat untuk interoperabilitas Apache Hadoop.

Kasus penggunaan

Kasus penggunaan
Pindahkan cluster Hadoop dan Spark Anda ke cloud

Berbagai perusahaan memigrasikan cluster Apache Hadoop dan Apache Spark lokal yang sudah ada ke Dataproc untuk mengelola biaya dan mewujudkan kedayagunaan skala yang elastis. Dengan Dataproc, perusahaan mendapatkan cluster yang dibuat untuk tujuan khusus dan terkelola sepenuhnya yang dapat menskalakan otomatis untuk mendukung tugas pemrosesan data atau analisis. 

Kasus penggunaan
Sains data di Dataproc

Buat lingkungan sains data ideal Anda dengan menjalankan cluster Dataproc yang dibuat untuk tujuan khusus. Integrasikan software open source seperti Apache Spark, NVIDIA RAPIDS, dan notebook Jupyter dengan layanan AI dan GPU Google Cloud untuk membantu mempercepat pengembangan machine learning dan AI. 

Semua fitur

Cluster yang ukurannya dapat disesuaikan Buat dan skalakan cluster dengan cepat menggunakan berbagai jenis mesin virtual, ukuran disk, jumlah node, dan opsi jaringan.
Cluster penskalaan otomatis Penskalaan otomatis Dataproc menyediakan mekanisme untuk mengotomatiskan pengelolaan resource cluster serta memungkinkan penambahan dan pengurangan otomatis pekerja (node) cluster.
Terintegrasi Cloud Integrasi bawaan dengan Cloud Storage, BigQuery, Cloud Bigtable, Cloud Logging, Cloud Monitoring, dan AI Hub, memberi Anda platform data yang lengkap dan stabil.
Pembuatan Versi Dengan pembuatan versi image Anda dapat beralih antara berbagai versi Apache Spark, Apache Hadoop, dan alat lainnya.
Sangat tersedia Jalankan cluster di mode ketersediaan tinggi dengan beberapa node master dan atur agar tugas dapat diulang dari awal seandainya terjadi kesalahan untuk membantu memastikan cluster dan tugas Anda selalu dapat diakses.
Penghapusan terjadwal cluster Untuk membantu agar tidak menimbulkan biaya pada cluster yang tidak aktif, Anda dapat menggunakan penghapusan terjadwal Dataproc, yang memberikan opsi untuk menghapus cluster setelah periode tidak aktif cluster yang ditentukan, pada waktu mendatang yang ditentukan, atau setelah periode waktu yang ditentukan.
Konfigurasi otomatis atau manual Dataproc akan secara otomatis mengonfigurasi hardware dan software, serta memberikan Anda kontrol manual.
Developer tools Ada banyak cara untuk mengelola cluster, termasuk UI Web yang mudah digunakan, Cloud SDK, RESTful API, dan akses SSH.
Tindakan inisialisasi Jalankan tindakan inisialisasi untuk menginstal atau menyesuaikan setelan dan library yang diperlukan saat cluster dibuat.
Komponen opsional Gunakan komponen opsional untuk menginstal dan mengonfigurasi komponen tambahan pada cluster. Komponen opsional terintegrasi dengan komponen Dataproc dan menawarkan lingkungan yang terkonfigurasi sepenuhnya untuk Zeppelin, Druid, Presto, dan komponen software open source lainnya yang terkait dengan ekosistem Apache Hadoop dan Apache Spark.
Image kustom Cluster Dataproc dapat disediakan dengan image kustom yang berisi paket sistem operasi Linux yang telah diinstal sebelumnya.
Mesin virtual fleksibel Cluster dapat menggunakan jenis mesin kustom dan preemptible virtual machine agar ukurannya sesuai untuk kebutuhan Anda.
Gateway Komponen dan akses notebook Gateway Komponen Dataproc memungkinkan akses sekali klik yang aman ke antarmuka web komponen opsional dan default Dataproc yang berjalan di cluster.
Template alur kerja Template alur kerja Dataproc menyediakan mekanisme yang fleksibel dan mudah digunakan untuk mengelola dan menjalankan alur kerja. Template alur kerja adalah konfigurasi alur kerja yang dapat digunakan kembali yang menentukan grafik tugas, dengan informasi tempat menjalankan tugas tersebut.

Harga

Harga Dataproc didasarkan pada jumlah vCPU dan durasi waktu yang dijalankan. Walaupun harga ditampilkan sebagai tarif per jam, kami membebankan biaya hingga hitungan detik sehingga Anda hanya perlu membayar sesuai penggunaan. Lihat halaman harga untuk mengetahui detailnya

Partner

Dataproc berintegrasi dengan para partner utama untuk melengkapi investasi dan keahlian yang sudah Anda miliki.