Harga Dataflow
Halaman ini menjelaskan harga untuk Dataflow. Untuk melihat harga produk lain, baca Dokumentasi harga.
Untuk mempelajari bagaimana Anda dapat menghemat 40% dengan komitmen tiga tahun atau 20% dengan komitmen satu tahun komitmen, tinjau halaman diskon abonemen (CUD) kami.
Ringkasan
Penggunaan Dataflow dikenai biaya berdasarkan resource yang digunakan tugas Anda. Bergantung pada model penetapan harga yang Anda gunakan, resource diukur dan ditagih secara berbeda.
| Resource komputasi Dataflow | Resource komputasi Dataflow Prime |
|
Unit Komputasi Data (DCU) (batch dan streaming) |
Referensi Dataflow lainnya yang dikenai biaya untuk semua tugas termasuk Persistent Disk, GPU, dan snapshot.
Resource dari layanan lain mungkin digunakan untuk Dataflow pekerjaan. Layanan yang digunakan dengan Dataflow dapat mencakup BigQuery, Pub/Sub, Cloud Storage, dan Cloud Logging.
Meskipun tarif harga didasarkan pada jam, Dataflow penggunaan ditagih dengan kenaikan per detik, per tugas. Penggunaannya adalah yang dinyatakan dalam jam agar dapat menerapkan harga per jam untuk penggunaan detik demi detik. Contohnya, 30 menit adalah 0,5 jam. Pekerja dan pekerjaan mungkin menghabiskan sumber daya sebagai yang dijelaskan di bagian berikut.
Rilis Dataflow mendatang mungkin memiliki biaya layanan yang berbeda atau paket layanan terkait.
Resource komputasi Dataflow
Penagihan Dataflow untuk resource komputasi mencakup komponen berikut:
- CPU dan memori pekerja
- Data Shuffle Dataflow yang diproses untuk workload batch
- Unit Komputasi Streaming Engine
- Data Streaming Engine yang diproses
Untuk mengetahui informasi selengkapnya tentang region yang tersedia beserta zonanya, lihat Region dan Zona Compute Engine kami.
CPU dan memori pekerja
Setiap tugas Dataflow menggunakan setidaknya satu pekerja Dataflow. Layanan Dataflow menyediakan dua jenis pekerja: batch dan melakukan streaming. Pekerja batch dan streaming memiliki biaya layanan terpisah.
Pekerja Dataflow menggunakan resource berikut, masing-masing dikenai biaya per detik:
- CPU
- Memori
Pekerja batch dan streaming adalah resource khusus yang menggunakan Compute Engine. Namun, tugas Dataflow tidak menghasilkan Penagihan Compute Engine untuk resource Compute Engine yang dikelola oleh ke layanan Dataflow. Sebagai gantinya, layanan Dataflow biaya ini mencakup penggunaan resource Compute Engine ini.
Anda dapat mengganti jumlah pekerja default untuk suatu tugas. Jika Anda menggunakan penskalaan otomatis, Anda dapat menentukan jumlah maksimum pekerja untuk dialokasikan ke sebuah tugas. Pekerja dan sumber daya masing-masing ditambahkan dan dihapus secara otomatis berdasarkan aktuasi penskalaan otomatis.
Selain itu, Anda dapat menggunakan opsi pipeline untuk mengganti setelan resource default, seperti jenis mesin, jenis disk, dan disk yang dialokasikan ke setiap pekerja dan yang menggunakan GPU.
FlexRS
Dataflow menyediakan opsi untuk CPU dan memori yang didiskon harga untuk batch processing. Penjadwalan Sumber Daya Fleksibel (FlexRS) menggabungkan VM reguler dan preemptible dalam satu kumpulan pekerja Dataflow, memberi pengguna akses ke resource pemrosesan. FlexRS juga menunda eksekusi batch Tugas Dataflow dalam periode 6 jam untuk mengidentifikasi titik terbaik dalam waktu untuk memulai pekerjaan berdasarkan sumber daya yang tersedia.
Meskipun Dataflow menggunakan kombinasi pekerja untuk menjalankan tugas FlexRS, Anda akan dikenai biaya potongan harga sebesar sekitar 40% untuk biaya CPU dan memori dibandingkan dengan Harga Dataflow, terlepas dari jenis pekerja. Anda menginstruksikan Dataflow agar menggunakan FlexRS untuk pipeline batch yang diskalakan secara otomatis dengan menentukan Parameter FlexRS.
Data Dataflow Shuffle diproses
Untuk pipeline batch, Dataflow menyediakan fitur yang sangat skalabel, Dataflow Shuffle, yang mengacak data di luar worker. Untuk informasi selengkapnya, lihat Dataflow Shuffle.
Dataflow Shuffle mengenakan biaya berdasarkan volume data diproses selama pengacakan.
Harga Streaming Engine
Untuk pipeline streaming, Dataflow Streaming Engine berpindah streaming shuffle dan pemrosesan status dari VM worker ke Backend layanan Dataflow. Untuk informasi selengkapnya, lihat Streaming Engine.
Unit Komputasi Streaming Engine
Dengan penagihan berbasis resource, resource Streaming Engine diukur berdasarkan Unit Komputasi Streaming Engine. Dataflow mengukur resource Streaming Engine yang digunakan setiap tugas dan kemudian menagih berdasarkan total sumber daya yang digunakan oleh tugas tersebut. Guna mengaktifkan penagihan berbasis resource untuk tugas Anda, lihat Gunakan penagihan berbasis resource. Jika Anda menggunakan penagihan berbasis resource, diskon yang sudah ada akan otomatis diterapkan.
Jika menggunakan Dataflow Prime dengan penagihan berbasis resource, Anda akan ditagih berdasarkan pada total sumber daya yang digunakan setiap tugas, tetapi SKU Data Compute Unit (DCU) digunakan sebagai pengganti SKU Unit Compute Streaming Engine.
Data Streaming Engine yang diproses (lama)
Dataflow berlanjut ke mendukung penagihan yang diproses dengan data lama. Kecuali Anda mengaktifkan penagihan berbasis resource, tugas ditagih menggunakan penagihan yang diproses data.
Penagihan yang diproses dengan data Streaming Engine mengukur penggunaan berdasarkan volume data streaming yang diproses, yang bergantung pada faktor berikut:
- Volume data yang diserap ke dalam pipeline streaming Anda
- Kompleksitas pipeline
- Jumlah stage pipeline dengan operasi acak atau dengan DoFn stateful
Contoh hal yang dianggap sebagai byte yang diproses mencakup item berikut:
- Alur input dari sumber data
- Alur data dari satu tahap pipeline fusi ke tahap lain yang menyatu
- Alur data yang dipertahankan dalam status yang ditentukan pengguna atau digunakan untuk windowing
- Pesan output ke sink data, seperti ke Pub/Sub atau BigQuery
Harga resource komputasi Dataflow - batch & FlexRS
Tabel berikut berisi detail harga untuk resource pekerja dan Shuffle data yang diproses untuk tugas batch dan FlexRS.
1 Setelan default pekerja batch: 1 vCPU, memori 3,75 GB, Persistent Disk 250 GB jika tidak menggunakan Dataflow Acak, Persistent Disk 25 GB jika menggunakan Dataflow Shuffle
2 Setelan default pekerja FlexRS: 2 vCPU, memori sebesar 7,50 GB, Persistent Disk sebesar 25 GB per pekerja, dengan minimal dua pekerja
Harga resource komputasi Dataflow - streaming
Tabel berikut berisi detail harga untuk resource pekerja, Streaming Data mesin yang diproses (lama), dan Unit Komputasi Streaming Engine untuk streaming pekerjaan.
3 Setelan default pekerja streaming: 4 vCPU, memori 15 GB, Persistent Disk 400 GB jika tidak menggunakan Streaming Engine, Persistent Disk 30 GB jika menggunakan Streaming Engine. Tujuan Layanan Dataflow saat ini dibatasi hingga 15 persistent disk per instance pekerja jika menjalankan tugas streaming. Rasio 1:1 antara pekerja dan disk adalah alokasi resource minimum.
4 Harga Dataflow Shuffle didasarkan pada penyesuaian volume yang diterapkan pada jumlah data yang diproses selama operasi baca dan tulis sambil mengacak {i>dataset<i} Anda. Untuk mengetahui informasi selengkapnya, lihat Detail harga Acak dari Dataflow. Harga Dataflow Shuffle tidak berlaku untuk tugas Streaming Engine yang menggunakan penagihan berbasis resource.
5 Unit Komputasi Streaming Engine: untuk tugas streaming yang menggunakan Streaming Engine dan model penagihan berbasis resource. Tugas ini tidak dikenai biaya untuk data yang diproses selama diacak.
Penyesuaian volume untuk data Dataflow Shuffle yang diproses
Biaya dihitung per tugas Dataflow melalui penyesuaian volume yang diterapkan ke jumlah total data yang diproses selama operasi Dataflow Shuffle. Tagihan sebenarnya untuk data Dataflow Shuffle yang diproses setara dengan tagihan harga penuh untuk jumlah data yang lebih kecil daripada jumlah yang diproses oleh tugas Dataflow. Perbedaan ini menghasilkan data acak yang dapat ditagih yang diproses lebih kecil dari total data acak yang diproses.
Tabel berikut menjelaskan bagaimana penyesuaian ini diterapkan:
| Data Shuffle Dataflow diproses | Penyesuaian penagihan |
| 250 GB pertama | penurunan 75% |
| 4870 GB Berikutnya | penurunan 50% |
| Sisa data melebihi 5.120 GB (5 TB) | tidak ada |
Misalnya, jika pipeline Anda menghasilkan total data Dataflow Shuffle yang diproses sebesar 1.024 GB (1 TB), jumlah yang dapat ditagih akan dihitung sebagai berikut:
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
Jika pipeline Anda menghasilkan total data Dataflow Shuffle yang diproses sebesar 10.240 GB (10 TB), jumlah data yang dapat ditagih adalah:
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Harga resource komputasi Dataflow Prime
Dataflow Prime adalah platform pemrosesan data yang dibangun berdasarkan Dataflow untuk peningkatan pemanfaatan resource dan diagnostik terdistribusi.
Resource komputasi yang digunakan oleh tugas Dataflow Prime dihargai berdasarkan jumlah Data Unit Komputasi (DCU). DCU mewakili sumber daya komputasi yang dialokasikan untuk menjalankan pipeline Anda. Referensi Dataflow lainnya yang digunakan oleh tugas Dataflow Prime, seperti Persistent Disk, GPU, dan snapshot, ditagih terpisah.
Untuk mengetahui informasi selengkapnya tentang region yang tersedia beserta zonanya, lihat Region dan Zona Compute Engine kami.
Unit Komputasi Data
Data Compute Unit (DCU) adalah unit pengukuran penggunaan Dataflow yang melacak jumlah resource komputasi yang dipakai oleh tugas Anda. Resource dilacak oleh DCU mencakup vCPU, memori, data Dataflow Shuffle yang diproses (untuk tugas batch), dan data Streaming Engine yang diproses (untuk tugas streaming). Pekerjaan yang memakai lebih banyak sumber daya memiliki lebih banyak penggunaan DCU dibandingkan dengan pekerjaan yang menggunakan lebih sedikit sumber daya. Satu DCU sebanding dengan sumber daya yang digunakan oleh Tugas Dataflow yang berjalan selama satu jam pada pekerja 1 vCPU dengan kapasitas 4 GB.
Penagihan Data Compute Unit
Anda akan ditagih untuk jumlah total DCU yang digunakan oleh tugas Anda. Harga satu DCU bervariasi berdasarkan apakah Anda memiliki tugas batch atau tugas streaming. Kapan Anda menggunakan Dataflow Prime dengan penagihan berbasis resource, Anda ditagih berdasarkan total resource yang digunakan, bukan proses byte.
Mengoptimalkan penggunaan Data Compute Unit
Anda tidak dapat menetapkan jumlah DCU untuk tugas Anda. DCU dihitung oleh Dataflow Prime. Namun, Anda dapat mengurangi jumlah DCU yang digunakan dengan mengelola aspek-aspek pekerjaan Anda:
- Mengurangi konsumsi memori
- Mengurangi jumlah data yang diproses dalam langkah-langkah pengacakan menggunakan filter, penggabung, dan coder yang efisien
Untuk mengidentifikasi pengoptimalan ini, gunakan Antarmuka pemantauan Dataflow dan antarmuka detail eksekusi.
Apa perbedaan harga Dataflow Prime dengan harga Dataflow?
Di Dataflow, Anda akan dikenai biaya untuk resource yang berbeda yang digunakan tugas Anda, seperti vCPU, memori, Persistent Disk, dan jumlah data yang diproses Dataflow Shuffle atau Streaming Engine.
Unit Komputasi Data menggabungkan semua resource kecuali penyimpanan ke dalam unit pengukuran tunggal. Anda akan ditagih untuk resource Persistent Disk dan jumlah DCU yang dikonsumsi berdasarkan jenis tugas, batch, atau streaming. Untuk informasi selengkapnya, lihat Menggunakan Dataflow Prime.
Apa yang terjadi pada tugas saya saat ini yang menggunakan model harga Dataflow?
Tugas batch dan streaming yang ada akan terus ditagih menggunakan Model Dataflow. Ketika Anda memperbarui pekerjaan Anda ke menggunakan Dataflow Prime, tugas akan lalu gunakan model harga Dataflow Prime, yang ditagih untuk Persistent Disk sumber daya dan untuk DCU yang dikonsumsi.
Referensi Dataflow lainnya
Penyimpanan, GPU, snapshot, dan resource lainnya dikenai biaya cara yang sama untuk Dataflow dan Dataflow Prime.
Harga resource penyimpanan
Resource penyimpanan ditagih dengan tarif yang sama untuk streaming, batch, dan FlexRS pekerjaan. Anda dapat menggunakan pipeline options untuk mengubah ukuran disk atau jenis disk default. Dataflow Prime menagih Persistent Disk secara terpisah berdasarkan harga di tabel berikut.
Layanan Dataflow saat ini dibatasi hingga 15 persistent disk per instance pekerja saat menjalankan tugas streaming. Setiap persistent disk bersifat lokal ke virtual machine Compute Engine individual. Rasio 1:1 antara {i> worker <i}dan {i>disk<i} adalah alokasi resource minimum.
Tugas yang menggunakan Streaming Engine menggunakan penyimpanan sebesar 30 GB disk booting. Tugas yang menggunakan Dataflow Shuffle menggunakan boot disk 25 GB. Untuk pekerjaan yang tidak menggunakan penawaran ini, ukuran default setiap persistent disk adalah 250 GB dalam mode batch 400 GB dalam mode streaming.
Penggunaan Compute Engine didasarkan pada jumlah rata-rata worker, sedangkan
Penggunaan Persistent Disk didasarkan pada nilai pasti --maxNumWorkers. Persistent Disk
didistribusikan ulang sehingga setiap pekerja memiliki jumlah {i>disk<i} yang terpasang dengan sama.
Harga resource GPU
Resource GPU dikenai tarif yang sama untuk tugas streaming dan batch. FlexRS saat ini tidak mendukung GPU. Untuk informasi tentang region yang tersedia dan zona untuk GPU, lihat Ketersediaan region dan zona GPU di dokumentasi Compute Engine.
Snapshot
Untuk membantu mengelola keandalan pipeline streaming, Anda dapat menggunakan snapshot untuk menyimpan dan memulihkan status pipeline Anda. Penggunaan snapshot ditagih berdasarkan volume data yang disimpan, yang bergantung pada faktor-faktor berikut:
- Volume data yang diserap ke dalam pipeline streaming Anda
- Logika windowing Anda
- Jumlah stage pipeline
Anda dapat mengambil ringkasan tugas streaming menggunakan Dataflow atau Google Cloud CLI. Tidak ada biaya tambahan untuk membuat tugas dari snapshot Anda untuk memulihkan status pipeline. Untuk informasi selengkapnya, lihat Menggunakan snapshot Dataflow.
Harga snapshot
Confidential VM
Confidential VM untuk Dataflow mengenkripsi data aktif pada dan VM Compute Engine worker. Untuk detail selengkapnya, lihat Ringkasan Confidential VM.
Penggunaan Confidential VM untuk Dataflow akan dikenai biaya tambahan per vCPU, dan biaya per GB.
Harga Confidential VM
Harga bersifat global dan tidak berubah berdasarkan region Google Cloud.
Resource non-Dataflow
Selain penggunaan Dataflow, tugas mungkin menggunakan hal berikut resource, masing-masing dikenakan harganya sendiri, termasuk tetapi tidak terbatas pada:
-
Tugas Dataflow yang digunakan Cloud Storage untuk menyimpan file sementara selama eksekusi pipeline. Untuk menghindari tagihan biaya penyimpanan yang tidak perlu, nonaktifkan fitur hapus untuk sementara pada bucket yang Tugas Dataflow yang digunakan untuk penyimpanan sementara. Untuk informasi selengkapnya, lihat Menghapus kebijakan penghapusan sementara dari bucket.
-
Anda dapat mengarahkan log ke tujuan lain atau mengecualikan log dari penyerapan. Untuk mengetahui informasi cara mengoptimalkan volume log untuk Dataflow Anda tugas, lihat mengontrol volume log Dataflow.
Lihat penggunaan resource
Anda dapat melihat total resource vCPU, memori, dan Persistent Disk yang terkait dengan tugas di panel Info pekerjaan di bagian Metrik resource. Anda dapat melacak metrik berikut dalam Antarmuka Pemantauan Dataflow:
- Total waktu vCPU
- Total waktu penggunaan memori
- Total waktu penggunaan Persistent Disk
- Total data streaming yang diproses
- Total data acak yang diproses
- Data acak yang dapat ditagih diproses
Anda dapat menggunakan metrik Total data acak yang diproses untuk mengevaluasi performa pipeline Anda dan metrik Data acak yang dapat ditagih yang diproses untuk menentukan biaya dari tugas Dataflow.
Untuk Dataflow Prime, Anda dapat melihat jumlah total DCU yang digunakan oleh satu tugas di panel Job info di bagian Resource metrics.
Kalkulator harga
Gunakan Kalkulator Harga Google Cloud untuk membantu Anda memahami cara penghitungan tagihan Anda.
Jika Anda melakukan pembayaran dengan mata uang selain USD, yang berlaku adalah harga yang tercantum dalam mata uang Anda pada SKU Cloud Platform.
Langkah berikutnya
- Baca Dokumentasi Dataflow.
- Mulai menggunakan Dataflow.
- Coba Kalkulator Harga.
- Pelajari solusi dan kasus penggunaan Dataflow.