Halaman ini memberikan informasi latar belakang tentang cara kerja GPU dengan Dataflow, termasuk informasi tentang prasyarat dan jenis GPU yang didukung.
Dengan menggunakan GPU di tugas Dataflow, Anda dapat mempercepat beberapa tugas pemrosesan data. GPU dapat melakukan komputasi tertentu lebih cepat daripada CPU. Komputasi ini biasanya berupa aljabar numerik atau linear, sering digunakan dalam pemrosesan gambar dan kasus penggunaan machine learning. Tingkat peningkatan performa bervariasi menurut kasus penggunaan, jenis komputasi, dan jumlah data yang diproses.
Prasyarat untuk menggunakan GPU di Dataflow
- Untuk menggunakan GPU dengan tugas Dataflow, Anda harus menggunakan Runner v2.
- Dataflow menjalankan kode pengguna di VM pekerja di dalam container Docker.
VM pekerja ini menjalankan Container-Optimized OS.
Agar tugas Dataflow dapat menggunakan GPU, Anda memerlukan prasyarat berikut:
- Driver GPU diinstal pada VM pekerja dan dapat diakses oleh container Docker. Untuk informasi selengkapnya, lihat Menginstal driver GPU.
- Library GPU yang diperlukan oleh pipeline Anda, seperti library NVIDIA CUDA-X atau NVIDIA CUDA Toolkit, diinstal di image container kustom. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi image container.
- Karena container GPU biasanya berukuran besar, agar tidak kehabisan kapasitas disk, tingkatkan ukuran boot disk default menjadi 50 gigabyte atau lebih.
Harga
Tugas yang menggunakan GPU akan dikenakan biaya seperti yang ditentukan pada halaman harga Dataflow.
Ketersediaan
Jenis GPU berikut didukung dengan Dataflow:
| GPU type | String worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® Tesla® K80 | nvidia-tesla-k80 |
Untuk mengetahui informasi selengkapnya tentang setiap jenis GPU, termasuk data performa, baca platform GPU Compute Engine.
Untuk mengetahui informasi tentang region dan zona yang tersedia untuk GPU, lihat Ketersediaan region dan zona GPU dalam dokumentasi Compute Engine.
Langkah selanjutnya
- Lihat contoh alur kerja developer untuk mem-build pipeline yang menggunakan GPU.
- Pelajari cara menjalankan pipeline Apache Beam di Dataflow dengan GPU.
- Lakukan Pemrosesan citra satelit Landsat dengan GPU.