Halaman ini memberikan informasi latar belakang tentang cara kerja GPU dengan Dataflow, termasuk informasi tentang prasyarat dan jenis GPU yang didukung.
Dengan menggunakan GPU dalam tugas Dataflow, Anda dapat mempercepat beberapa tugas pemrosesan data. GPU dapat melakukan komputasi tertentu lebih cepat daripada CPU. Komputasi ini biasanya berupa aljabar linear atau numerik, yang sering digunakan dalam kasus penggunaan pemrosesan gambar dan machine learning. Tingkat peningkatan performa bervariasi menurut kasus penggunaan, jenis komputasi, dan jumlah data yang diproses.
Prasyarat untuk menggunakan GPU di Dataflow
- Untuk menggunakan GPU dengan tugas Dataflow, Anda harus menggunakan Runner v2.
- Dataflow menjalankan kode pengguna di VM pekerja di dalam container Docker.
VM pekerja ini menjalankan Container-Optimized OS.
Agar tugas Dataflow dapat menggunakan GPU, Anda memerlukan prasyarat berikut:
- Driver GPU diinstal pada VM pekerja dan dapat diakses oleh container Docker. Untuk mengetahui informasi selengkapnya, lihat Menginstal driver GPU.
- Library GPU yang diperlukan oleh pipeline Anda, seperti library NVIDIA CUDA-X atau NVIDIA CUDA Toolkit, diinstal dalam image container kustom. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi image container Anda.
- Karena biasanya ukuran penampung GPU besar, untuk menghindari kehabisan ruang disk, tingkatkan ukuran disk booting default menjadi 50 gigabyte atau lebih.
Harga
Tugas yang menggunakan GPU dikenai biaya seperti yang ditentukan di halaman harga Dataflow.
Ketersediaan
Jenis GPU berikut didukung dengan Dataflow:
| Jenis GPU | String worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
Untuk mengetahui informasi selengkapnya tentang setiap jenis GPU, termasuk data performa, lihat Platform GPU Compute Engine.
Untuk mengetahui informasi tentang region dan zona yang tersedia untuk GPU, lihat Ketersediaan region dan zona GPU dalam dokumentasi Compute Engine.
Workload yang direkomendasikan
Tabel berikut memberikan rekomendasi jenis GPU yang akan digunakan untuk berbagai workload. Contoh dalam tabel hanyalah saran, dan Anda perlu melakukan pengujian di lingkungan Anda sendiri untuk menentukan jenis GPU yang sesuai untuk workload Anda.
Untuk mengetahui informasi yang lebih mendetail tentang ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal untuk berbagai model GPU, lihat Diagram perbandingan umum di halaman platform GPU.
| Workload | A100, H100 | L4 | T4 |
|---|---|---|---|
| Penyesuaian model | Disarankan | ||
| Inferensi model besar | Disarankan | Disarankan | |
| Inferensi model sedang | Disarankan | Disarankan | |
| Inferensi model kecil | Disarankan | Disarankan |
Langkah berikutnya
- Lihat contoh alur kerja developer untuk membangun pipeline yang menggunakan GPU.
- Pelajari cara menjalankan pipeline Apache Beam di Dataflow dengan GPU.
- Ikuti langkah-langkah di Memproses gambar satelit Landsat dengan GPU.