Halaman ini memberikan informasi latar belakang tentang cara kerja GPU dengan Dataflow, termasuk informasi tentang prasyarat dan jenis GPU yang didukung.
Dengan menggunakan GPU dalam tugas Dataflow, Anda dapat mempercepat beberapa tugas pemrosesan data. GPU dapat melakukan komputasi tertentu lebih cepat daripada CPU. Komputasi ini biasanya merupakan aljabar numerik atau linear, yang sering digunakan dalam kasus penggunaan pemrosesan gambar dan machine learning. Tingkat peningkatan performa bervariasi menurut kasus penggunaan, jenis komputasi, dan jumlah data yang diproses.
Prasyarat penggunaan GPU di Dataflow
- Untuk menggunakan GPU dengan tugas Dataflow, Anda harus menggunakan Runner v2.
- Dataflow menjalankan kode pengguna di VM pekerja di dalam penampung Docker.
VM pekerja ini menjalankan Container-Optimized OS.
Agar tugas Dataflow dapat menggunakan GPU, Anda memerlukan prasyarat berikut:
- Driver GPU diinstal di VM pekerja dan dapat diakses oleh penampung Docker. Untuk informasi selengkapnya, lihat Menginstal driver GPU.
- Library GPU yang diperlukan oleh pipeline Anda, seperti library NVIDIA CUDA-X atau NVIDIA CUDA Toolkit, diinstal di image container kustom. Untuk informasi selengkapnya, lihat Mengonfigurasi image penampung.
- Karena penampung GPU biasanya berukuran besar, untuk menghindari kehabisan kapasitas disk, tingkatkan ukuran boot disk default menjadi 50 gigabyte atau lebih.
Harga
Tugas yang menggunakan GPU akan dikenai biaya seperti yang ditentukan di halaman harga Dataflow.
Ketersediaan
Jenis GPU berikut didukung dengan Dataflow:
| Jenis GPU | String worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
Untuk mengetahui informasi selengkapnya tentang setiap jenis GPU, termasuk data performa, lihat Platform GPU Compute Engine.
Untuk mengetahui informasi tentang region dan zona yang tersedia untuk GPU, lihat Ketersediaan zona dan region GPU dalam dokumentasi Compute Engine.
Beban kerja yang direkomendasikan
Tabel berikut memberikan rekomendasi jenis GPU yang akan digunakan untuk berbagai workload. Contoh dalam tabel hanyalah saran, dan Anda harus menguji di lingkungan Anda sendiri untuk menentukan jenis GPU yang sesuai untuk workload Anda.
Untuk informasi yang lebih mendetail tentang ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal untuk berbagai model GPU, lihat Diagram perbandingan umum di halaman platform GPU.
| Workload | A100 | L4 | T4 |
|---|---|---|---|
| Penyesuaian model | Disarankan | ||
| Inferensi model besar | Disarankan | Disarankan | |
| Inferensi model sedang | Disarankan | Disarankan | |
| Inferensi model kecil | Disarankan | Disarankan |
Langkah selanjutnya
- Lihat contoh alur kerja developer untuk mem-build pipeline yang menggunakan GPU.
- Pelajari cara menjalankan pipeline Apache Beam di Dataflow dengan GPU.
- Pelajari artikel Memproses gambar satelit Landsat dengan GPU.