Cette page fournit des informations générales sur le fonctionnement des GPU avec Dataflow, y compris sur les conditions préalables et les types de GPU compatibles.
L'utilisation de GPU dans les tâches Dataflow vous permet d'accélérer certaines tâches de traitement de données. Les GPU peuvent effectuer certains calculs plus rapidement que les processeurs. Ces calculs sont généralement des algèbres linéaires ou numériques, souvent utilisés dans les cas d'utilisation du traitement d'image et du machine learning. L'ampleur de l'amélioration des performances varie en fonction du cas d'utilisation, du type de calcul et de la quantité de données traitées.
Conditions préalables à l'utilisation de GPU dans Dataflow
- Pour utiliser des GPU avec votre tâche Dataflow, vous devez utiliser l'exécuteur v2.
- Dataflow exécute le code utilisateur dans des VM de nœud de calcul dans un conteneur Docker.
Ces VM de nœud de calcul exécutent Container-Optimized OS.
Pour que les tâches Dataflow puissent utiliser des GPU, vous devez remplir les conditions préalables suivantes :
- Les pilotes de GPU sont installés sur les VM de nœud de calcul et accessibles au conteneur Docker. Pour en savoir plus, consultez la page Installer des pilotes de GPU.
- Les bibliothèques de GPU requises par votre pipeline, telles que les bibliothèques NVIDIA CUDA-X ou NVIDIA CUDA Toolkit, sont installées dans l'image de conteneur personnalisé. Pour en savoir plus, consultez la section Configurer votre image de conteneur.
- Les conteneurs de GPU étant généralement volumineux, pour éviter de manquer d'espace disque, augmentez la taille du disque de démarrage par défaut à 50 gigaoctets ou plus.
Tarifs
Les tâches utilisant des GPU sont facturées comme indiqué sur la page des tarifs de Dataflow.
Qui peut en bénéficier ?
Les types de GPU suivants sont compatibles avec Dataflow :
| Type de GPU | Chaîne worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 Go | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® Tesla® K80 | nvidia-tesla-k80 |
Pour en savoir plus sur chaque type de GPU, y compris sur les données de performance, consultez la page Plates-formes GPU disponibles sur Compute Engine.
Pour en savoir plus sur les régions et les zones disponibles pour les GPU, consultez la page Disponibilité des GPU dans les régions et zones de la documentation Compute Engine.
Charges de travail recommandées
Le tableau suivant fournit des recommandations pour le type de GPU à utiliser pour différentes charges de travail. Les exemples du tableau ne sont que des suggestions. Vous devez les tester dans votre propre environnement pour déterminer le type de GPU approprié pour votre charge de travail.
Pour en savoir plus sur la taille de la mémoire des GPU, la disponibilité des fonctionnalités et les types de charges de travail idéaux pour différents modèles de GPU, consultez le tableau de comparaison général sur la page des plates-formes GPU.
| Charge de travail | A100 | L4 | T4 |
|---|---|---|---|
| Affinage de modèles | Recommandé | ||
| Inférence de grands modèles | Recommandé | Recommandé | |
| Inférence de modèle moyen | Recommandé | Recommandé | |
| Inférence pour petits modèles | Recommandé | Recommandé |
Étapes suivantes
- Consultez un exemple de workflow de développeur pour la création de pipelines utilisant des GPU.
- Découvrez comment exécuter un pipeline Apache Beam sur Dataflow avec des GPU.
- Utilisez le traitement d'images satellite Landsat à l'aide de GPU.