Compatibilité de Dataflow avec les GPU

Cette page fournit des informations générales sur le fonctionnement des GPU avec Dataflow, y compris sur les conditions préalables et les types de GPU compatibles.

L'utilisation de GPU dans les tâches Dataflow vous permet d'accélérer certaines tâches de traitement de données. Les GPU peuvent effectuer certains calculs plus rapidement que les processeurs. Ces calculs sont généralement des algèbres linéaires ou numériques, souvent utilisés dans les cas d'utilisation du traitement d'image et du machine learning. L'ampleur de l'amélioration des performances varie en fonction du cas d'utilisation, du type de calcul et de la quantité de données traitées.

Conditions préalables à l'utilisation de GPU dans Dataflow

  • Pour utiliser des GPU avec votre tâche Dataflow, vous devez utiliser l'exécuteur v2.
  • Dataflow exécute le code utilisateur dans des VM de nœud de calcul dans un conteneur Docker. Ces VM de nœud de calcul exécutent Container-Optimized OS. Pour que les tâches Dataflow puissent utiliser des GPU, vous devez remplir les conditions préalables suivantes :
  • Les conteneurs de GPU étant généralement volumineux, pour éviter de manquer d'espace disque, augmentez la taille du disque de démarrage par défaut à 50 gigaoctets ou plus.

Tarifs

Les tâches utilisant des GPU sont facturées comme indiqué sur la page des tarifs de Dataflow.

Disponibilité

Les types de GPU suivants sont compatibles avec Dataflow :

Type de GPU Chaîne worker_accelerator
NVIDIA® L4 nvidia-l4
NVIDIA® A100 40 Go nvidia-tesla-a100
NVIDIA® A100 80 GB nvidia-a100-80gb
NVIDIA® Tesla® T4 nvidia-tesla-t4
NVIDIA® Tesla® P4 nvidia-tesla-p4
NVIDIA® Tesla® V100 nvidia-tesla-v100
NVIDIA® Tesla® P100 nvidia-tesla-p100

Pour en savoir plus sur chaque type de GPU, y compris sur les données de performance, consultez la page Plates-formes GPU disponibles sur Compute Engine.

Pour en savoir plus sur les régions et les zones disponibles pour les GPU, consultez la page Disponibilité des GPU dans les régions et zones de la documentation Compute Engine.

Charges de travail recommandées

Le tableau suivant fournit des recommandations pour le type de GPU à utiliser pour différentes charges de travail. Les exemples du tableau ne sont que des suggestions. Vous devez les tester dans votre propre environnement pour déterminer le type de GPU approprié pour votre charge de travail.

Pour en savoir plus sur la taille de la mémoire des GPU, la disponibilité des fonctionnalités et les types de charges de travail idéaux pour différents modèles de GPU, consultez le tableau de comparaison général sur la page des plates-formes GPU.

Charge de travail A100 L4 T4
Affinage de modèles Recommandé
Inférence de grands modèles Recommandé Recommandé
Inférence de modèle moyen Recommandé Recommandé
Inférence pour petits modèles Recommandé Recommandé

Étapes suivantes