Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cette page fournit des informations générales sur le fonctionnement des GPU avec Dataflow, y compris sur les conditions préalables et les types de GPU compatibles.
L'utilisation de GPU dans les tâches Dataflow vous permet d'accélérer certaines tâches de traitement de données. Les GPU peuvent effectuer certains calculs plus rapidement que les processeurs. Ces calculs sont généralement des algèbres linéaires ou numériques, souvent utilisés dans les cas d'utilisation du traitement d'image et du machine learning. L'ampleur de l'amélioration des performances varie en fonction du cas d'utilisation, du type de calcul et de la quantité de données traitées.
Conditions préalables à l'utilisation de GPU dans Dataflow
Pour utiliser des GPU avec votre tâche Dataflow, vous devez utiliser l'exécuteur v2.
Dataflow exécute le code utilisateur dans des VM de nœud de calcul dans un conteneur Docker.
Ces VM de nœud de calcul exécutent Container-Optimized OS.
Pour que les tâches Dataflow puissent utiliser des GPU, vous devez remplir les conditions préalables suivantes :
Les pilotes de GPU sont installés sur les VM de nœud de calcul et accessibles au conteneur Docker. Pour en savoir plus, consultez la page Installer des pilotes de GPU.
Le tableau suivant fournit des recommandations pour le type de GPU à utiliser pour différentes charges de travail. Les exemples du tableau ne sont que des suggestions. Vous devez les tester dans votre propre environnement pour déterminer le type de GPU approprié pour votre charge de travail.
Pour en savoir plus sur la taille de la mémoire des GPU, la disponibilité des fonctionnalités et les types de charges de travail idéaux pour différents modèles de GPU, consultez le tableau de comparaison général sur la page des plates-formes GPU.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/18 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/08/18 (UTC)."],[[["\u003cp\u003eDataflow jobs using GPUs can accelerate data processing, especially for numeric or linear algebra computations like those in image processing and machine learning.\u003c/p\u003e\n"],["\u003cp\u003eUsing GPUs in Dataflow requires Dataflow Runner v2 and incurs charges detailed on the Dataflow pricing page.\u003c/p\u003e\n"],["\u003cp\u003ePrerequisites for GPU usage include having GPU drivers installed on worker VMs and GPU libraries installed in the custom container image.\u003c/p\u003e\n"],["\u003cp\u003eDataflow supports several NVIDIA GPU types, including L4, A100 (40 GB and 80 GB), Tesla T4, P4, V100, and P100, each suited for different workload sizes and types.\u003c/p\u003e\n"],["\u003cp\u003eThe boot disk size for GPU containers should be increased to at least 50 gigabytes to prevent running out of disk space, due to the large nature of these containers.\u003c/p\u003e\n"]]],[],null,["\u003cbr /\u003e\n\n| **Note:** The following considerations apply to this GA offering:\n|\n| - Jobs that use GPUs incur charges as specified in the Dataflow [pricing page](/dataflow/pricing).\n| - To use GPUs, your Dataflow job must use [Dataflow Runner v2](/dataflow/docs/runner-v2).\n\n\u003cbr /\u003e\n\nThis page provides background information on how GPUs work with\nDataflow, including information about prerequisites and supported\nGPU types.\n\nUsing GPUs in Dataflow jobs lets you accelerate\nsome data processing tasks. GPUs can perform certain computations faster\nthan CPUs. These computations are usually numeric or linear algebra,\noften used in image processing and machine learning use cases. The\nextent of performance improvement varies by the use case, type of computation,\nand amount of data processed.\n\nPrerequisites for using GPUs in Dataflow\n\n\n- To use GPUs with your Dataflow job, you must use Runner v2.\n- Dataflow runs user code in worker VMs inside a Docker container. These worker VMs run [Container-Optimized OS](/container-optimized-os/docs). For Dataflow jobs to use GPUs, you need the following prerequisites:\n - GPU drivers are installed on worker VMs and accessible to the Docker container. For more information, see [Install GPU drivers](/dataflow/docs/gpu/use-gpus#drivers).\n - GPU libraries required by your pipeline, such as [NVIDIA CUDA-X libraries](https://developer.nvidia.com/gpu-accelerated-libraries) or the [NVIDIA CUDA Toolkit](https://developer.nvidia.com/cuda-toolkit), are installed in the custom container image. For more information, see [Configure your container image](/dataflow/docs/gpu/use-gpus#container-image).\n- Because GPU containers are typically large, to avoid [running out of disk space](/dataflow/docs/guides/common-errors#no-space-left), increase the default [boot disk size](/dataflow/docs/reference/pipeline-options#worker-level_options) to 50 gigabytes or more.\n\n\u003cbr /\u003e\n\nPricing\n\nJobs using GPUs incur charges as specified in the Dataflow\n[pricing page](/dataflow/pricing).\n\nAvailability\n\nThe following GPU types are supported with Dataflow:\n\n| GPU type | `worker_accelerator` string |\n|---------------------|-----------------------------|\n| NVIDIA® L4 | `nvidia-l4` |\n| NVIDIA® A100 40 GB | `nvidia-tesla-a100` |\n| NVIDIA® A100 80 GB | `nvidia-a100-80gb` |\n| NVIDIA® Tesla® T4 | `nvidia-tesla-t4` |\n| NVIDIA® Tesla® P4 | `nvidia-tesla-p4` |\n| NVIDIA® Tesla® V100 | `nvidia-tesla-v100` |\n| NVIDIA® Tesla® P100 | `nvidia-tesla-p100` |\n\nFor more information about each GPU type, including performance data, see\n[Compute Engine GPU platforms](/compute/docs/gpus).\n\nFor information about available regions and zones for GPUs, see\n[GPU regions and zones availability](/compute/docs/gpus/gpu-regions-zones)\nin the Compute Engine documentation.\n\nRecommended workloads\n\nThe following table provides recommendations for which type of GPU to use for\ndifferent workloads. The examples in the table are suggestions only, and you\nneed to test in your own environment to determine the appropriate GPU type for\nyour workload.\n\nFor more detailed information about GPU memory size, feature availability, and\nideal workload types for different GPU models, see the\n[General comparison chart](/compute/docs/gpus#general_comparison_chart)\non the GPU platforms page.\n\n| Workload | A100 | L4 | T4 |\n|------------------------|-------------|-------------|-------------|\n| Model fine tuning | Recommended | | |\n| Large model inference | Recommended | Recommended | |\n| Medium model inference | | Recommended | Recommended |\n| Small model inference | | Recommended | Recommended |\n\nWhat's next\n\n- See an example of a [developer workflow for building pipelines that use GPUs](/dataflow/docs/gpu/develop-with-gpus).\n- Learn how to [run an Apache Beam pipeline on Dataflow with GPUs](/dataflow/docs/gpu/use-gpus).\n- Work through [Processing Landsat satellite images with GPUs](/dataflow/docs/samples/satellite-images-gpus)."]]
