Esta página fornece informações gerais sobre como as GPUs funcionam com o Dataflow, incluindo informações sobre pré-requisitos e tipos de GPUs suportados.
A utilização de GPUs em tarefas do Dataflow permite-lhe acelerar algumas tarefas de processamento de dados. As GPUs podem realizar determinados cálculos mais rapidamente do que as CPUs. Estes cálculos são normalmente numéricos ou de álgebra linear, usados frequentemente em exemplos de utilização de processamento de imagens e aprendizagem automática. A extensão da melhoria do desempenho varia consoante o exemplo de utilização, o tipo de cálculo e a quantidade de dados processados.
Pré-requisitos para usar GPUs no Dataflow
- Para usar GPUs com a sua tarefa do Dataflow, tem de usar o Runner v2.
- O Dataflow executa o código do utilizador em VMs de trabalho dentro de um contentor Docker.
Estas VMs de trabalho executam o SO otimizado para contentores.
Para que as tarefas do Dataflow usem GPUs, precisa dos seguintes pré-requisitos:
- Os controladores de GPU estão instalados nas VMs de trabalho e acessíveis ao contentor do Docker. Para mais informações, consulte o artigo Instale controladores de GPU.
- As bibliotecas de GPU necessárias para o seu pipeline, como as bibliotecas NVIDIA CUDA-X ou o NVIDIA CUDA Toolkit, estão instaladas na imagem do contentor personalizado. Para mais informações, consulte o artigo Configure a imagem do contentor.
- Uma vez que os contentores de GPU são normalmente grandes, para evitar ficar sem espaço em disco, aumente o tamanho do disco de arranque predefinido para 50 gigabytes ou mais.
Preços
As tarefas que usam GPUs incorrem em custos, conforme especificado na página de preços do Dataflow.
Disponibilidade
Os seguintes tipos de GPUs são suportados com o Dataflow:
| Tipo de GPU | worker_accelerator string |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
Para mais informações sobre cada tipo de GPU, incluindo dados de desempenho, consulte o artigo Plataformas de GPU do Compute Engine.
Para obter informações sobre as regiões e as zonas disponíveis para GPUs, consulte o artigo Disponibilidade de regiões e zonas de GPUs na documentação do Compute Engine.
Cargas de trabalho recomendadas
A tabela seguinte apresenta recomendações sobre o tipo de GPU a usar para diferentes cargas de trabalho. Os exemplos na tabela são apenas sugestões e tem de fazer testes no seu próprio ambiente para determinar o tipo de GPU adequado à sua carga de trabalho.
Para informações mais detalhadas sobre o tamanho da memória da GPU, a disponibilidade de funcionalidades e os tipos de cargas de trabalho ideais para diferentes modelos de GPU, consulte o gráfico de comparação geral na página de plataformas de GPU.
| Carga de trabalho | A100 e H100 | L4 | T4 |
|---|---|---|---|
| Ajuste do modelo | Recomendado | ||
| Inferência de modelos grandes | Recomendado | Recomendado | |
| Inferência do modelo médio | Recomendado | Recomendado | |
| Inferência de modelos pequenos | Recomendado | Recomendado |
O que se segue?
- Veja um exemplo de um fluxo de trabalho do programador para criar pipelines que usam GPUs.
- Saiba como executar um pipeline do Apache Beam no Dataflow com GPUs.
- Trabalhe com o artigo Processar imagens de satélite Landsat com GPUs.