Questa pagina fornisce informazioni di base sul funzionamento delle GPU Dataflow, incluse informazioni sui prerequisiti e supporto Tipi di GPU.
L'utilizzo delle GPU nei job Dataflow ti consente di accelerare alcune attività di elaborazione dei dati. Le GPU possono eseguire determinati calcoli più velocemente delle CPU. Questi calcoli sono in genere di algebra numerica o lineare, spesso utilizzati nei casi d'uso di elaborazione delle immagini e machine learning. La l'estensione del miglioramento delle prestazioni varia in base a caso d'uso, tipo di calcolo e la quantità di dati elaborati.
Prerequisiti per l'utilizzo delle GPU in Dataflow
- Per utilizzare le GPU con il tuo job Dataflow, devi utilizzare Runner v2.
- Dataflow esegue il codice utente nelle VM worker all'interno di un contenitore Docker.
Queste VM worker eseguono Container-Optimized OS.
Affinché i job Dataflow utilizzino le GPU, sono necessari i seguenti prerequisiti:
- I driver GPU vengono installati sulle VM worker e sono accessibili al Docker containerizzato. Per ulteriori informazioni, consulta Installare i driver GPU.
- Le librerie GPU richieste dalla pipeline, ad esempio le librerie NVIDIA CUDA-X o il toolkit NVIDIA CUDA, vengono installate nell'immagine del contenitore personalizzato. Per ulteriori informazioni, consulta Configurare l'immagine del contenitore.
- Poiché i contenitori GPU sono in genere di grandi dimensioni, per evitare di esaurire lo spazio su disco, aumenta le dimensioni del disco di avvio predefinite a 50 gigabyte o più.
Prezzi
I job che utilizzano GPU sono soggetti ad addebiti come specificato in Dataflow pagina dei prezzi.
Disponibilità
Con Dataflow sono supportati i seguenti tipi di GPU:
| Tipo di GPU | Stringa worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 da 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 da 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
Per ulteriori informazioni su ogni tipo di GPU, inclusi i dati sulle prestazioni, consulta Piattaforme GPU di Compute Engine.
Per informazioni sulle regioni e sulle zone disponibili per le GPU, consulta Disponibilità di regioni e zone GPU nella documentazione di Compute Engine.
Carichi di lavoro consigliati
La seguente tabella fornisce suggerimenti sul tipo di GPU da utilizzare per diversi carichi di lavoro. Gli esempi nella tabella sono solo suggerimenti e devi eseguire il test nel tuo ambiente per determinare il tipo di GPU appropriato per il tuo carico di lavoro.
Per informazioni più dettagliate sulle dimensioni della memoria GPU, sulla disponibilità delle funzionalità e sui tipi di carichi di lavoro ideali per i diversi modelli di GPU, consulta la tabella di confronto generale nella pagina delle piattaforme GPU.
| Carico di lavoro | A100 | L4 | T4 |
|---|---|---|---|
| Ottimizzazione del modello | Consigliato | ||
| Inferenza del modello di grandi dimensioni | Consigliato | Consigliato | |
| Inferenza del modello medio | Consigliato | Consigliato | |
| Inferenza di modelli di piccole dimensioni | Consigliato | Consigliato |
Passaggi successivi
- Guarda un esempio di per la creazione di pipeline che utilizzano GPU.
- Scopri come eseguire una pipeline Apache Beam su Dataflow con GPU.
- Risolvi Elaborazione delle immagini satellitari Landsat con GPU.