Questa pagina fornisce informazioni di base sul funzionamento delle GPU con Dataflow, comprese informazioni sui prerequisiti e sui tipi di GPU supportati.
L'utilizzo delle GPU nei job Dataflow consente di accelerare alcune attività di elaborazione dati. Le GPU possono eseguire alcuni calcoli più velocemente delle CPU. Questi calcoli sono di solito algebra numerici o lineari, spesso utilizzati nei casi d'uso di elaborazione di immagini e machine learning. L'entità del miglioramento delle prestazioni varia in base al caso d'uso, al tipo di calcolo e alla quantità di dati elaborati.
Prerequisiti per l'utilizzo delle GPU in Dataflow
- Per utilizzare le GPU con il job Dataflow, devi utilizzare Runner v2.
- Dataflow esegue il codice utente nelle VM worker all'interno di un container Docker.
Queste VM worker eseguono Container-Optimized OS.
Affinché i job Dataflow possano utilizzare le GPU, sono necessari i seguenti prerequisiti:
- I driver GPU sono installati sulle VM worker e accessibili al container Docker. Per maggiori informazioni, consulta Installare i driver GPU.
- Le librerie GPU richieste dalla tua pipeline, come le librerie NVIDIA CUDA-X o NVIDIA CUDA Toolkit, vengono installate nell'immagine container personalizzata. Per maggiori informazioni, consulta Configurare l'immagine container.
- Poiché i container GPU sono in genere di grandi dimensioni, per evitare di esaurire lo spazio su disco, aumenta la dimensione del disco di avvio predefinita a 50 gigabyte o più.
Prezzi
I job che utilizzano GPU sono soggetti agli addebiti specificati nella pagina dei prezzi di Dataflow.
Disponibilità
Con Dataflow sono supportati i seguenti tipi di GPU:
| Tipo di GPU | Stringa worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 da 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 da 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® Tesla® K80 | nvidia-tesla-k80 |
Per ulteriori informazioni su ciascun tipo di GPU, inclusi i dati sulle prestazioni, consulta Piattaforme GPU di Compute Engine.
Per informazioni sulle regioni e sulle zone disponibili per le GPU, consulta la sezione sulla disponibilità delle regioni e delle zone delle GPU nella documentazione di Compute Engine.
Passaggi successivi
- Consulta un esempio di flusso di lavoro degli sviluppatori per la creazione di pipeline che utilizzano GPU.
- Scopri come eseguire una pipeline Apache Beam su Dataflow con GPU.
- Scopri di più sull'elaborazione delle immagini satellitari Landsat con GPU.