Utilizza il tipo di GPU NVIDIA® L4

La pagina spiega come eseguire la pipeline Dataflow con il tipo di GPU NVIDIA® L4. Il tipo di GPU L4 è utile per eseguire pipeline di inferenza di machine learning.

Requisiti

  • Utilizza l'SDK Apache Beam versione 2.46 o successive. Si consiglia Apache Beam 2.50 o versioni successive.
  • Hai bisogno di una quota GPU L4 (NVIDIA_L4_GPUS) nella regione in cui viene eseguito il job. Per ulteriori informazioni, consulta la sezione Quote per le GPU.
  • Il tipo di GPU L4 è disponibile solo con il tipo di macchina ottimizzata per l'acceleratore G2. Per ulteriori informazioni, consulta La serie di macchine G2. Le pipeline che utilizzano il tipo di GPU L4 sono soggette alle limitazioni dello standard G2.
  • Il tipo di GPU NVIDIA L4 utilizza il driver NVIDIA versione 525.0 o successive e il toolkit CUDA versione 12.0 o successive. Qualsiasi codice che utilizzi nella pipeline deve essere compatibile con la versione del driver NVIDIA e la versione del toolkit CUDA. Ad esempio, se utilizzi PyTorch, devi utilizzare PyTorch versione 23.01 o successive.

Esegui le pipeline con il tipo di GPU NVIDIA® L4

Per utilizzare il tipo di GPU NVIDIA L4, devi includere le seguenti opzioni della pipeline e opzioni di servizio nel codice della pipeline.

Java 

--workerMachineType=G2_MACHINE_TYPE
--dataflowServiceOptions="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Python 

--machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Go 

--worker_machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Sostituisci i seguenti valori:

  • G2_MACHINE_TYPE: il tipo di macchina G2 da utilizzare
  • GPU_COUNT: il numero di GPU da utilizzare. Ogni tipo di macchina G2 ha un numero fisso di GPU NVIDIA L4. Per trovare il numero corretto di GPU per il tuo tipo di macchina, consulta la colonna Conteggio GPU nella tabella Tipi di macchine standard G2.

Per ulteriori informazioni sull'esecuzione di pipeline con GPU, consulta Esecuzione di una pipeline con GPU.

Gestisci le dipendenze

Per gestire le dipendenze, utilizza un container personalizzato. Per ulteriori informazioni, consulta Utilizzare container personalizzati in Dataflow.

Il seguente esempio di Dockerfile contiene dipendenze compatibili per una pipeline che utilizza il tipo di GPU NVIDIA L4.

RUN apt-get -y update
RUN apt-get install [system packages]

# Install the SDK.
RUN pip install --no-cache-dir apache-beam[gcp]==2.51.0
# Install the machine learning dependencies.
RUN pip install --no-cache-dir tensorflow[and-cuda]
RUN pip install xgboost
RUN pip install transformers accelerate
(etc…..)
# Verify that the image doesn't have conflicting dependencies.
RUN pip check

# Copy files from official SDK image, including the script and dependencies.
COPY --from=apache/beam_python3.10_sdk:2.51.0 /opt/apache/beam /opt/apache/beam

# Set the entrypoint to Apache Beam SDK launcher.
ENTRYPOINT ["/opt/apache/beam/boot"]

Passaggi successivi