Utilizza il tipo di GPU NVIDIA® L4

La pagina spiega come eseguire la pipeline Dataflow con il tipo di GPU NVIDIA® L4. Il tipo di GPU L4 è utile per eseguire pipeline di inferenza di machine learning.

Requisiti

  • Utilizza la versione 2.46 o successiva dell'SDK Apache Beam. Apache Beam 2.50 o in un secondo momento.
  • Devi disporre di una quota GPU L4 (NVIDIA_L4_GPUS) nella regione in cui viene eseguito il job. Per ulteriori informazioni, consulta Quote GPU.
  • Il tipo di GPU L4 è disponibile solo con il tipo di macchina ottimizzato per l'acceleratore G2. Per ulteriori informazioni, consulta la serie di macchine G2. Le pipeline che usano il tipo di GPU L4 sono soggette alle Limitazioni dello standard G2.
  • Il tipo di GPU NVIDIA L4 utilizza il driver NVIDIA versione 525.0 o successive e il toolkit CUDA versione 12.0 o successive. Qualsiasi codice che utilizzi nella pipeline deve essere compatibile con la versione del driver NVIDIA e con la versione del toolkit CUDA. Ad esempio, se utilizzi PyTorch, devi utilizzare la versione 23.01 o successive.

Esegui le pipeline con il tipo di GPU NVIDIA® L4

Per utilizzare il tipo di GPU NVIDIA L4, devi includere quanto segue opzioni della pipeline e opzioni di servizio nel codice della pipeline.

Java 

--workerMachineType=G2_MACHINE_TYPE
--dataflowServiceOptions="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Python 

--machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Vai 

--worker_machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Sostituisci i seguenti valori:

  • G2_MACHINE_TYPE: il Tipo di macchina G2 per utilizzare
  • GPU_COUNT: il numero di GPU da utilizzare. Ogni tipo di macchina G2 ha un numero fisso di GPU NVIDIA L4. Per trovare il numero corretto di GPU per il tuo tipo di macchina, consulta la colonna Numero di GPU nella tabella Tipi di macchine G2 standard.

Per ulteriori informazioni sull'esecuzione di pipeline con GPU, consulta Eseguire una pipeline con GPU.

Gestisci dipendenze

Per gestire le dipendenze, utilizza un contenitore personalizzato. Per ulteriori informazioni, vedi Utilizzare i container personalizzati in Dataflow.

Il seguente esempio di Dockerfile contiene file compatibili per una pipeline che usa il tipo di GPU NVIDIA L4.

RUN apt-get -y update
RUN apt-get install [system packages]

# Install the SDK.
RUN pip install --no-cache-dir apache-beam[gcp]==2.51.0
# Install the machine learning dependencies.
RUN pip install --no-cache-dir tensorflow[and-cuda]
RUN pip install xgboost
RUN pip install transformers accelerate
(etc…..)
# Verify that the image doesn't have conflicting dependencies.
RUN pip check

# Copy files from official SDK image, including the script and dependencies.
COPY --from=apache/beam_python3.10_sdk:2.51.0 /opt/apache/beam /opt/apache/beam

# Set the entrypoint to Apache Beam SDK launcher.
ENTRYPOINT ["/opt/apache/beam/boot"]

Passaggi successivi