NVIDIA® L4 GPU 유형 사용

이 페이지에서는 NVIDIA® L4 GPU 유형으로 Dataflow 파이프라인을 실행하는 방법을 설명합니다. L4 GPU 유형은 머신러닝 추론 파이프라인을 실행하는 데 유용합니다.

요구사항

  • Apache Beam SDK 버전 2.46 이상을 사용합니다. Apache Beam 2.50 이상을 사용하는 것이 좋습니다.
  • 작업이 실행되는 리전에 L4 GPU 할당량(NVIDIA_L4_GPUS)이 필요합니다. 자세한 내용은 GPU 할당량을 참고하세요.
  • L4 GPU 유형은 G2 가속기 최적화 머신 유형에서만 사용할 수 있습니다. 자세한 내용은 G2 머신 시리즈를 참조하세요. L4 GPU 유형을 사용하는 파이프라인에는 G2 표준 제한사항이 적용됩니다.
  • NVIDIA L4 GPU 유형에는 NVIDIA 드라이버 버전 525.0 이상 및 CUDA 툴킷 버전 12.0 이상이 사용됩니다. 파이프라인에서 사용하는 모든 코드는 NVIDIA 드라이버 버전 및 CUDA 툴킷 버전과 호환되어야 합니다. 예를 들어 PyTorch를 사용하는 경우 PyTorch 버전 23.01 이상을 사용해야 합니다.

NVIDIA® L4 GPU 유형으로 파이프라인 실행

NVIDIA L4 GPU 유형을 사용하려면 다음 파이프라인 옵션 및 서비스 옵션을 파이프라인 코드에 포함해야 합니다.

자바

--workerMachineType=G2_MACHINE_TYPE
--dataflowServiceOptions="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Python 

--machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Go

--worker_machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

다음 값을 바꿉니다.

  • G2_MACHINE_TYPE: 사용할 G2 머신 유형입니다.
  • GPU_COUNT: 사용할 GPU 수입니다. 각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU가 있습니다. 머신 유형에 적합한 GPU 개수를 찾으려면 G2 표준 머신 유형 표의 GPU 개수 열을 참조하세요.

GPU를 사용한 파이프라인 실행에 대한 자세한 내용은 GPU로 파이프라인 실행을 참조하세요.

종속 항목 관리

종속 항목을 관리하려면 커스텀 컨테이너를 사용합니다. 자세한 내용은 Dataflow에서 커스텀 컨테이너 사용을 참조하세요.

다음 Dockerfile 예시에는 NVIDIA L4 GPU 유형을 사용하는 파이프라인에 대해 호환되는 종속 항목이 포함되어 있습니다.

RUN apt-get -y update
RUN apt-get install [system packages]

# Install the SDK.
RUN pip install --no-cache-dir apache-beam[gcp]==2.51.0
# Install the machine learning dependencies.
RUN pip install --no-cache-dir tensorflow[and-cuda]
RUN pip install xgboost
RUN pip install transformers accelerate
(etc…..)
# Verify that the image doesn't have conflicting dependencies.
RUN pip check

# Copy files from official SDK image, including the script and dependencies.
COPY --from=apache/beam_python3.10_sdk:2.51.0 /opt/apache/beam /opt/apache/beam

# Set the entrypoint to Apache Beam SDK launcher.
ENTRYPOINT ["/opt/apache/beam/boot"]

다음 단계