이 페이지에서는 기본 요건 및 지원되는 GPU 유형에 대한 정보를 포함하여 Dataflow의 GPU 작동 방식에 대한 배경 정보를 제공합니다.
Dataflow 작업에서 GPU를 사용하면 일부 데이터 처리 작업을 가속화할 수 있습니다. GPU는 특정 연산을 CPU보다 더 빠르게 수행할 수 있습니다. 이러한 연산은 일반적으로 수치 계산 또는 선형 대수이며 이미지 처리 및 머신러닝에 주로 사용됩니다. 성능 향상의 정도는 사용 사례, 계산 유형, 처리된 데이터 양에 따라 다릅니다.
Dataflow에서 GPU를 사용하기 위한 기본 요건
- Dataflow 작업에서 GPU를 사용하려면 Runner v2를 사용해야 합니다.
- Dataflow는 Docker 컨테이너 내부의 작업자 VM에서 사용자 코드를 실행합니다.
이러한 작업자 VM은 컨테이너 최적화 OS를 실행합니다.
Dataflow 작업에서 GPU를 사용하려면 다음 기본 요건이 충족되어야 합니다.
- GPU 드라이버는 작업자 VM에 설치되며 Docker 컨테이너에 액세스할 수 있습니다. 자세한 내용은 GPU 드라이버 설치를 참조하세요.
- 파이프라인에 필요한 GPU 라이브러리(NVIDIA CUDA-X 라이브러리 또는 NVIDIA CUDA Toolkit)는 커스텀 컨테이너 이미지에 설치됩니다. 자세한 내용은 컨테이너 이미지 구성을 참조하세요.
- GPU 컨테이너가 일반적으로 크기 때문에 디스크 공간 부족을 방지하기 위해 기본 부팅 디스크 크기를 50GB 이상으로 늘립니다.
가격 책정
GPU를 사용하는 작업에는 Dataflow 가격 책정 페이지에 명시된 대로 요금이 청구됩니다.
사용 가능 여부
Dataflow에서 지원되는 GPU 유형은 다음과 같습니다.
| GPU 유형 | worker_accelerator 문자열 |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® Tesla® K80 | nvidia-tesla-k80 |
성능 데이터를 포함한 각 GPU 유형에 대한 자세한 내용은 Compute Engine GPU 플랫폼을 참조하세요.
GPU에 사용할 수 있는 리전과 영역은 Compute Engine 문서의 GPU 리전 및 영역 가용성을 참조하세요.
다음 단계
- GPU를 사용하는 파이프라인 빌드를 위한 개발자 워크플로의 예시를 참조하세요.
- GPU를 사용하여 Dataflow에서 Apache Beam 파이프라인을 실행하는 방법에 대해 자세히 알아보세요.
- GPU를 사용한 Landsat 위성 이미지 처리를 살펴보세요.