NVIDIA GPU 사용

이 페이지에서는 Knative serving 컨테이너 인스턴스에서 컴퓨팅 성능을 위한 NVIDIA 그래픽 처리 장치(GPU) 하드웨어 가속기와 함께 노드 풀을 사용하여 영상 인식 및 자연어 처리와 같은 딥 러닝 작업은 물론 다른 컴퓨팅 집약적인 작업을 수행하는 방법을 설명합니다.

GPU가 포함된 노드 풀을 GKE 클러스터에 추가

관리자에게 GPU가 포함된 노드 풀을 만들도록 합니다.

  1. GKE 클러스터에 GPU 지원 노드 풀을 추가합니다.

  2. NVIDIA의 기기 드라이버를 노드에 설치합니다.

GPU를 사용하도록 서비스 설정

새로운 서비스를 배포하거나 기존 서비스를 업데이트하거나 버전을 배포하는 경우 Google Cloud 콘솔 또는 Google Cloud CLI를 사용하여 서비스의 GPU를 사용하는 리소스의 한도를 지정할 수 있습니다.

콘솔

  1. Knative serving으로 이동

  2. 서비스 만들기를 클릭하여 서비스 만들기 양식을 표시합니다.

  3. 서비스 설정 섹션에서 다음을 수행합니다.

    1. GPU 지원 노드 풀이 포함된 GKE 클러스터를 선택합니다.
    2. 서비스에 부여할 이름을 지정합니다.
    3. 다음을 클릭하여 다음 섹션으로 진행합니다.

  4. 서비스의 첫 번째 버전 구성 섹션에서 다음을 수행합니다.

    이미지

    1. 컨테이너 이미지 URL을 추가합니다.
    2. 고급 설정을 클릭하고 할당된 GPU 메뉴에서 서비스에 할당할 GPU 수를 선택합니다. 이미지

  5. 다음을 클릭하여 다음 섹션으로 진행합니다.

  6. 이 서비스가 트리거되는 방식 구성 섹션에서 서비스를 호출하는 데 사용할 연결을 선택합니다.

  7. 만들기를 클릭하여 Knative serving에 이미지를 배포하고 배포가 완료될 때까지 기다립니다.

명령줄

--format=export 플래그를 사용하여 gcloud run services describe 명령어로 YAML 파일에 기존 서비스 구성을 다운로드할 수 있습니다. 그런 다음 gcloud run services replace 명령어로 YAML 파일을 수정하고 변경사항을 배포할 수 있습니다. 지정된 속성만 수정해야 합니다.

  1. 서비스 구성을 로컬 작업공간의 service.yaml 파일에 다운로드합니다.

    gcloud run services describe SERVICE --format export > service.yaml

    SERVICE를 Knative serving 서비스의 이름으로 바꿉니다.

  2. 로컬 파일에서 nvidia.com/gpu 속성을 업데이트합니다.

    apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: SERVICE_NAME
spec:
template:
 spec:
   containers:
   – image: IMAGE_URL
     resources:
       limits:
        nvidia.com/gpu: "GPU_UNITS"

    GPU_UNITS를 Kubernetes GPU 단위의 원하는 GPU 값으로 바꿉니다. 예를 들어 GPU 1개에는 1를 지정합니다.

  3. 다음 명령어를 실행하여 YAML 파일을 배포하고 서비스를 새 구성으로 바꿉니다. 

    gcloud run services replace service.yaml

GPU 성능 및 비용에 대한 자세한 내용은 GPU를 참조하세요.