GPU 추가 또는 삭제


Compute Engine은 가상 머신 인스턴스(VM)에 추가할 수 있는 그래픽 처리 장치(GPU)를 제공합니다. 이 GPU를 사용하여 VM에서 머신러닝 및 데이터 처리와 같은 특정 워크로드를 가속화할 수 있습니다.

VM을 생성하는 동안 GPU를 연결하지 않았더라도 애플리케이션에 필요해지면 기존 VM에 GPU를 추가할 수 있습니다.

VM 생성 중에 또는 이후에 GPU를 연결했으나 더 이상은 필요하지 않다면 해당 VM에서 GPU를 분리하면 됩니다.

개요

기존 VM에서 GPU를 추가하거나 삭제하는 프로세스를 요약하자면 다음과 같습니다.

  1. 수정할 VM을 준비합니다.
  2. VM을 중지합니다.
  3. GPU를 추가하거나 삭제합니다.
  4. GPU를 추가하는 경우 다음 단계를 완료해야 합니다.

시작하기 전에

GPU 할당량 확인

Compute Engine 시스템과 사용자를 보호하기 위해 새 프로젝트에는 지원되는 모든 영역에서 생성할 수 있는 총 GPU 수를 제한하는 글로벌 GPU 할당량이 적용됩니다.

regions describe 명령어를 사용하여 GPU가 있는 VM을 만들려는 리전에서 GPU 할당량이 충분한지 확인할 수 있습니다.

gcloud compute regions describe REGION

REGION을 GPU 할당량을 확인하려는 리전으로 바꿉니다.

추가 GPU 할당량이 필요한 경우 할당량 상향 조정을 요청합니다. GPU 할당량을 요청할 때는 각 리전에서 만들려는 GPU 유형에 대한 할당량을 요청하고 모든 영역의 모든 유형의 GPU 총 수량에 대한 추가 전역 할당량을 요청해야 합니다.

프로젝트에 기존 결제 내역이 있는 경우에는 요청을 제출하면 할당량이 자동으로 배정됩니다.

VM 준비

VM에 GPU가 추가되면 네트워크 인터페이스 순서가 변경될 수 있습니다.

Compute Engine의 공개 이미지는 대부분 영구적인 네트워크 인터페이스 이름이 없으며 새로운 순서로 조정됩니다.

하지만 SLES 또는 커스텀 이미지를 사용할 경우에는 네트워크 인터페이스가 유지되지 않도록 시스템 설정을 업데이트해야 합니다. 네트워크 인터페이스가 유지되지 않도록 하려면 VM에서 다음 명령어를 실행합니다.

 rm /etc/udev/rules.d/70-persistent-net.rules 

기존 VM에 GPU 추가

Google Cloud Console 또는 API를 사용하여 기존 VM에 GPU를 추가할 수 있습니다.

기존 VM에 GPU 추가(A100 GPU)

이 섹션에서는 기존 VM에 NVIDIA® A100 GPU를 추가하는 방법을 설명합니다.

Console

VM을 중지하고 VM 구성을 수정하여 GPU를 VM에 추가할 수 있습니다.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud Console에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. GPU를 추가할 VM의 이름을 클릭합니다. VM 인스턴스 세부정보 페이지가 열립니다.

  4. VM 인스턴스 세부정보 페이지에서 다음 단계를 완료합니다.

    1. 중지를 클릭하여 VM을 중지합니다. 알림 패널에서 인스턴스가 언제 중지되었는지 확인할 수 있습니다.
    2. 중지된 VM에서 수정을 클릭하여 VM 속성을 변경합니다.
    3. 머신 구성에서 다음 단계를 완료합니다.

      1. 머신 계열에서 GPU를 클릭합니다.
      2. 계열에서 A2를 선택합니다.
      3. 머신 유형에서 원하는 A2 머신 유형을 선택합니다.

        머신 구성

      4. CPU 플랫폼 및 GPU 섹션을 펼칩니다.

        GPU 구성

      5. CPU 플랫폼 및 GPU에서 GPU 유형GPU 수를 검토합니다.

    4. 호스트 유지보수 시 섹션으로 스크롤합니다. VM에 GPU를 추가하면 호스트 유지보수 설정이 자동으로 VM 인스턴스 종료로 설정됩니다. GPU 호스트 유지보수 이벤트 처리를 참조하세요.

    5. 저장을 클릭하여 변경사항을 적용합니다.

    6. 시작/재개를 클릭하여 VM을 다시 시작합니다.

API

VM을 중지하고 VM 구성을 변경하여 VM을 GPU에 추가할 수 있습니다.

  1. VM에서 중요 애플리케이션을 모두 중지했는지 확인한 후 이 VM을 GPU 사용이 가능한 호스트 시스템으로 이전할 수 있도록 VM을 중지하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: 중지할 VM의 이름입니다. 이 VM에 GPU를 연결하게 됩니다.
    • ZONE: VM이 있는 영역입니다. 이 영역은 A100 GPU를 지원해야 합니다.
  2. VM이 중지되면 머신 유형을 변경하는 POST 요청을 작성합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType
    
    {
       machineType: "zones/us-central1-f/machineTypes/MACHINE_TYPE"
    }
    
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • ZONE: VM의 영역입니다.
    • VM_NAME: VM의 이름입니다.
    • MACHINE_TYPE: A2 머신 유형을 입력합니다.
  3. VM의 예약 옵션을 설정하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling
    
    {
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": true
    }
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: GPU를 추가할 VM의 이름입니다.
    • ZONE: VM이 있는 영역입니다.
  4. VM을 시작합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: GPU를 추가할 VM의 이름입니다.
    • ZONE: VM이 있는 영역입니다.

다음: 시스템에서 기기를 사용할 수 있도록 VM에 GPU 드라이버를 설치합니다.

기존 VM에 GPU 추가(기타 GPU 유형)

이 섹션에서는 기존 VM에 다음 GPU 유형을 추가하는 방법을 설명합니다.

  • NVIDIA® T4: nvidia-tesla-t4
  • NVIDIA® T4 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-t4-vws
  • NVIDIA® V100: nvidia-tesla-v100
  • NVIDIA® P100: nvidia-tesla-p100.
  • NVIDIA® P100 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-p100-vws
  • NVIDIA® P4: nvidia-tesla-p4
  • NVIDIA® P4 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-p4-vws
  • NVIDIA® K80: nvidia-tesla-k80

Console

VM을 중지하고 VM 구성을 수정하여 VM에서 GPU를 추가하거나 삭제할 수 있습니다.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud Console에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. GPU를 추가할 VM의 이름을 클릭합니다. VM 인스턴스 세부정보 페이지가 열립니다.

  4. VM 인스턴스 세부정보 페이지에서 다음 단계를 완료합니다.

    1. 중지를 클릭하여 VM을 중지합니다. 알림 패널에서 인스턴스가 언제 중지되었는지 확인할 수 있습니다.

    2. 중지된 VM에서 수정을 클릭하고 다음 단계를 완료합니다.

    3. 머신 구성 섹션에서 다음 단계를 완료합니다.

      1. 계열에서 N1을 선택합니다.
      2. 머신 유형에서 원하는 N1 머신 유형을 선택합니다.
      3. CPU 플랫폼 및 GPU 섹션을 펼칩니다.
      4. GPU 추가를 클릭합니다.

        머신 구성 섹션.

      5. GPU 유형GPU 수를 지정합니다.
      6. GPU 모델에서 가상 워크스테이션이 지원되고 이 VM에서 그래픽 집중 워크로드를 실행하려는 경우에는 가상 워크스테이션 사용 설정(NVIDIA GRID)을 선택합니다.

        NVIDIA® GRID 가상 워크스테이션에 대한 자세한 내용은 그래픽 워크로드를 위한 NVIDIA® GRID® GPU를 참조하세요.

        GPU 구성

    4. 호스트 유지보수 시 섹션으로 스크롤합니다. VM에 GPU를 추가하면 호스트 유지보수 설정이 자동으로 VM 인스턴스 종료로 설정됩니다. GPU 호스트 유지보수 이벤트 처리를 참조하세요.

    5. 저장을 클릭하여 변경사항을 적용합니다.

    6. 시작/재개를 클릭하여 VM을 다시 시작합니다.

API

API를 통해 VM을 중지하고 VM 구성을 변경하여 VM에 GPU를 추가할 수 있습니다.

  1. VM에서 중요 애플리케이션을 모두 중지했는지 확인한 후 이 VM을 GPU 사용이 가능한 호스트 시스템으로 이전할 수 있도록 VM을 중지하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: 중지할 VM의 이름입니다. 이 VM에 GPU를 연결하게 됩니다.
    • ZONE: VM이 있는 영역입니다.
  2. VM에 추가하려는 GPU 유형을 식별합니다. GET 요청을 제출하여 특정 영역에서 프로젝트에 사용할 수 있는 GPU 유형을 나열합니다.

    GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • ZONE: 사용할 수 있는 GPU 유형을 표시할 영역입니다.
  3. VM에 공유 코어 머신 유형이 있으면 vCPU를 하나 이상 포함하도록 머신 유형을 변경해야 합니다. 공유 코어 머신 유형이 있는 VM에는 가속기를 추가할 수 없습니다.

  4. VM이 중지되면 VM에 GPU를 하나 이상 추가하는 POST 요청을 작성합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources
    
        {
         "guestAccelerators": [
          {
            "acceleratorCount": ACCELERATOR_COUNT,
            "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
          }
         ]
        }
    

    다음을 바꿉니다.

    • VM_NAME: VM의 이름입니다.
    • PROJECT_ID: 프로젝트 ID입니다.
    • ZONE: VM의 영역입니다.
    • ACCELERATOR_COUNT: VM에 연결할 GPU 수입니다. VM의 머신 유형에 따른 GPU 한도 목록은 Compute Engine의 GPU를 참조하세요.
    • ACCELERATOR_TYPE: 사용하려는 GPU 모델입니다. 이 VM에서 그래픽 집중 워크로드를 실행하려는 경우 가상 워크스테이션 모델 중 하나를 사용합니다.

      다음 값 중 하나를 선택합니다.

      • NVIDIA® T4: nvidia-tesla-t4
      • NVIDIA® T4 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-t4-vws
      • NVIDIA® P4: nvidia-tesla-p4
      • NVIDIA® P4 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-p4-vws
      • NVIDIA® P100: nvidia-tesla-p100
      • NVIDIA® P100 Virtual Workstation 및 NVIDIA® GRID®: nvidia-tesla-p100-vws
      • NVIDIA® V100: nvidia-tesla-v100
      • NVIDIA® K80: nvidia-tesla-k80
  5. VM의 예약 옵션을 설정하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling
    
    {
    "onHostMaintenance": "TERMINATE",
    "automaticRestart": true
    }
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: GPU를 추가할 VM의 이름입니다.
    • ZONE: VM이 있는 영역입니다.
  6. VM을 시작합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start
    

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: GPU를 추가할 VM의 이름입니다.
    • ZONE: VM이 있는 영역입니다.

다음: 시스템에서 GPU를 사용할 수 있는지 확인하려면 다음 단계를 완료합니다.

GPU 삭제 또는 수정

Google Cloud Console을 사용하여 기존 VM에서 GPU를 삭제하거나 연결된 GPU 수 또는 유형을 수정할 수 있습니다. GPU를 삭제하거나 수정하려면 다음 단계를 완료하세요.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud Console에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. GPU를 삭제하거나 수정하려는 VM의 이름을 클릭합니다. VM 인스턴스 세부정보 페이지가 열립니다.

  4. VM 인스턴스 세부정보 페이지에서 다음 단계를 완료합니다.

    1. 중지를 클릭하여 VM을 중지합니다. 알림 패널에서 인스턴스가 언제 중지되었는지 확인할 수 있습니다.
    2. 중지된 VM에서 수정을 클릭합니다.
    3. 머신 구성에서 CPU 플랫폼 및 GPU 섹션을 펼칩니다.
    4. 다음과 같이 GPU를 삭제하거나 수정합니다.
      • GPU를 수정하려면 GPU 수 또는 GPU 유형을 필요한 대로 조정합니다.
      • GPU를 모두 삭제하려면 연결된 GPU 옆에 있는 X를 클릭합니다.
    5. 호스트 유지보수 시 섹션으로 스크롤합니다. VM에 GPU를 추가하면 호스트 유지보수 설정이 자동으로 VM 인스턴스 종료로 설정됩니다. GPU 호스트 유지보수 이벤트 처리를 참조하세요.
    6. 저장을 클릭하여 변경사항을 적용합니다.
    7. 시작/재개를 클릭하여 VM을 다시 시작합니다.

다음 단계