GPU 추가 또는 삭제

Compute Engine은 가상 머신(VM) 인스턴스에 추가할 수 있는 그래픽 처리 장치(GPU)를 제공합니다. 이 GPU를 사용하여 VM에서 머신러닝 및 데이터 처리와 같은 특정 워크로드를 가속화할 수 있습니다.

Compute Engine에서 GPU를 실행할 때는 두 가지 머신 계열만 사용할 수 있습니다.

  • 가속기 최적화 머신 계열: A3, A2, G2
  • N1 범용 머신 계열 N1 공유 코어 머신 유형을 제외한 대부분의 N1 머신 유형을 사용할 수 있습니다. N1 범용 머신을 사용하지 않는 경우 N1 범용 머신으로 전환한 후 GPU를 추가할 수 있습니다.

시작하기 전에

  • OS 이미지 선택 및 GPU 할당량 확인과 같은 추가적인 기본 요건 단계를 검토하려면 개요 문서를 검토하세요.
  • 아직 인증을 설정하지 않았다면 설정합니다. 인증은 Google Cloud 서비스 및 API에 액세스하기 위해 ID를 확인하는 프로세스입니다. 로컬 개발 환경에서 코드 또는 샘플을 실행하려면 다음과 같이 Compute Engine에 인증하면 됩니다.

    이 페이지의 샘플 사용 방법에 대한 탭을 선택하세요.

    콘솔

    Google Cloud 콘솔을 사용하여 Google Cloud 서비스 및 API에 액세스할 때는 인증을 설정할 필요가 없습니다.

    REST

    로컬 개발 환경에서 이 페이지의 REST API 샘플을 사용하려면 gcloud CLI에 제공한 사용자 인증 정보를 사용합니다.

      Google Cloud CLI를 설치한 후 다음 명령어를 실행하여 초기화합니다. 

      gcloud init

가속기 최적화 VM

가속기 최적화 머신 유형마다 특정 NVIDIA GPU 모델이 연결되어 있습니다.

  • A3 가속기 최적화 머신 유형의 경우 NVIDIA H100 80GB GPU가 연결됩니다.
  • A2 가속기 최적화 머신 유형의 경우 NVIDIA A100 GPU가 연결됩니다. A100 40GB 및 A100 80GB 옵션 모두에서 사용 가능합니다.
  • G2 가속기 최적화 머신 유형의 경우 NVIDIA L4 GPU가 연결됩니다.

각 가속기 최적화 VM을 다음과 같이 수정할 수 있습니다.

  • A2 표준 VM의 경우 하나의 A2 표준 머신 유형에서 다른 A2 표준 머신 유형으로 전환하여 GPU 수를 수정할 수 있습니다.

  • A3 표준 및 A2 울트라 VM의 경우 머신 유형을 수정할 수 없습니다. VM에 A3 표준 또는 A2 울트라 머신 유형을 사용하고 머신 유형을 변경해야 하는 경우 새 VM을 만듭니다.

  • G2 표준 VM의 경우 다음을 수행할 수 있습니다.

    • 한 G2 표준 머신 유형에서 다른 G2 표준 머신 유형으로 전환하여 GPU 수를 수정할 수 있습니다.
    • G2 표준 머신 유형에서 범용 또는 컴퓨팅 최적화와 같은 다른 머신 계열의 머신 유형으로 전환할 수 있습니다. 머신 유형 변경을 참조하세요.

  • 가속기 최적화 머신 유형에서는 GPU를 삭제할 수 없습니다. GPU가 더 이상 필요하지 않으면 다음을 완료합니다.

    • A2 표준 또는 울트라 VM의 경우 새 VM을 만듭니다.
    • G2 VM의 경우 다른 머신 계열에서 머신 유형으로 변경합니다.

GPU 수 수정

Google Cloud 콘솔 또는 REST를 사용하여 A2 표준 또는 G2 가속기 최적화 VM의 GPU 수를 수정할 수 있습니다.

콘솔

VM을 중지하고 VM 구성을 편집하여 VM의 GPU 수를 수정할 수 있습니다.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud 콘솔에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. GPU 수를 수정하려는 VM 이름을 클릭합니다. 세부정보 페이지가 열립니다.

  4. VM 세부정보 페이지에서 다음 단계를 완료하세요.

    1. VM이 실행 중이면 툴바에서 중지를 클릭합니다. 그런 후 VM이 중지될 때까지 기다립니다.

    2. 툴바에서 수정을 클릭합니다.

    3. 머신 구성 섹션에서 GPU 머신 계열을 선택한 후 다음을 수행합니다.

      1. GPU 수 목록에서 GPU 수를 늘리거나 줄입니다.

    4. 변경사항을 적용하려면 저장을 클릭합니다.

    5. VM을 다시 시작하려면 시작/재개를 클릭합니다.

REST

VM을 중지하고 머신 유형을 변경하여 VM에서 GPU 수를 수정할 수 있습니다. 각 가속기 최적화 머신 유형에는 특정 개수의 GPU가 연결되어 있습니다. 머신 유형을 변경하면 VM에 연결되는 GPU 수가 조정됩니다.

  1. VM에서 중요 애플리케이션을 모두 중지했는지 확인한 후 이 VM을 GPU 사용이 가능한 호스트 시스템으로 이전할 수 있도록 VM을 중지하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. VM이 중지되면 머신 유형을 수정하는 POST 요청을 작성합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. VM을 시작합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

다음을 바꿉니다.

  • PROJECT_ID: 프로젝트 ID입니다.
  • VM_NAME: GPU를 추가할 VM의 이름입니다.
  • ZONE: VM이 있는 영역입니다. 이 영역은 GPU를 지원해야 합니다.

  • MACHINE_TYPE: 사용할 머신 유형입니다. 다음 중 하나여야 합니다.

    • VM에 A2 표준 머신이 사용되는 경우 다른 A2 머신 유형을 선택합니다.
    • VM에 G2 머신 유형이 사용되는 경우 다른 G2 머신 유형을 선택합니다. G2 머신 유형은 커스텀 메모리도 지원합니다. 메모리는 1,024MB의 배수여야 하고 지원되는 메모리 범위 내에 있어야 합니다. 예를 들어 vCPU가 4개이고 메모리가 19GB인 VM을 만들려면 --machine-type=g2-custom-4-19456을 지정합니다.

제한사항

A2 표준

  • A2 표준 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
  • 특정 리전 및 영역에서만 A2 표준 머신 유형을 사용할 수 있습니다.
  • A2 표준 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
  • A2 표준 머신 유형은 Cascade Lake 플랫폼에서만 사용할 수 있습니다.
  • VM이 A2 표준 머신 유형을 사용하는 경우 하나의 A2 표준 머신 유형에서 다른 A2 표준 머신 유형으로만 전환할 수 있습니다. 그 밖의 다른 머신 유형으로는 변경할 수 없습니다. 자세한 내용은 가속기 최적화 VM 수정을 참조하세요.
  • Windows 운영체제에서는 a2-megagpu-16g A2 표준 머신 유형을 사용할 수 없습니다. Windows 운영체제를 사용하는 경우 다른 A2 표준 머신 유형을 선택합니다.
  • A2 표준 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.
  • A2 표준 머신 유형은 단독 테넌시를 지원하지 않습니다.

A2 울트라

  • A2 울트라 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
  • 특정 리전 및 영역에서만 A2 울트라 머신 유형을 사용할 수 있습니다.
  • A2 울트라 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
  • A2 울트라 머신 유형은 Cascade Lake 플랫폼에서만 사용할 수 있습니다.
  • VM이 A2 울트라 머신 유형을 사용하는 경우 머신 유형을 변경할 수 없습니다. 다른 A2 울트라 머신 유형이나 그 밖의 다른 머신 유형을 사용해야 하는 경우 새 VM을 만들어야 합니다.
  • 다른 머신 유형을 A2 울트라 머신 유형으로 변경할 수 없습니다. A2 울트라 머신 유형을 사용하는 VM을 만들어야 하는 경우 새 VM을 만들어야 합니다.
  • A2 울트라 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.

G2 표준

  • G2 표준 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
  • 특정 리전 및 영역에서만 G2 표준 머신 유형을 사용할 수 있습니다.
  • G2 표준 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
  • G2 표준 머신 유형은 Cascade Lake 플랫폼에서만 사용할 수 있습니다.
  • G2 표준 머신 유형을 사용하는 VM에서는 표준 영구 디스크(pd-standard)가 지원되지 않습니다. 지원되는 디스크 유형은 G2에 지원되는 디스크 유형을 참조하세요.
  • G2 표준 머신 유형에서는 멀티 인스턴스 GPU를 만들 수 없습니다.
  • G2 VM의 머신 유형을 변경해야 하는 경우에는 가속기 최적화 VM 수정을 참조하세요.
  • Deep Learning VM Image를 G2 표준 머신 유형을 사용하는 VM의 부팅 디스크로 사용할 수 없습니다.
  • 현재 Container-Optimized OS의 기본 드라이버는 G2 머신 유형에서 실행되는 L4 GPU를 지원하지 않습니다. Container-Optimized OS는 선택한 드라이버 세트만 지원합니다. G2 머신 유형에서 Container-Optimized OS를 사용하려면 다음 참고사항을 검토하세요.
    • 최소 권장 NVIDIA 드라이버 버전 525.60.13 이상을 지원하는 Container-Optimized OS 버전을 사용하세요. 자세한 내용은 Container-Optimized OS 출시 노트를 참조하세요.
    • 드라이버 설치 시 L4 GPU에서 작동하는 최신 버전을 지정합니다. 예를 들면 sudo cos-extensions install gpu -- -version=525.60.13입니다.
  • 다음 시나리오의 경우 G2 VM을 만들려면 Google Cloud CLI 또는 REST를 사용해야 합니다.
    • 커스텀 메모리 값을 지정하려고 하는 경우
    • 표시되는 CPU 코어 수를 맞춤설정하려고 합니다.

N1 범용 VM

이 섹션에서는 N1 범용 머신에서 GPU를 추가, 수정, 삭제하는 방법을 설명합니다.

기존 VM에서 GPU를 추가, 수정, 삭제하는 프로세스를 요약하자면 다음과 같습니다.

  1. VM의 부팅 디스크 크기가 최소 40GB 이상인지 확인합니다.
  2. VM을 중지합니다.

  3. GPU를 추가, 수정, 삭제합니다.

    VM에 이전에 연결된 GPU가 없으면 다음 단계를 완료해야 합니다.

    1. 수정할 VM을 준비합니다.
    2. VM의 호스트 유지보수 설정을 수정합니다. GPU를 사용하는 VM은 특정 하드웨어 기기에 할당되므로 라이브 마이그레이션을 할 수 없습니다. 상세 설명은 GPU 제한사항을 참조하세요.
    3. 머신 유형을 변경합니다. GPU는 일부 머신 유형에서만 지원됩니다.
    4. 시스템이 기기를 사용할 수 있도록 VM에 GPU 드라이버를 설치하세요.

VM 준비

VM에 GPU가 추가되면 네트워크 인터페이스의 순서가 변경될 수 있습니다.

Compute Engine의 공개 이미지는 대부분 영구적인 네트워크 인터페이스 이름이 없으며 새로운 순서로 조정됩니다.

하지만 SLES 또는 커스텀 이미지를 사용할 경우 네트워크 인터페이스가 지속되지 않도록 시스템 설정을 업데이트해야 합니다. 네트워크 인터페이스가 지속되지 않도록 하려면 VM에서 다음 명령어를 실행하세요.

 rm /etc/udev/rules.d/70-persistent-net.rules

기존 VM에서 GPU 추가 또는 GPU 유형 수정

이 섹션에서는 기존 N1 범용 VM에서 GPU를 추가하거나 GPU 유형을 수정하는 방법을 설명합니다. 이 절차에서는 다음 GPU 유형을 지원합니다.

NVIDIA GPU:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100
  • NVIDIA K80: nvidia-tesla-k80. NVIDIA K80 EOL을 참조하세요.

NVIDIA RTX 가상 워크스테이션(vWS)(이전의 NVIDIA GRID):

  • NVIDIA T4 가상 스테이션: nvidia-tesla-t4-vws
  • NVIDIA P4 가상 워크스테이션: nvidia-tesla-p4-vws

  • NVIDIA P100 가상 워크스테이션: nvidia-tesla-p100-vws

    이러한 가상 워크스테이션의 경우 NVIDIA RTX 가상 워크스테이션(vWS) 라이선스가 VM에 자동으로 추가됩니다.

콘솔

GPU를 추가하거나 GPU 유형을 수정하려면 다음 단계를 수행합니다.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud 콘솔에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. 업데이트할 VM 이름을 클릭합니다. 세부정보 페이지가 열립니다.

  4. VM 세부정보 페이지에서 다음 단계를 완료하세요.

    1. VM이 실행 중이면 툴바에서 중지를 클릭합니다. 그런 후 VM이 중지될 때까지 기다립니다.

    2. 툴바에서 수정을 클릭합니다.

    3. 머신 구성 섹션에서 GPU 머신 계열을 선택한 후 다음을 수행합니다.

      1. GPU 유형 목록에서 N1 VM에서 지원되는 GPU 유형을 선택하거나 전환합니다.

      2. GPU 수 목록에서 GPU 수를 선택합니다.

      3. GPU 모델이 그래픽 워크로드에 대한 NVIDIA RTX 가상 워크스테이션 (vWS)을 지원하고 이 VM에서 그래픽 집중 워크로드를 실행하려는 경우 가상 워크스테이션(NVIDIA GRID) 사용 설정을 선택하세요.

    4. VM에 이전에 연결된 GPU가 없으면 다음을 완료합니다.

      1. VM에 공유 코어 머신 유형이 있으면 머신 유형을 변경해야 합니다. 머신 유형 목록에서 사전 설정된 N1 머신 유형 중 하나를 선택합니다. 또는 커스텀 머신 유형 설정을 지정할 수도 있습니다.

      2. 관리 섹션에서 다음을 완료합니다.

        1. 호스트 유지보수 시 목록에서 VM 인스턴스 종료를 선택합니다. 연결된 GPU가 있는 VM은 라이브 마이그레이션을 수행할 수 없습니다. GPU 호스트 이벤트 처리를 참조하세요.

        2. 자동으로 다시 시작 목록에서 사용(On)을 선택합니다.

    5. 변경사항을 적용하려면 저장을 클릭합니다.

    6. VM을 다시 시작하려면 시작/재개를 클릭합니다.

REST

VM을 중지하고 API를 통해 VM 구성을 변경하여 GPU를 추가하거나 수정할 수 있습니다.

  1. VM에서 중요 애플리케이션을 모두 중지했는지 확인한 후 이 VM을 GPU 사용이 가능한 호스트 시스템으로 이전할 수 있도록 VM을 중지하는 POST 명령어를 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. VM에 이전에 연결된 GPU가 없으면 다음 단계를 완료합니다.

    1. VM에 추가하려는 GPU 유형을 식별합니다. 특정 영역에서 프로젝트에 제공되는 GPU 유형을 나열하도록 GET 요청을 제출할 수 있습니다.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. VM에 공유 코어 머신 유형이 있으면 vCPU를 하나 이상 포함하도록 머신 유형을 변경해야 합니다. 공유 코어 머신 유형이 있는 VM에는 가속기를 추가할 수 없습니다.

    3. VM의 예약 옵션을 설정하는 POST 명령어를 만듭니다.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. VM에 연결된 GPU를 추가하거나 수정하도록 POST 요청을 만듭니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. VM을 시작합니다.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • VM_NAME: GPU를 추가할 VM의 이름
    • ZONE: VM이 있는 영역입니다.
    • ACCELERATOR_COUNT: VM에 연결하려는 GPU 수입니다. VM의 머신 유형에 따른 GPU 한도 목록은 Compute Engine의 GPU를 참조하세요.

    • ACCELERATOR_TYPE: 연결하거나 전환할 GPU 모델입니다. 이 VM에서 그래픽 집중 워크로드를 실행하려는 경우 가상 워크스테이션 모델 중 하나를 사용합니다.

      다음 값 중 하나를 선택합니다.

      • NVIDIA GPU:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100
        • NVIDIA K80: nvidia-tesla-k80. NVIDIA K80 EOL을 참조하세요.

      • NVIDIA RTX 가상 워크스테이션(vWS)(이전의 NVIDIA GRID):

        • NVIDIA T4 가상 스테이션: nvidia-tesla-t4-vws
        • NVIDIA P4 가상 워크스테이션: nvidia-tesla-p4-vws
        • NVIDIA P100 가상 워크스테이션: nvidia-tesla-p100-vws

        이러한 가상 워크스테이션의 경우 NVIDIA RTX 가상 워크스테이션(vWS) 라이선스가 VM에 자동으로 추가됩니다.

드라이버 설치

드라이버를 설치하려면 다음 옵션 중 하나를 선택합니다.

GPU 삭제

이 섹션에서는 기존 N1 범용 VM에서 다음 GPU 유형을 삭제하는 방법을 설명합니다.

NVIDIA GPU:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100
  • NVIDIA K80: nvidia-tesla-k80. NVIDIA K80 EOL을 참조하세요.

NVIDIA RTX 가상 워크스테이션(vWS)(이전의 NVIDIA GRID):

  • NVIDIA T4 가상 스테이션: nvidia-tesla-t4-vws
  • NVIDIA P4 가상 워크스테이션: nvidia-tesla-p4-vws

  • NVIDIA P100 가상 워크스테이션: nvidia-tesla-p100-vws

    이러한 가상 워크스테이션의 경우 NVIDIA RTX 가상 워크스테이션(vWS) 라이선스가 VM에 자동으로 추가됩니다.

Google Cloud 콘솔을 사용하여 기존 VM에서 GPU를 삭제할 수 있습니다. GPU를 삭제하려면 다음 단계를 완료합니다.

  1. VM에서 중요 애플리케이션이 모두 중지됐는지 확인합니다.

  2. Google Cloud 콘솔에서 VM 인스턴스 페이지로 이동하여 VM 목록을 확인합니다.

    VM 인스턴스로 이동

  3. GPU를 삭제하려는 VM의 이름을 클릭합니다. 세부정보 페이지가 열립니다.

  4. VM 세부정보 페이지에서 다음 단계를 완료하세요.

    1. VM이 실행 중이면 툴바에서 중지를 클릭합니다. 그런 후 VM이 중지될 때까지 기다립니다.

    2. 툴바에서 수정을 클릭합니다.

    3. 머신 구성 섹션에서 범용 머신 계열을 선택한 후 다음을 수행합니다.

      1. 연결된 GPU를 보려면 고급 구성을 확장합니다.

      2. GPU 섹션에서 다음 옵션 중 하나를 사용하여 GPU를 삭제합니다.

        • 일부 GPU를 삭제하려면 GPU 수 목록에서 새 개수를 선택합니다.

        • GPU를 모두 삭제하려면 GPU 삭제를 클릭합니다.

    4. 선택사항: VM 호스트 유지보수 정책 설정을 수정합니다. GPU가 있는 VM은 호스트 유지보수 정책을 VM 인스턴스 종료로 설정해야 합니다. 하지만 모든 GPU를 삭제한 경우 호스트 유지보수 중 이 VM을 라이브 마이그레이션할 수 있습니다. 자세한 내용은 VM 호스트 유지보수 정책 설정을 참조하세요.

    5. 변경사항을 적용하려면 저장을 클릭합니다.

    6. VM을 다시 시작하려면 시작/재개를 클릭합니다.

다음 단계