할당량 정책

AI Platform Training은 리소스 할당 및 사용을 제한하며 프로젝트 단위로 적절한 할당량을 적용합니다. 구체적인 정책은 리소스 가용성, 사용자 프로필, 서비스 사용 기록 등의 요인에 따라 다르며 사전 통보 없이 변경될 수 있습니다.

아래 섹션에서는 시스템의 현재 할당량 한도를 간략히 설명합니다.

서비스 요청 한도

60초 간격으로 제한된 수의 개별 API 요청만 생성할 수 있습니다. 각 한도는 다음 섹션의 설명대로 특정 API 또는 API 그룹에 적용됩니다.

Google Cloud Console의 AI Platform Training용 API 관리자에서 프로젝트의 요청 할당량을 확인할 수 있습니다. 할당량 한도 옆에 있는 수정 아이콘을 클릭한 후 할당량 상향 신청을 클릭하면 할당량 상향을 요청할 수 있습니다.

작업 요청

다음 한도는 projects.jobs.create 요청(학습 및 일괄 예측 작업 합산)에 적용됩니다.

기간 한도
60초 60

온라인 예측 요청

다음 한도는 projects.predict 요청에 적용됩니다.

기간 한도
60초 600,000

리소스 관리 요청

다음 한도는 이 목록에 있는 지원되는 모든 요청을 합한 전체에 적용됩니다.

기간 한도
60초 300

또한 위에 나온 모든 delete 요청 및 모든 버전 create 요청은 동시 결합 총 요청 수가 10개로 제한됩니다.

가상 머신의 동시 사용 한도

프로젝트의 Google Cloud 처리 리소스 사용량은 학습에 사용되는 가상 머신 수로 측정됩니다. 이 섹션에서는 프로젝트 전체에서 이러한 리소스의 동시 사용 한도에 대해 설명합니다.

학습 시 동시 CPU 사용 한도

일반적인 프로젝트의 동시 가상 CPU 수는 프로젝트 사용 내역에 따라 조정됩니다.

  • 총 동시 CPU 수: CPU 수는 20개부터 시작하여 일반적으로 450개까지 늘어납니다. 이 한도는 모든 머신 유형을 포함하여 동시에 사용되는 CPU의 최대 총 합계를 나타냅니다.

특정 리전에는 추가 기본 할당량이 적용됩니다. 이러한 리전에서 CPU를 사용하면 리전 할당량과 총 할당량에 반영됩니다.

  • asia-northeast2: CPU 20개
  • asia-northeast3: CPU 20개
  • europe-north1: CPU 20개
  • europe-west3: CPU 20개
  • europe-west6: CPU 20개
  • us-east4: CPU 20개
  • us-west2: CPU 20개
  • us-west3: CPU 20개

모델을 학습시킬 때 사용하는 CPU는 Compute Engine의 CPU로 집계되지 않습니다. 그리고 AI Platform Training의 할당량으로 Compute Engine VM에 액세스하여 다른 컴퓨팅 요구사항을 처리할 수는 없습니다. Compute Engine VM을 실행하려면 Compute Engine 문서의 설명에 따라 Compute Engine 할당량을 요청해야 합니다.

학습 시 동시 GPU 사용 한도

AI Platform Training을 처음 사용하는 일반적인 프로젝트의 경우 ML 모델 학습에 사용하는 동시 GPU 수는 다음과 같이 제한됩니다.

  • 총 동시 GPU 수: 동시에 사용할 수 있는 최대 GPU 수이며 유형별로 다음과 같이 나뉩니다.

    • 동시 A100 GPU 수: 8개
    • 동시 P4 GPU 수: 8개
    • 동시 P100 GPU 수: 30개
    • 동시 V100 GPU 수: 8개
    • 동시 T4 GPU 수: 6개

특정 리전에는 추가 기본 할당량이 적용됩니다. 나열된 리전에서 다음 GPU를 사용하는 경우 리전 할당량과 총 할당량에 반영됩니다.

  • asia-southeast1의 P4 GPU: 4개
  • us-east4의 P4 GPU: 1개
  • us-west2의 P4 GPU: 1개
  • asia-northeast3의 T4 GPU: 1개
  • asia-southeast1의 T4 GPU: 4개

프로젝트의 할당량은 여러 요인에 따라 다르므로 특정 프로젝트의 할당량은 위에 나와 있는 값보다 적을 수 있습니다. 모델을 학습시킬 때 사용하는 GPU는 Compute Engine의 GPU로 집계되지 않습니다. 그리고 AI Platform Training의 할당량으로는 GPU를 사용하는 Compute Engine VM에 액세스할 수 없습니다. GPU를 사용하는 Compute Engine VM을 실행하려면 Compute Engine 문서의 설명에 따라 Compute Engine GPU 할당량을 요청해야 합니다.

AI Platform Training에 GPU가 더 필요하다면 이 가이드의 할당량 상향 요청 섹션을 참조하세요.

GPU에 대한 자세한 내용은 GPU를 사용해 클라우드에서 모델을 학습시키는 방법을 참조하세요.

학습 시 동시 TPU 사용 한도

GPU와 마찬가지로 AI Platform Training의 TPU 할당량은 Compute Engine VM에 직접 사용할 수 있는 Cloud TPU 할당량과 별개입니다. 모델을 학습시킬 때 사용하는 TPU는 Compute Engine의 TPU로 집계되지 않습니다. 그리고 AI Platform Training의 할당량으로는 TPU를 사용하는 Compute Engine VM에 액세스할 수 없습니다.

Google Cloud Console에는 Compute Engine에 적용되는 Cloud TPU 할당량만 표시됩니다. Compute Engine에 사용할 Cloud TPU 할당량을 요청하려면 Cloud TPU팀에 요청을 제출하세요.

모든 Google Cloud 프로젝트에는 최소 1개의 Cloud TPU에 대한 기본 AI Platform Training 할당량이 적용됩니다. 할당량은 Cloud TPU당 8개의 TPU 코어 단위로 할당됩니다. 이 할당량은 Google Cloud Console에 표시되지 않습니다.

할당량 상향 요청

이 페이지에 나온 할당량은 프로젝트 단위로 할당되며 사용할수록 상향될 수 있습니다. 처리 용량이 더 필요하면 다음 방법 중 하나를 이용해 할당량 상향을 요청할 수 있습니다.

  • Google Cloud Console을 사용하여 AI Platform Training용 API 관리자에 나열된 할당량 상향을 요청하세요.

    1. 상향 조정할 할당량 섹션을 찾습니다.

    2. 해당 할당량의 사용량 차트 아래에서 할당량 값 옆에 있는 연필 아이콘을 클릭합니다.

    3. 요청할 상향분을 입력합니다.

      • 원하는 할당량 값이 할당량 한도 대화상자에 표시된 범위 안에 속한다면 새 값을 입력하고 저장을 클릭합니다.

      • 표시된 최댓값 이상으로 할당량을 상향하려면 할당량 상향 신청을 클릭하고 다른 상향 요청 안내를 따릅니다.

  • GPU 할당량과 같이 Google Cloud 콘솔에 나열되지 않은 할당량을 늘려야 할 경우 AI Platform 할당량 요청 양식을 사용하여 할당량 증가를 요청합니다. 이러한 요청은 최선의 노력에 따라 처리됩니다. 이러한 요청 검토와 관련해서는 서비스수준계약(SLA) 또는 서비스 수준 목표(SLO)가 지원되지 않습니다.

학습 시 동시 디스크 사용 한도

일반적인 프로젝트의 동시 가상 디스크 수는 프로젝트 사용 내역에 따라 조정됩니다.

  • 총 동시 디스크 수: 표준 하드 디스크 드라이브(HDD)의 경우 4,000GB, 솔리드 스테이트 드라이브(SSD)의 경우 500GB부터 시작하여 HDD는 180,000GB, SSD의 경우 75,000GB의 일반 값으로 확장됩니다. 이 한도는 모든 머신 유형을 포함하여 동시에 사용되는 디스크의 최대 총 합계를 나타냅니다.

모델을 학습시킬 때 사용하는 디스크는 Compute Engine의 디스크로 집계되지 않으며, AI Platform Training의 할당량으로 다른 컴퓨팅 요구 사항의 Compute Engine 가상 머신 인스턴스(VM)에 액세스할 수 없습니다. Compute Engine VM을 만들려면 Compute Engine 할당량을 요청해야 합니다.

다음 단계