캘린더 모드에서 미래용 예약으로 TPU 요청

이 가이드에서는 캘린더 모드에서 미래용 예약을 사용하여 Tensor Processing Unit(TPU) 프로비저닝을 최적화하는 방법을 보여줍니다. 캘린더 모드의 미래용 예약은 TPU 용량을 찾고 미리 계획을 세우는 데 도움이 되는 내장 캘린더 어드바이저 및 추천자입니다. 시작 시간과 지속 시간(1~90일)을 지정해 용량을 요청하면 추천자에서 추천 날짜를 제공합니다.

이 가이드는 일괄 워크로드를 실행하기 위해 Kubernetes 컨테이너 조정 기능을 사용하는 데 관심이 있는 머신러닝(ML) 엔지니어, 플랫폼 관리자 및 운영자, 데이터 및 AI 전문가를 대상으로 합니다. Google Cloud 콘텐츠에서 참조하는 일반적인 역할 및 예시 태스크에 대해 자세히 알아보려면 일반 GKE 사용자 역할 및 태스크를 참고하세요.

자세한 내용은 캘린더 모드의 미래용 예약 정보를 참고하세요.

사용 사례

캘린더 모드의 미래용 예약은 학습과 같이 예약된 단기 고수요 요청이 있거나 요청된 시작 시간에 고가용성이 필요한 일괄 추론 모델이 있는 워크로드에 가장 적합합니다.

워크로드에 필요에 따라 동적으로 프로비저닝된 리소스가 필요한 경우 장기 예약이나 복잡한 할당량 관리 없이 최대 7일 동안 flex-start를 사용하는 것이 좋습니다. 자세한 내용은 flex-start를 사용한 GPU 및 TPU 프로비저닝 정보를 참고하세요.

시작하기 전에

시작하기 전에 다음 태스크를 수행했는지 확인합니다.

  • Google Kubernetes Engine API를 사용 설정합니다.
    • Google Kubernetes Engine API 사용 설정
  • 이 태스크에 Google Cloud CLI를 사용하려면 gcloud CLI를 설치한 후 초기화하세요. 이전에 gcloud CLI를 설치한 경우 gcloud components update를 실행하여 최신 버전을 가져옵니다.

TPU의 캘린더 모드에서 미래용 예약 요청

캘린더 모드에서 미래용 예약으로 TPU를 요청하는 프로세스는 다음 단계로 구성됩니다.

  1. VM을 만들 때 예약에 포함되지 않은 리소스(예: 디스크 또는 IP 주소)에 할당량이 충분한지 확인합니다. 캘린더 모드의 미래용 예약 요청에는 Compute Engine 할당량이 필요하지 않습니다.
  2. 캘린더 모드에서 요청 만들기의 단계를 완료합니다. 이 단계에는 다음이 포함됩니다.
    1. TPU 미래 가용성을 확인합니다.
    2. TPU의 캘린더 모드에서 미래용 예약 요청을 만들고 제출합니다.
    3. Google Cloud 가 요청을 승인할 때까지 기다립니다.
  3. 예약을 사용하는 TPU 노드 풀을 만듭니다.

노드 풀 만들기

이 섹션은 Standard 클러스터에만 적용됩니다.

단일 호스트 또는 멀티 호스트 TPU 슬라이스 노드 풀을 만들 때 예약을 사용할 수 있습니다. 예를 들어 Google Cloud CLI를 사용하여 단일 호스트 TPU 슬라이스 노드 풀을 만들 수 있습니다.

gcloud container node-pools create NODE_POOL_NAME \
    --location=LOCATION \
    --cluster=CLUSTER_NAME \
    --node-locations=NODE_ZONES \
    --machine-type=MACHINE_TYPE \
    --reservation-affinity=specific \ This is required
    --reservation=RESERVATION

다음을 바꿉니다.

  • NODE_POOL_NAME: 새 노드 풀의 이름
  • LOCATION: 사용할 TPU 버전에 따른 영역의 이름. 사용 가능한 위치를 확인하려면 GKE의 TPU 가용성을 참고하세요.
  • CLUSTER_NAME: 클러스터의 이름
  • NODE_ZONES: GKE가 노드 풀을 만드는 하나 이상의 영역을 쉼표로 구분한 목록
  • MACHINE_TYPE: 노드에 사용할 머신 유형. TPU 호환 머신 유형에 관한 자세한 내용은 TPU 버전 선택의 표를 참고하세요.
  • RESERVATION: 사용할 캘린더 예약의 이름

지정할 수 있는 모든 플래그의 전체 목록은 gcloud container clusters create 참조를 확인하세요.

캘린더 예약으로 노드 풀을 만든 후에는 다른 TPU 노드 풀과 마찬가지로 워크로드를 배포할 수 있습니다. 예를 들어 예약된 TPU를 사용하는 TPU 노드 풀을 지정하는 작업을 만들 수 있습니다.

다음 단계