Richiedere TPU con prenotazione futura in modalità calendario

Questa guida mostra come ottimizzare il provisioning delle Tensor Processing Unit (TPU) utilizzando la prenotazione futura in modalità calendario. La prenotazione futura in modalità calendario è un consulente e un sistema di raccomandazione integrato che può aiutarti a individuare la capacità TPU e pianificare in anticipo. Puoi richiedere capacità per un orario di inizio e una durata specifici, compresi tra 1 e 90 giorni, e il sistema di raccomandazione fornirà le date suggerite.

Questa guida è destinata a ingegneri di machine learning (ML), amministratori e operatori di piattaforme e a specialisti di dati e AI interessati a utilizzare le funzionalità di orchestrazione dei container Kubernetes per l'esecuzione di batch workload. Per maggiori informazioni sui ruoli comuni e sulle attività di esempio a cui facciamo riferimento nei contenuti di Google Cloud , consulta Ruoli utente e attività comuni di GKE Enterprise.

Per saperne di più, vedi Informazioni sulla prenotazione futura in modalità calendario.

Casi d'uso

La prenotazione futura in modalità calendario è ideale per carichi di lavoro con richieste programmate, a breve termine e ad alta domanda, come l'addestramento o modelli di inferenza batch che richiedono un'alta disponibilità all'ora di inizio richiesta.

Se il tuo carico di lavoro richiede risorse di cui viene eseguito il provisioning dinamico in base alle necessità, per un massimo di 7 giorni senza prenotazioni a lungo termine o gestione complessa delle quote, valuta l'utilizzo di flex-start. Per saperne di più, consulta Informazioni sul provisioning di GPU e TPU con avvio flessibile.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Attiva l'API Google Kubernetes Engine.
    • Attiva l'API Google Kubernetes Engine
  • Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo gcloud components update.
  • Assicurati di disporre di uno dei seguenti elementi:
    • un cluster Standard esistente che esegue la versione 1.28.3-gke.1098000 o successive.
    • un cluster Autopilot esistente che esegue la versione 1.30.3-gke.1451000 o successive.

Richiedere la prenotazione futura in modalità calendario per le TPU

La procedura per richiedere TPU con prenotazione futura in modalità calendario prevede i seguenti passaggi:

  1. Assicurati di disporre di una quota sufficiente per le risorse che non fanno parte di una prenotazione quando vengono create le VM, ad esempio dischi o indirizzi IP. Le richieste di prenotazione futura in modalità calendario non richiedono una quota di Compute Engine.
  2. Completa i passaggi descritti in Creare una richiesta in modalità calendario. Questi passaggi includono:
    1. Visualizza la disponibilità futura delle TPU.
    2. Crea e invia una richiesta di prenotazione futura in modalità calendario per le TPU.
    3. Attendi che Google Cloud approvi la tua richiesta.
  3. Crea un pool di nodi TPU che utilizzi la prenotazione.

Crea un node pool

Questa sezione si applica solo ai cluster Standard.

Puoi utilizzare la prenotazione quando crei node pool TPU slice single-host o multi-host. Ad esempio, puoi creare un pool di nodi di slice TPU a singolo host utilizzando Google Cloud CLI.

gcloud container node-pools create NODE_POOL_NAME \
    --location=LOCATION \
    --cluster=CLUSTER_NAME \
    --node-locations=NODE_ZONES \
    --machine-type=MACHINE_TYPE \
    --reservation-affinity=specific \ This is required
    --reservation=RESERVATION

Sostituisci quanto segue:

  • NODE_POOL_NAME: il nome del nuovo pool di nodi.
  • LOCATION: il nome della zona in base alla versione della TPU che vuoi utilizzare. Per identificare una località disponibile, consulta Disponibilità di TPU in GKE.
  • CLUSTER_NAME: il nome del cluster.
  • NODE_ZONES: l'elenco separato da virgole di una o più zone in cui GKE crea il pool di nodi.
  • MACHINE_TYPE: il tipo di macchina da utilizzare per i nodi. Per saperne di più sui tipi di macchina compatibili con le TPU, utilizza la tabella in Scegliere la versione della TPU.
  • RESERVATION: il nome della prenotazione del calendario da utilizzare.

Per un elenco completo di tutti i flag che puoi specificare, consulta la documentazione di riferimento di gcloud container clusters create.

Dopo aver creato un pool di nodi con la prenotazione del calendario, puoi eseguire il deployment del carico di lavoro come qualsiasi altropool di nodil TPU. Ad esempio, puoi creare un job che specifica il pool di nodi TPU che utilizza le TPU riservate.

Passaggi successivi