Demander des TPU avec une réservation future en mode agenda

Ce guide explique comment optimiser le provisionnement de Tensor Processing Unit (TPU) à l'aide de la réservation future en mode calendrier. La réservation future en mode Agenda est un conseiller et un outil de recommandation intégrés à l'agenda qui peuvent vous aider à trouver de la capacité de TPU et à planifier à l'avance. Vous pouvez demander de la capacité pour une heure de début et une durée spécifiques, entre 1 et 90 jours, et le système de recommandation vous proposera des dates.

Ce guide est destiné aux ingénieurs en machine learning (ML), aux administrateurs et opérateurs de plate-forme, ainsi qu'aux spécialistes des données et de l'IA qui souhaitent utiliser les fonctionnalités d'orchestration de conteneurs Kubernetes pour exécuter des charges de travail par lot. Pour en savoir plus sur les rôles courants et les exemples de tâches que nous citons dans le contenu Google Cloud , consultez Rôles utilisateur et tâches courantes de l'utilisateur dans GKE Enterprise.

Pour en savoir plus, consultez À propos des réservations futures en mode Agenda.

Cas d'utilisation

La réservation future en mode calendrier est idéale pour les charges de travail avec des requêtes planifiées, à court terme et à forte demande, comme les modèles d'entraînement ou d'inférence par lot qui nécessitent une haute disponibilité à l'heure de début demandée.

Si votre charge de travail nécessite des ressources provisionnées de manière dynamique selon les besoins, pendant sept jours maximum, sans réservations à long terme ni gestion complexe des quotas, envisagez d'utiliser flex-start. Pour en savoir plus, consultez À propos du provisionnement de GPU et de TPU avec le démarrage flexible.

Avant de commencer

Avant de commencer, effectuez les tâches suivantes :

  • Activez l'API Google Kubernetes Engine.
    • Activer l'API Google Kubernetes Engine
  • Si vous souhaitez utiliser Google Cloud CLI pour cette tâche, installez puis initialisez gcloud CLI. Si vous avez déjà installé gcloud CLI, assurez-vous de disposer de la dernière version en exécutant la commande gcloud components update.
  • Assurez-vous de disposer de l'un des éléments suivants :
    • un cluster Standard existant exécutant la version 1.28.3-gke.1098000 ou ultérieure.
    • un cluster Autopilot existant exécutant la version 1.30.3-gke.1451000 ou ultérieure.

Demander une réservation future en mode calendrier pour les TPU

Pour demander des TPU avec réservation future en mode calendrier, procédez comme suit :

  1. Assurez-vous de disposer d'un quota suffisant pour toutes les ressources qui ne font pas partie d'une réservation lorsque des VM sont créées, comme les disques ou les adresses IP. Les requêtes de réservation future en mode calendrier ne nécessitent pas de quota Compute Engine.
  2. Suivez les étapes de la section Créer une demande en mode Agenda. Voici quelques exemples :
    1. Consultez la disponibilité future des TPU.
    2. Créez et envoyez une demande de réservation future en mode Agenda pour les TPU.
    3. Attendez que Google Cloud approuve votre demande.
  3. Créez un pool de nœuds TPU qui utilise votre réservation.

Créer un pool de nœuds

Cette section ne s'applique qu'aux clusters standards.

Vous pouvez utiliser votre réservation lorsque vous créez des pools de nœuds de tranche TPU à hôte unique ou multi-hôtes. Par exemple, vous pouvez créer un pool de nœuds de tranche de TPU à hôte unique à l'aide de Google Cloud CLI.

gcloud container node-pools create NODE_POOL_NAME \
    --location=LOCATION \
    --cluster=CLUSTER_NAME \
    --node-locations=NODE_ZONES \
    --machine-type=MACHINE_TYPE \
    --reservation-affinity=specific \ This is required
    --reservation=RESERVATION

Remplacez les éléments suivants :

  • NODE_POOL_NAME : nom du nouveau pool de nœuds.
  • LOCATION : nom de la zone basé sur la version de TPU que vous souhaitez utiliser. Pour identifier un emplacement disponible, consultez Disponibilité des TPU dans GKE.
  • CLUSTER_NAME : nom du cluster.
  • NODE_ZONES : liste d'une ou de plusieurs zones, séparées par une virgule, dans lesquelles GKE crée le pool de nœuds.
  • MACHINE_TYPE : type de machine à utiliser pour les nœuds. Pour en savoir plus sur les types de machines compatibles avec les TPU, utilisez le tableau de la section Choisir la version de TPU.
  • RESERVATION : nom de la réservation de calendrier à consommer.

Pour obtenir la liste complète de toutes les options que vous pouvez spécifier, consultez la documentation de référence sur gcloud container clusters create.

Une fois que vous avez créé un pool de nœuds avec la réservation d'agenda, vous pouvez déployer votre charge de travail comme n'importe quel autre pool de nœuds TPU. Par exemple, vous pouvez créer un Job qui spécifie le pool de nœuds TPU qui consomme les TPU réservés.

Étapes suivantes