Présentation des conteneurs personnalisés

Un conteneur personnalisé est une image Docker que vous créez pour exécuter votre application d'entraînement. En exécutant votre tâche d'entraînement de machine learning (ML) dans un conteneur personnalisé, vous pouvez utiliser des frameworks de ML, des dépendances hors ML, des bibliothèques et des binaires qui ne sont autrement pas disponibles sur Vertex AI.

Fonctionnement de l'entraînement avec des conteneurs

Votre application d'entraînement, mise en œuvre dans le framework de ML de votre choix, se trouve au cœur du processus d'entraînement.

  1. Créez une application qui entraîne votre modèle à l'aide du framework de ML de votre choix.

  2. Déterminez si vous souhaitez utiliser un conteneur personnalisé. Un conteneur prédéfini peut déjà être compatible avec vos dépendances. Sinon, vous devez créer un conteneur personnalisé pour votre job d'entraînement. Dans le conteneur personnalisé, pré-installez votre application d'entraînement et toutes ses dépendances sur une image avec laquelle vous avez exécuté la tâche d'entraînement.

  3. Stockez vos données d'entraînement et de validation dans une source à laquelle Vertex AI peut accéder. Pour simplifier l'authentification et réduire la latence, stockez vos données dans Cloud Storage, Bigtable ou un autre service de stockage Google Cloud dans le même projet et la même région Google Cloud que ceux que vous utilisez pour Vertex AI. Découvrez comment Vertex AI peut charger vos données.

  4. Lorsque votre application est prête à être exécutée, vous devez créer votre image Docker et la transférer vers Artifact Registry ou Docker Hub, en vous assurant que Vertex AI peut accéder à votre registre.

  5. Envoyez votre job d'entraînement personnalisé en créant un job personnalisé ou en créant un pipeline d'entraînement personnalisé.

  6. Vertex AI configure des ressources pour votre tâche. Il alloue une ou plusieurs machines virtuelles (appelées instances d'entraînement) en fonction de la configuration de la tâche. Configurez une instance d'entraînement à l'aide du conteneur personnalisé que vous spécifiez dans l'objetWorkerPoolSpec lorsque vous envoyez votre tâche d'entraînement personnalisée.

  7. Vertex AI exécute l'image Docker en transmettant tous les arguments de ligne de commande que vous spécifiez lors de la création de la tâche d'entraînement.

  8. Lorsque votre tâche d'entraînement réussit ou rencontre une erreur irrécupérable, Vertex AI interrompt tous les processus de la tâche, puis effectue un nettoyage des ressources.

Avantages des conteneurs personnalisés

Les conteneurs personnalisés vous permettent de spécifier et de pré-installer toutes les dépendances nécessaires à votre application.

  • Démarrage plus rapide. Si vous utilisez un conteneur personnalisé sur lequel vos dépendances sont pré-installées, vous pouvez gagner le temps dont votre application d'entraînement aurait besoin pour installer les dépendances lors du démarrage.
  • Utilisation du framework de ML de votre choix. Si vous ne parvenez pas à trouver un conteneur préconfiguré Vertex AI avec le framework de ML que vous souhaitez utiliser, vous pouvez créer un conteneur personnalisé avec le framework de votre choix et l'utiliser pour exécuter des tâches dans Vertex AI. Par exemple, vous pouvez utiliser un conteneur client pour effectuer un entraînement avec PyTorch.
  • Compatibilité étendue pour l'entraînement distribué. Avec des conteneurs personnalisés, vous pouvez procéder à un entraînement distribué à l'aide de n'importe quel framework de ML.
  • Utilisation de la version la plus récente. Vous pouvez également exploiter le dernier build ou la dernière version mineure d'un framework de ML. Vous pouvez par exemplecréer un conteneur personnalisé pour effectuer un entraînement avec tf-nightly.

Régler les hyperparamètres avec des conteneurs personnalisés

Pour régler les hyperparamètres dans Vertex AI, vous devez spécifier des métriques d'objectif et indiquer si elles doivent être minimisées ou maximisées. Par exemple, vous souhaiterez peut-être maximiser la justesse de votre modèle ou minimiser sa perte. Vous répertoriez également les hyperparamètres que vous souhaitez régler, ainsi que la plage de valeurs acceptables pour chaque hyperparamètre. Vertex AI effectue plusieurs essais de votre application d'entraînement, en suivant et en ajustant les hyperparamètres après chaque essai. Une fois la tâche de réglage d'hyperparamètres terminée, Vertex AI rapporte les valeurs correspondant à la configuration la plus efficace de vos hyperparamètres, et fournit un résumé de chaque essai.

Pour régler les hyperparamètres avec des conteneurs personnalisés, vous devez procéder aux ajustements suivants :

  • Dans votre Dockerfile, installez cloudml-hypertune.
  • Dans votre code d'entraînement :
    • Utilisez cloudml-hypertune pour signaler les résultats de chaque essai en appelant sa fonction d'aide, report_hyperparameter_tuning_metric.
    • Ajoutez des arguments de ligne de commande pour chaque hyperparamètre et gérez l'argument d'analyse avec un analyseur d'arguments tel que argparse.

Découvrez comment configurer une tâche de réglage d'hyperparamètres utilisant des conteneurs personnalisés ou découvrez le fonctionnement du réglage d'hyperparamètres dans Vertex AI.

GPU dans des conteneurs personnalisés

En cas d'entraînement avec des GPU, votre conteneur personnalisé doit répondre à quelques exigences particulières. Vous devez créer une image Docker différente de celle que vous utiliseriez pour l'entraînement avec des processeurs.

  • Préinstallez CUDA Toolkit et cuDNN dans votre image Docker. La méthode recommandée pour créer un conteneur personnalisé compatible avec les GPU consiste à utiliser l'image nvidia/cuda comme image de base pour votre conteneur personnalisé. L'image de conteneur nvidia/cuda possède des versions correspondantes de CUDA Toolkit et cuDNN pré-installées, ce qui vous aide à configurer correctement les variables d'environnement associées.
  • Installez votre application d'entraînement, ainsi que le framework de ML requis et d'autres dépendances, dans votre image Docker.

Consultez un exemple de fichier Dockerfile pour l'entraînement avec des GPU.

Étape suivante