Présentation de l'environnement d'OS des VM d'une tâche

Ce document explique les concepts de l'environnement du système d'exploitation (OS), à savoir les disques de démarrage et l'image du système d'exploitation, pour les instances de machine virtuelle (VM) Compute Engine qui exécutent des tâches par lot.

Une tâche est exécutée en exécutant les instructions sur le disque de démarrage de chacune de ses VM. Chaque disque de démarrage contient un bootloader, un système de fichiers et un OS. Vous pouvez configurer l'environnement d'OS de la VM pour une tâche en effectuant l'une des opérations suivantes:

  • Pour ne configurer que le logiciel sur les disques de démarrage, spécifiez l'image de l'OS de la VM de la tâche.
  • Pour configurer des propriétés du disque de démarrage, y compris l'image de l'OS de la VM, la taille du disque et/ou le type de disque, personnalisez les disques de démarrage de la tâche.

Les sections suivantes décrivent quand configurer l'environnement d'OS, l'environnement d'OS par défaut, les options d'image d'OS de VM et les options de disque de démarrage.

Quand configurer l'environnement de l'OS

Consultez cette section pour déterminer si vous devez configurer l'image de l'OS de la VM et/ou les disques de démarrage lorsque vous créez une tâche ou utilisez la configuration par défaut.

Configurez l'image de l'OS de la VM pour une tâche dans les cas suivants:

  • Si la contrainte de règlement sur les images approuvées (compute.trustedImageProjects) vous empêche de créer une tâche avec l'image d'OS de VM par défaut.

    Pour en savoir plus sur la contrainte de règle relative aux images approuvées, consultez la section Contrôler l'accès aux images d'OS de VM pour Batch.

  • Si vous préférez ne pas utiliser l'image d'OS de VM par défaut pour votre tâche ou si vous ne pouvez pas le faire. Par exemple, si les exécutables que vous avez définis pour une tâche nécessitent une application non compatible avec l'image par défaut, vous pouvez peut-être spécifier une autre image d'OS de VM publique. Si vous souhaitez préinstaller une application requise pour votre tâche afin de réduire le temps d'exécution, vous pouvez créer et spécifier une image personnalisée.

Configurez le disque de démarrage d'une tâche dans les cas suivants:

  • Si vous préférez ne pas utiliser le disque de démarrage par défaut pour votre tâche ou si vous ne pouvez pas le faire. Par exemple, si les exécutables ou l'image du système d'exploitation de la VM que vous avez définis pour une tâche nécessitent un espace de stockage supplémentaire sur le disque de démarrage, vous devrez peut-être personnaliser le disque de démarrage d'une tâche pour augmenter sa taille.

Si vous ne savez toujours pas si votre tâche nécessite de configurer l'image de l'OS de la VM et/ou les disques de démarrage, vous pouvez consulter la section suivante pour comprendre la configuration par défaut. Vous pouvez également simplement essayer de créer et d'exécuter la tâche avec la configuration par défaut. Si la tâche échoue avec la configuration par défaut, vous pouvez essayer de déterminer si le problème a été causé par l'image de l'OS de la VM ou par le disque de démarrage en effectuant un dépannage.

Sinon, si vous n'avez pas besoin de configurer l'image de l'OS de la VM et/ou le disque de démarrage pour une tâche, laissez ces propriétés non définies pour utiliser la configuration par défaut.

Environnement d'OS par défaut

Consultez cette section pour comprendre la configuration par défaut de l'image du système d'exploitation de la VM et des disques de démarrage d'une tâche. Par exemple, vous pouvez utiliser la configuration par défaut comme référence lorsque vous déterminez comment configurer l'environnement de l'OS pour une tâche.

Lorsque vous créez un job et que vous ne définissez pas l'image de l'OS de la VM, le job utilise par défaut l'une des images d'OS de VM suivantes:

  • Si la tâche ne comporte que des exécutables de conteneur, elle utilise la dernière version de l'image de Container-Optimized OS (COS) de traitement par lot.
  • Dans le cas contraire, la tâche utilise la dernière version de l'image Debian par lot.

Lorsque vous créez une tâche et que vous ne définissez pas les autres propriétés des disques de démarrage, la tâche utilise par défaut les options suivantes:

  • type de disque persistant: le type de disque persistant par défaut pour les disques de démarrage est pd-balanced.

  • size: la taille par défaut du disque de démarrage de chaque VM est déterminée par la formule suivante pour \({defaultBootDiskSize}\). De plus, la taille par défaut est arrondie pour être d'au moins 30 Go et de 10 000 Go maximum.

    \[{defaultBootDiskSize}={reservedSize}+({taskSize}*{parallelTasksPerVm})\]

    Cette formule comporte les valeurs suivantes:

    • \({reservedSize}\): taille réservée en Go pour les logiciels requis pour la VM, tels que l'image de l'OS de la VM. Pour la taille de disque de démarrage par défaut, Batch réserve 10 Go.

    • \({taskSize}\): taille du disque de démarrage pour chaque tâche en Go, déterminée en convertissant les unités du champ Taille du disque de démarrage par tâche (bootDiskMib).

    • \({parallelTasksPerVM}\): nombre maximal de tâches pouvant s'exécuter simultanément sur une VM. Pour en savoir plus, consultez la formule pour \({parallelTasksPerVM}\).

  • interface : l'interface est automatiquement sélectionnée comme NVMe ou SCSI, en fonction du type de machine des VM de votre tâche. Vous pouvez éventuellement spécifier un type de machine lorsque vous définissez le type de ressources à utiliser pour une tâche. Pour connaître l'interface par défaut de chaque type de machine, consultez la section Choisir une interface dans la documentation Compute Engine.

Options d'image d'OS de VM

Les sections suivantes décrivent les options d'image de l'OS de la VM pour Batch, y compris tous les types d'images de l'OS de la VM compatibles avec les tâches Batch et les restrictions applicables aux images de l'OS de la VM compatibles. Lorsque vous spécifiez l'image de l'OS de la VM pour une tâche, vous pouvez spécifier un nom ou une famille d'image pour l'une des images de l'OS de la VM compatibles autorisées par les restrictions.

Images d'OS de VM compatibles

Les tâches par lot sont compatibles avec les types d'images d'OS de VM suivants:

  • Images publiques:images fournies et gérées par Google, par des communautés Open Source et par des fournisseurs tiers. Plus précisément, les tâches par lot peuvent utiliser des images publiques de Batch ou de Compute Engine.

    • Images Batch:images fournies et gérées par Batch en fonction des OS Compute Engine, stockées dans le projet d'image batch-custom-image et recommandées pour les tâches Batch.

      Les images de lot sont disponibles dans les systèmes d'exploitation suivants. Lorsque vous affichez des familles et des noms d'images à partir de Batch, l'OS est indiqué par le préfixe correspondant.

      • Debian Batch (préfixe batch-debian) : système d'exploitation basé sur des images Debian de Compute Engine optimisé pour les tâches Batch. Cet OS est utilisé par défaut pour les tâches contenant des exécutables de script.

      • OS Container-Optimized OS (préfixe batch-cos) : système d'exploitation basé sur les images Container-Optimized OS de Compute Engine, optimisé pour les tâches Batch avec des conteneurs. Cet OS est utilisé par défaut pour les tâches ne comportant que des exécutables de conteneur.

      • Rocky Linux (préfixe batch-hpc-rocky) pour le calcul hautes performances (HPC) par lot : OS basé sur les images Rocky Linux HPC de Compute Engine, optimisé pour les tâches par lot avec des charges de travail HPC.

      • CentOS Batch (préfixe batch-centos) : OS basé sur les images Linux CentOS de Compute Engine optimisé pour les tâches Batch.

      • CentOS HPC (High-Performance Computing) par lot (préfixe batch-hpc-centos) : OS basé sur les images CentOS HPC de Compute Engine, optimisé pour les tâches par lot avec des charges de travail HPC.

      Pour afficher les noms et familles d'images spécifiques de Batch que vous pouvez spécifier pour une tâche, suivez la procédure permettant d'afficher les images d'OS de VM à partir de Batch.

    • Images Compute Engine:images publiques disponibles sur Compute Engine, décrites sur la page Détails des systèmes d'exploitation de la documentation Compute Engine.

      Le traitement par lot n'est compatible qu'avec les images Compute Engine en disponibilité générale (DG) provenant des systèmes d'exploitation suivants:

  • Images personnalisées:images que vous créez, que vous possédez et dont vous contrôlez l'accès à l'aide de Compute Engine. Pour en savoir plus sur les images personnalisées, consultez la documentation de Compute Engine.

Restrictions concernant les images de système d'exploitation de VM

Les images d'OS de VM compatibles qu'une tâche peut spécifier sont soumises aux restrictions suivantes:

  • Les images par lot marquées comme obsolètes ne sont pas forcément compatibles. La durée de vie minimale prise en charge pour les images de lot est la plus ancienne des dates suivantes:

    • 60 jours après la date de début de l'image. La date de début d'une image de lot est indiquée dans son nom. Par exemple, l'image batch-cos-stable-official-20230719-00-p00 date du 19 juillet 2023 (20230719).
    • Date à laquelle la version de base du système d'exploitation Compute Engine est obsolète. La date à laquelle chaque version de système d'exploitation Compute Engine est obsolète est indiquée sur la page Détails des systèmes d'exploitation de la documentation Compute Engine.

  • Certaines configurations de tâches nécessitent un accès externe à l'image. Plus précisément, lorsqu'une tâche n'a pas d'accès externe et n'autorise pas l'accès via Cloud NAT ou l'accès privé à Google, seules les images suivantes sont acceptées:

    • Pour les tâches qui utilisent un ou plusieurs GPU et uniquement des exécutables de conteneur, seule l'image par défaut (la dernière image Container-Optimized OS de traitement par lot) est prise en charge.
    • Sinon, les tâches n'acceptent que les images Batch.

  • Si la contrainte du règlement relatif aux images de confiance est activée, vous ne pouvez pas utiliser aucune image d'OS de VM que le règlement relatif aux images de confiance n'autorise pas.

    Un administrateur de votre projet, dossier ou organisation peut éventuellement configurer la contrainte de stratégie d'images approuvées pour limiter les images de l'OS de la VM pouvant être utilisées pour créer des disques de démarrage. Par exemple, la contrainte de règle relative aux images approuvées peut être utilisée pour obliger les utilisateurs à créer des VM contenant des logiciels approuvés conformes à vos règles ou exigences de sécurité. Pour en savoir plus, consultez la section Contrôler l'accès aux images d'OS de VM pour Batch.

  • L'image du système d'exploitation de la VM pour votre tâche doit comporter les pilotes de l'interface de ses disques de démarrage et de tous les volumes de stockage sur disque persistant installés. La plupart des images publiques installent automatiquement les pilotes NVMe et SCSI, y compris toutes les images de lot.

    Vous ne pouvez pas configurer l'interface des disques persistants. L'image de l'OS de la VM nécessite donc les pilotes de l'interface par défaut.

  • Si une tâche spécifie une image d'OS de VM qui n'est ni une image de lot ni une image personnalisée basée sur une image de lot, Batch installe les packages requis sur les VM de la tâche après leur démarrage. Ces packages requis peuvent varier pour différentes configurations de tâches et changer au fil du temps. Ils sont nécessaires pour que Batch exécute la tâche.

Options du disque de démarrage

Cette section décrit les options de type et de taille des disques de démarrage pour le traitement par lot. Lorsque vous personnalisez les disques de démarrage d'une tâche, vous pouvez spécifier l'image, le type et/ou la taille de l'OS de la VM. Pour en savoir plus sur la spécification de l'image de l'OS de la VM, consultez plutôt la section Options d'image de l'OS de la VM de ce document.

Pour le type de disque de démarrage, Batch est compatible avec tous les types de disques persistants de la documentation Compute Engine.

Pour la taille du disque de démarrage, Batch est compatible avec toutes les tailles et incréments pour les disques persistants de la documentation Compute Engine qui répondent aux exigences suivantes:

  • Pour les tâches par lot, la taille minimale du disque de démarrage est de 30 Go.

  • Pour qu'une tâche par lot s'exécute correctement, la taille du disque de démarrage doit être suffisante pour allouer l'image de l'OS de la VM de la tâche et les tâches exécutées sur chaque VM. Par exemple, consultez la formule de la taille du disque de démarrage par défaut dans ce document.

Étape suivante