Présentation de l'environnement de système d'exploitation pour les VM d'un job

Ce document explique les concepts liés au système d'exploitation (OS) (les disques de démarrage et l'image de l'OS) Les instances de machines virtuelles (VM) Compute Engine qui s'exécutent Jobs par lot.

Pour exécuter une tâche, vous devez exécuter les instructions sur le disque de démarrage de chacun de ses à l'aide de VM. Chaque disque de démarrage contient un bootloader, un système de fichiers et un système d'exploitation. Vous pouvez configurer l'environnement d'OS de la VM pour une tâche en effectuant l'une des opérations suivantes :

  • Pour ne configurer que le logiciel sur les disques de démarrage, spécifiez l'image de l'OS de la VM de la tâche.
  • Pour configurer les propriétés du disque de démarrage, y compris l'image de l'OS de la VM, et/ou le type de disque, personnalisez les disques de démarrage de la tâche.

Les sections suivantes décrivent quand configurer l'environnement d'OS, l'environnement d'OS par défaut, les options d'image d'OS de VM et les options de disque de démarrage.

Quand configurer l'environnement du système d'exploitation

Consultez cette section pour déterminer si vous devez configurer l'image de l'OS de la VM de démarrage lorsque vous créez un job ou utilisez la configuration par défaut.

Configurez l'image d'OS de VM pour une tâche dans les cas suivants:

  • Si la contrainte de règlement sur les images approuvées (compute.trustedImageProjects) vous empêche de créer une tâche avec l'image d'OS de VM par défaut.

    Pour en savoir plus sur la contrainte de règle relative aux images approuvées, consultez la section Contrôler l'accès aux images d'OS de VM pour Batch.

  • Si vous préférez ne pas utiliser l'image d'OS de VM par défaut pour votre tâche ou si vous ne pouvez pas le faire. Par exemple, si les exécutables que vous avez définis pour une tâche nécessitent une application non compatible avec l'image par défaut, vous pouvez peut-être spécifier une autre image d'OS de VM publique. Si vous souhaitez préinstaller une application requise pour votre tâche afin de réduire le temps d'exécution, vous pouvez créer et spécifier une image personnalisée.

Configurez le disque de démarrage d'une tâche dans les cas suivants :

  • Si vous préférez ne pas utiliser le disque de démarrage par défaut pour votre tâche ou si vous ne pouvez pas le faire. Par exemple, si les exécutables ou l'image du système d'exploitation de la VM que vous avez définis pour une tâche nécessitent un espace de stockage supplémentaire sur le disque de démarrage, vous devrez peut-être personnaliser le disque de démarrage d'une tâche pour augmenter sa taille.

Si vous ne savez toujours pas si votre tâche nécessite de configurer l'image de l'OS de la VM et/ou les disques de démarrage, vous pouvez consulter la section suivante pour comprendre la configuration par défaut. Vous pouvez également simplement essayer de créer et d'exécuter la tâche avec la configuration par défaut. Si le job échoue avec la configuration par défaut, vous pouvez essayer de déterminer si le problème est causé par l'image de l'OS de la VM ou de disque de démarrage en suivant les étapes de dépannage.

Si vous n'avez pas besoin (et ne souhaitez pas) configurer l'image d'OS de la VM et/ou le disque de démarrage d'un job, ne les définissez pas afin d'utiliser configuration par défaut.

Environnement d'OS par défaut

Consultez cette section pour comprendre la configuration par défaut des paramètres une image d'OS de VM et des disques de démarrage. Par exemple, vous pouvez utiliser la configuration par défaut comme référence lorsque vous déterminez comment configurer l'environnement de l'OS pour une tâche.

Lorsque vous créez un job sans définir d'image d'OS de VM, celui-ci est défini par défaut sur à l'aide de l'une des images d'OS de VM suivantes:

  • Si la tâche ne contient que des exécutables de conteneur, elle utilise la dernière version de l'image Container-Optimized OS (COS) de traitement par lot.
  • Sinon, le job utilise la dernière version de la Image Debian.

Lorsque vous créez une tâche et que vous ne définissez pas les autres propriétés des disques de démarrage, la tâche utilise par défaut les options suivantes :

  • persistent disk type (type de disque persistant) : le type de disque persistant par défaut pour les disques de démarrage est pd-balanced.

  • size: taille par défaut de l'attribut le disque de démarrage de chaque VM est déterminé par formule pour \({defaultBootDiskSize}\). De plus, la taille par défaut est entre 30 Go et 10 000 Go.

    \[{defaultBootDiskSize}={reservedSize}+({taskSize}*{parallelTasksPerVm})\]

    Cette formule a les valeurs suivantes:

    • \({reservedSize}\) : taille réservée en Go pour le logiciel requis pour la VM, comme l'image du système d'exploitation de la VM. Pour la taille de disque de démarrage par défaut, Le traitement par lot réserve 10 Go.

    • \({taskSize}\): taille du disque de démarrage pour chaque tâche en Go, soit est déterminée en convertissant les unités champ de taille du disque de démarrage par tâche (bootDiskMib).

    • \({parallelTasksPerVM}\) : nombre maximal de tâches pouvant être exécutées simultanément sur une VM. Pour en savoir plus, consultez la formule pour \({parallelTasksPerVM}\).

  • : l'interface est automatiquement sélectionnée NVMe ou SCSI en fonction du type de machine des VM de votre job. Vous pouvez éventuellement spécifier un type de machine lorsque vous définir le type de ressources qu'une tâche doit utiliser. Pour connaître l'interface par défaut de chaque type de machine, consultez la section Choisir une interface dans la documentation Compute Engine.

Options d'image d'OS de VM

Les sections suivantes décrivent les options d'image de l'OS de la VM pour Batch, y compris tous les types d'images de l'OS de la VM compatibles avec les tâches Batch et les restrictions concernant les images de l'OS de la VM compatibles. Lorsque vous spécifiez l'image d'OS de VM pour une tâche : vous pouvez spécifier un nom ou une famille d'images pour n'importe quelle image d'OS de VM compatibles autorisées par les restrictions.

Images d'OS de VM compatibles

Les jobs par lot sont compatibles avec les types d'images d'OS de VM suivants:

  • Images publiques : images fournies et gérées par Google, par des communautés Open Source et par des fournisseurs tiers. Plus précisément, les jobs Batch peuvent utiliser des images publiques provenant Batch ou Compute Engine.

    • Images Batch : images fournies et gérées par Batch en fonction des OS Compute Engine, stockées dans le projet d'image batch-custom-image et recommandées pour les tâches Batch.

      Les images par lot sont disponibles dans les systèmes d'exploitation suivants. Lorsque vous affichez des familles d'images et des noms d'images à partir de Batch, le système d’exploitation est indiqué par le préfixe correspondant.

      • Debian par lot (préfixe batch-debian): un OS basé sur Images Debian depuis Compute Engine optimisé pour les jobs Batch. Cet OS est utilisé par défaut pour les jobs comportant n'importe quel exécutable de script.

      • Batch Container-Optimized OS (préfixe batch-cos): un système d’exploitation basé sur Images Container-Optimized OS de Compute Engine optimisé pour les jobs Batch avec des conteneurs. Ce Le système d'exploitation est le système d'exploitation par défaut pour les jobs ne comportant que des exécutables de conteneurs.

      • Rocky Linux (préfixe batch-hpc-rocky) pour le calcul hautes performances (HPC) par lot : OS basé sur les images Rocky Linux HPC de Compute Engine, optimisé pour les tâches par lot avec des charges de travail HPC.

      • CentOS Batch (préfixe batch-centos) : OS basé sur les images Linux CentOS de Compute Engine optimisé pour les tâches Batch.

      • Calcul hautes performances par lot (HPC) CentOS (préfixe batch-hpc-centos): un système d’exploitation basé sur Images HPC CentOS depuis Compute Engine optimisé pour les jobs Batch avec charges de travail HPC.

      Pour afficher les noms et familles d'images spécifiques de Batch que vous pouvez spécifier pour une tâche, suivez la procédure permettant d'afficher les images d'OS de VM à partir de Batch.

    • Images Compute Engine:images publiques disponibles sur Compute Engine, décrits dans le Page Détails du système d'exploitation dans la documentation Compute Engine.

      Le traitement par lot n'est compatible qu'avec les images Compute Engine en disponibilité générale (DG) provenant des systèmes d'exploitation suivants :

  • Images personnalisées:images que vous créer, posséder et contrôler les accès à l'aide de Compute Engine. Pour en savoir plus sur les images personnalisées, consultez la documentation de Compute Engine.

Restrictions concernant les images d'OS de VM

Les images d'OS de VM compatibles qu'une tâche peut spécifier sont soumises aux restrictions suivantes :

  • Les images de traitement par lot marquées comme obsolètes peuvent ne pas être pris en charge. La durée de vie minimale prise en charge pour les images de lot est la plus ancienne des dates suivantes :

    • 60 jours après la date de début de l'image. La date de début d'une L'image de lot est indiquée dans le nom de l'image, par exemple Par exemple, l'image batch-cos-stable-official-20230719-00-p00 date de juillet 19 juin 2023 (20230719).
    • Date à laquelle la version de base du système d'exploitation Compute Engine est obsolète. La date à laquelle chaque version de l'OS Compute Engine devient obsolète est indiquée sur la page Détails du système d'exploitation de la documentation Compute Engine.

  • Certaines configurations de tâche nécessitent un accès externe à l'image. Plus précisément, lorsqu'une tâche ne dispose pas d'un accès externe et n'autorise pas l'accès via Cloud NAT ou l'accès privé à Google, seuls images sont prises en charge:

    • Pour les tâches qui utilisent un ou plusieurs GPU et uniquement des exécutables de conteneur, seule l'image par défaut (la dernière image Container-Optimized OS de traitement par lot) est prise en charge.
    • Sinon, les tâches n'acceptent que les images Batch.

  • Si la contrainte de règle des images de confiance est activée, vous ne pouvez utiliser aucune image d'OS de VM que la règle des images de confiance n'autorise pas.

    Un administrateur de votre projet, dossier ou organisation peut éventuellement configurer la contrainte de stratégie d'images approuvées pour limiter les images de l'OS de la VM pouvant être utilisées pour créer des disques de démarrage. Par exemple, la contrainte de règle relative aux images approuvées peut être utilisée pour obliger les utilisateurs à créer des VM contenant des logiciels approuvés conformes à vos règles ou exigences de sécurité. Pour en savoir plus, consultez Contrôlez l'accès aux images d'OS de VM pour Batch.

  • L'image du système d'exploitation de la VM pour votre tâche doit comporter les pilotes de l'interface de ses disques de démarrage et de tous les volumes de stockage de disques persistants installés. La plupart des images publiques installent automatiquement les modes NVMe et SCSI (y compris toutes les images Batch).

    Vous ne pouvez pas configurer l'interface des disques persistants. L'image de l'OS de la VM nécessite donc les pilotes de l'interface par défaut.

  • Si une tâche spécifie une image d'OS de VM qui n'est ni une image de lot ni une image personnalisée basée sur une image de lot, Batch installe les packages requis sur les VM de la tâche après leur démarrage. Ces packages requis peuvent varier pour différentes configurations de tâches et changer au fil du temps. Ils sont nécessaires pour que Batch exécute la tâche.

Options du disque de démarrage

Cette section décrit les options de type et de taille des disques de démarrage pour le traitement par lot. Lorsque vous personnalisez les disques de démarrage d'une tâche, vous pouvez spécifier l'image, le type et/ou la taille de l'OS de la VM. Pour en savoir plus sur la spécification de l'image du système d'exploitation de la VM, consultez plutôt la section Options d'image du système d'exploitation de la VM de ce document.

Pour le type de disque de démarrage, Batch accepte tous les types de disques persistants documentation Compute Engine.

Pour la taille du disque de démarrage, Batch est compatible avec toutes les tailles et incréments pour les disques persistants de la documentation Compute Engine qui répondent aux exigences suivantes :

  • Pour les tâches par lot, la taille minimale du disque de démarrage est de 30 Go.

  • Pour qu'un job par lot s'exécute correctement, le disque de démarrage doit être suffisamment grande pour allouer l'image d'OS de la VM du job des tâches exécutées sur chaque VM. Par exemple, consultez la formule de la taille du disque de démarrage par défaut dans ce document.

Étape suivante