Ce document explique comment définir les ressources de VM pour un job par lot en spécifiant un modèle d'instance de VM Compute Engine lors de la création du job.
Les types de ressources de VM sur lesquels une tâche s'exécute (sous-champs instances[]
) sont automatiquement définis par Batch, sauf si vous les définissez à l'aide de l'une des méthodes suivantes:
- Utilisez le champ
policy
pour définir directement les ressources de VM d'une tâche, comme illustré dans la section Créer une tâche de base. - Utilisez le champ
instanceTemplate
pour définir les ressources de VM d'un job en spécifiant un modèle d'instance de VM, comme expliqué dans ce document. Cette méthode est requise pour créer un job qui utilise des images de VM autres que celles par défaut.
Avant de commencer
- Si vous n'avez jamais utilisé Batch, consultez la page Premiers pas avec Batch et activez Batch en remplissant les conditions préalables pour les projets et les utilisateurs.
-
Pour obtenir les autorisations nécessaires pour créer une tâche, demandez à votre administrateur de vous attribuer les rôles IAM suivants:
-
Éditeur de tâches par lot (
roles/batch.jobsEditor
) sur le projet -
Utilisateur du compte de service (
roles/iam.serviceAccountUser
) sur le compte de service du job, qui est par défaut le compte de service Compute Engine par défaut -
Créez un job à partir d'un modèle d'instance de VM Compute Engine : Lecteur de Compute (
roles/compute.viewer
) sur le modèle d'instance de VM
Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
-
Éditeur de tâches par lot (
Créer un job à l'aide d'un modèle d'instance de VM Compute Engine
Cette section fournit des exemples illustrant comment créer une tâche de script de base à partir d'un modèle d'instance de VM existant. Vous pouvez créer un job à partir d'un modèle d'instance de VM à l'aide de la gcloud CLI, de l'API Batch, de Go, Java, Node.js, Python ou C++.
gcloud
Pour créer une tâche à partir d'un modèle d'instance de VM à l'aide de gcloud CLI, utilisez la commande gcloud batch jobs submit
et spécifiez le modèle d'instance de VM dans le fichier de configuration JSON de la tâche.
Par exemple, pour créer une tâche de script de base à partir d'un modèle d'instance de VM:
Dans le répertoire actuel, créez un fichier JSON nommé
hello-world-instance-template.json
avec le contenu suivant:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "installGpuDrivers": INSTALL_GPU_DRIVERS, "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Remplacez les éléments suivants :
INSTALL_GPU_DRIVERS
: facultatif. Lorsque ce paramètre est défini surtrue
, Batch extrait les pilotes requis pour le type de GPU que vous spécifiez dans votre modèle d'instance de VM Compute Engine, et Batch les installe pour vous. Pour en savoir plus, découvrez comment créer une tâche qui utilise un GPU.INSTANCE_TEMPLATE_NAME
: nom d'un modèle d'instance de VM Compute Engine existant. Découvrez comment créer et répertorier des modèles d'instance.
Exécutez la commande ci-dessous.
gcloud batch jobs submit example-template-job \ --location us-central1 \ --config hello-world-instance-template.json
API
Pour créer une tâche de base à l'aide de l'API Batch, utilisez la méthode jobs.create
et spécifiez un modèle d'instance de VM dans le champ allocationPolicy
.
Par exemple, pour créer des tâches de script de base à partir d'un modèle d'instance de VM, utilisez la requête suivante:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"installGpuDrivers": INSTALL_GPU_DRIVERS,
"instanceTemplate": "INSTANCE_TEMPLATE_NAME"
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Remplacez les éléments suivants :
PROJECT_ID
: ID de votre projet.INSTALL_GPU_DRIVERS
: facultatif. Lorsque ce paramètre est défini surtrue
, Batch extrait les pilotes requis pour le type de GPU que vous spécifiez dans votre modèle d'instance de VM Compute Engine, et Batch les installe pour vous. Pour en savoir plus, découvrez comment créer une tâche qui utilise un GPU.INSTANCE_TEMPLATE_NAME
: nom d'un modèle d'instance de VM Compute Engine existant. Découvrez comment créer et lister des modèles d'instance.
Go
Go
Pour en savoir plus, consultez la documentation de référence de l'API Batch Go.
Pour vous authentifier auprès de Batch, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Java
Pour en savoir plus, consultez la documentation de référence de l'API Batch Java.
Pour vous authentifier auprès de Batch, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Node.js
Pour en savoir plus, consultez la documentation de référence de l'API Batch Node.js.
Pour vous authentifier auprès de Batch, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Python
Pour en savoir plus, consultez la documentation de référence de l'API Batch Python.
Pour vous authentifier auprès de Batch, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
C++
C++
Pour en savoir plus, consultez la documentation de référence de l'API Batch C++.
Pour vous authentifier auprès de Batch, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Étapes suivantes
- Si vous rencontrez des problèmes pour créer ou exécuter un job, consultez la section Dépannage.
- Afficher les jobs et les tâches
- Apprenez-en plus sur les options de création de tâches.