Cette page explique comment migrer vers Batch depuis Cloud Life Sciences.
Le 17 juillet 2023, Google Cloud a annoncé l'abandon de Cloud Life Sciences, qui était en version bêta. Le service ne sera plus disponible sur Google Cloud après le 8 juillet 2025. Cependant, Batch est en disponibilité générale et constitue un successeur complet qui prend en charge tous les cas d'utilisation de Cloud Life Sciences.
Apprenez-en plus sur Batch, Cloud Life Sciences et les étapes de lancement des produits.
Cloud Life Sciences et Batch
La migration de Cloud Life Sciences vers Batch implique principalement de comprendre comment utiliser Batch pour les charges de travail que vous exécutez actuellement en exécutant des pipelines Cloud Life Sciences.
Pour comprendre comment exécuter vos charges de travail Cloud Life Sciences sur Batch, consultez toutes les sections suivantes:
Présentation
Un pipeline Cloud Life Sciences décrit une séquence d'actions (conteneurs) à exécuter et l'environnement dans lequel exécuter les conteneurs.
Une tâche par lot décrit un tableau d'une ou plusieurs tâches et l'environnement dans lequel exécuter ces tâches. Vous définissez la charge de travail d'une tâche comme une séquence d'un ou plusieurs exécutables (conteneurs et/ou scripts) à exécuter. Chaque tâche d'une tâche représente une exécution de sa séquence d'exécutables.
Les pipelines Cloud Life Sciences peuvent être exprimés sous la forme de jobs par lot à tâche unique.
Les exemples suivants décrivent un pipeline Cloud Life Sciences simple et sa tâche par lot équivalente:
| Pipeline Cloud Life Sciences | Job par lot |
|---|---|
{
"actions": [
{
"imageUri": "bash",
"commands": [
"-c",
"echo Hello, world!"
]
}
]
}
|
{
"taskGroups" : [{
"taskSpec" : {
"runnables" : [{
"container":{
"imageUri": "bash",
"commands": [
"-c",
"echo Hello, world!"
]
}
}]
}
}]
}
|
Les jobs par lot multitâches sont semblables aux pipelines Cloud Life Sciences copiés.
Contrairement à Cloud Life Sciences, Batch vous permet de planifier automatiquement plusieurs exécutions de votre charge de travail. Vous indiquez le nombre de fois que vous souhaitez exécuter la séquence d'exécutables pour une tâche en définissant le nombre de tâches. Lorsqu'une tâche comporte plusieurs tâches, vous spécifiez la manière dont vous souhaitez que chaque exécution varie en référençant l'index de la tâche dans vos exécutables. En outre, vous pouvez configurer les planifications relatives des tâches d'une tâche, par exemple pour autoriser l'exécution de plusieurs tâches en parallèle ou exiger que les tâches s'exécutent dans un ordre séquentiel et une par une. Batch gère la planification des tâches du job : lorsqu'une tâche se termine, celle-ci lance automatiquement la tâche suivante, le cas échéant.
Par exemple, reportez-vous au job par lot suivant. Cet exemple de tâche comporte 100 tâches exécutées sur 10 instances de machine virtuelle (VM) Compute Engine. Environ 10 tâches s'exécutent donc en parallèle à un moment donné. Dans cet exemple de tâche, chaque tâche n'exécute qu'un seul exécutable : un script qui imprime un message et l'index de la tâche, défini par la variable d'environnement prédéfinie BATCH_TASK_INDEX.
{
"taskGroups" : [{
"taskSpec" : {
"runnables" : [{
"script":{
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}."
}
}]
},
"taskCount": 100,
"parallelism": 10
}]
}
Les workflows qui impliquent la création et la surveillance de plusieurs pipelines Cloud Life Sciences similaires peuvent parfois être simplifiés en tirant parti de la planification intégrée de Batch.
Opérations de base
Cette section décrit les opérations de base dans Cloud Life Sciences et dans Batch.
Le tableau suivant récapitule les options de base pour les opérations Cloud Life Sciences et Batch.
| Opération de base | Options de Cloud Life Sciences | Options de traitement par lot |
|---|---|---|
| Exécuter une charge de travail |
|
|
| Affichez toutes vos charges de travail. |
|
|
| Affichez les détails et l'état d'une charge de travail. |
|
|
| Arrêter et supprimer une charge de travail |
|
|
Les opérations de base de Cloud Life Sciences et de Batch présentent quelques différences clés.
Premièrement, les ressources opération de longue durée ne jouent pas le même rôle dans Batch que dans Cloud Life Sciences.
Les ressources d'opérations de longue durée (LRO) dans Cloud Life Sciences sont la principale ressource utilisée pour répertorier et afficher vos pipelines. Toutefois, les ressources d'opérations de longue durée dans Batch et d'autres API Google Cloud ne sont utilisées que pour surveiller l'état d'une requête dont l'exécution prend beaucoup de temps. Plus précisément, dans Batch, la seule requête qui renvoie une ressource d'opération de longue durée est la suppression d'une tâche.
Pour en savoir plus sur les ressources d'opération de longue durée pour Batch, consultez la documentation de référence de l'API Batch pour la ressource REST projects.locations.operations.
Plutôt que d'utiliser des ressources d'opération de longue durée, Batch dispose de ressources de tâches que vous pouvez afficher et supprimer pour vos charges de travail.
Deuxièmement, l'affichage des détails d'une charge de travail dans Batch implique des opérations différentes de celles de Cloud Life Sciences. Vous pouvez afficher une tâche pour consulter ses détails et son état. Cependant, chacune des tâches d'une tâche possède également ses propres détails et son état. Vous pouvez les consulter en affichant la liste des tâches et les détails d'une tâche.
Pour vous aider à mieux comprendre les opérations de base entre Cloud Life Sciences et Batch, les sections suivantes fournissent des exemples de commandes Google Cloud CLI et de chemins de requêtes API pour certaines de ces opérations de base.
Exemples de commandes de gcloud CLI
Pour gcloud CLI, les commandes Cloud Life Sciences commencent par gcloud beta lifesciences et les commandes Batch commencent par gcloud batch.
Par exemple, consultez les commandes de gcloud CLI suivantes.
Exemples de commandes de la gcloud CLI pour Cloud Life Sciences:
Exécutez un pipeline:
gcloud beta lifesciences pipelines run \ --project=PROJECT_ID \ --regions=LOCATION \ --pipeline-file=JSON_CONFIGURATION_FILEObtenez les détails d'une opération de longue durée:
gcloud beta lifesciences operations describe OPERATION_ID
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet.LOCATION: emplacement du pipeline.JSON_CONFIGURATION_FILE: fichier de configuration JSON pour le pipeline.OPERATION_ID: identifiant de l'opération de longue durée, renvoyé par la requête pour exécuter le pipeline.
Exemples de commandes de gcloud CLI par lot:
Créez et exécutez un job:
gcloud batch jobs submit JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \ --config=JSON_CONFIGURATION_FILEPour afficher les détails d'une mission, procédez comme suit:
gcloud batch jobs describe JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \Afficher la liste des tâches d'un job:
gcloud batch tasks list \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAMEAffichez les détails d'une tâche:
gcloud batch tasks describe TASK_INDEX \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAME \ --task_group=TASK_GROUPSupprimer (et annuler) un job:
gcloud batch jobs delete JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION
Remplacez les éléments suivants :
JOB_NAME: nom de la tâche.PROJECT_ID: ID de votre projet.LOCATION: lieu de la tâche.JSON_CONFIGURATION_FILE: chemin d'accès à un fichier JSON contenant les détails de configuration de la tâche.TASK_INDEX: index de la tâche dont vous souhaitez afficher les détails. Dans un groupe de tâches, l'index de tâches commence à 0 pour la première tâche et augmente de 1 à chaque tâche supplémentaire. Par exemple, un groupe de tâches contenant quatre tâches possède les index0,1,2et3.TASK_GROUP_NAME: nom du groupe de tâches dont vous souhaitez afficher les détails. La valeur doit être définie surgroup0.
Exemples de chemins de requêtes API
Pour les API, Cloud Life Sciences utilise des chemins de requête lifesciences.googleapis.com et Batch utilise des chemins de requête batch.googleapis.com.
Par exemple, consultez les chemins de requêtes API suivants. Contrairement à Cloud Life Sciences, Batch ne dispose pas d'API RPC, mais dispose uniquement d'une API REST.
Exemples de chemins de requêtes API Cloud Life Sciences:
Exécutez un pipeline:
POST https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/pipelines:runObtenez les détails d'une opération de longue durée:
GET https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet.LOCATION: emplacement du pipeline.OPERATION_ID: identifiant de l'opération de longue durée, renvoyé par la requête pour exécuter le pipeline.
Exemples de chemins de requêtes API par lot:
Créez et exécutez un job:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAMEPour afficher les détails d'une mission, procédez comme suit:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAMEAfficher la liste des tâches d'un job:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME/taskGroups/TASK_GROUP/tasksSupprimer une offre d'emploi
DELETE https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAMEVérifiez l'état de la demande de suppression d'un job:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Remplacez les éléments suivants :
PROJECT_ID: ID de votre projet.LOCATION: lieu de la tâche.JOB_NAME: nom de la tâche.TASK_GROUP_NAME: nom du groupe de tâches dont vous souhaitez afficher les détails. La valeur doit être définie surgroup0.OPERATION_ID: identifiant de l'opération de longue durée, qui a été renvoyé par la requête de suppression de la tâche.
Rôles et autorisations IAM
Cette section résume les différences au niveau des rôles et des autorisations Identity and Access Management pour Cloud Life Sciences et Batch. Pour en savoir plus sur les rôles et leurs autorisations, consultez la documentation de référence sur les rôles de base et prédéfinis IAM.
Le tableau suivant décrit les rôles prédéfinis et leurs autorisations requis pour les utilisateurs de Cloud Life Sciences.
| Rôles Cloud Life Sciences | Autorisations |
|---|---|
Parmi les suivantes :
|
|
Lecteur Cloud Life Sciences (roles/lifesciences.viewer) sur le projet |
|
Le tableau suivant décrit certains des rôles prédéfinis et leurs autorisations pour Batch. Contrairement à Cloud Life Sciences, Batch nécessite que vous accordiez des autorisations aux utilisateurs et au compte de service pour une tâche. Pour en savoir plus sur les exigences IAM, consultez la section Conditions préalables pour Batch.
| Rôles par lot pour les utilisateurs | Autorisations |
|---|---|
Éditeur de jobs par lot (roles/batch.jobsEditor) sur le projet |
|
Lecteur de tâches par lot (roles/batch.jobsViewer) sur le projet |
|
Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service de la tâche |
|
| Rôles par lot pour les comptes de service | Autorisations |
Responsable du signalement de l'agent Batch (roles/batch.agentReporter) au niveau du projet |
|
Fonctionnalités correspondantes
Le tableau suivant décrit les fonctionnalités de Cloud Life Sciences et les fonctionnalités équivalentes pour Batch, ainsi que les différences entre ces fonctionnalités.
Chaque élément géographique est représenté par une description et sa syntaxe JSON. Vous pouvez utiliser la syntaxe JSON lorsque vous accédez à Batch via l'API ou lorsque vous spécifiez un fichier de configuration JSON via la Google Cloud CLI. Toutefois, notez que vous pouvez également utiliser les fonctionnalités Batch par le biais d'autres méthodes, telles que les champs de la console Google Cloud, les options gcloud CLI et les bibliothèques clientes, qui sont décrites dans la documentation de Batch.
Pour en savoir plus sur chaque fonctionnalité et sur sa syntaxe JSON, consultez les pages suivantes:
Pour Cloud Life Sciences, consultez la documentation de référence de l'API Cloud Life Sciences pour la ressource REST
projects.locations.pipelines.Pour Batch, consultez la documentation de référence de l'API Batch pour la ressource REST
projects.locations.jobs.
| Fonctionnalités de Cloud Life Sciences | Caractéristiques par lot | Détails |
|---|---|---|
pipeline (pipeline) |
tâche (job) et les tâches associées (taskGroups[]) |
Une tâche par lot consiste en un tableau d'une ou de plusieurs tâches qui exécutent chacune les mêmes exécutables. Un pipeline Cloud Life Sciences est semblable à un job par lot comportant une tâche. Cependant, Cloud Life Sciences n'a pas de concept équivalent pour les tâches (tâches avec plusieurs) qui ressemblent à des répétitions d'un pipeline. Pour en savoir plus sur les tâches et les tâches, consultez la page Présentation de Batch. |
Actions (actions[]) pour un pipeline |
exécutables (runnables[]) pour les tâches d'une tâche |
Une action Cloud Life Sciences décrit un conteneur, mais un exécutable Batch peut contenir un conteneur ou un script. |
identifiants (credentials) pour une action |
pour un conteneur exécutable: |
Dans Cloud Life Sciences, les identifiants d'une action doivent correspondre à un dictionnaire chiffré par Cloud Key Management Service avec des paires clé/valeur nom d'utilisateur et mot de passe. Dans Batch, le nom d'utilisateur et le mot de passe pour un conteneur exécutable se trouvent dans des champs distincts. Chaque champ peut être spécifié en texte brut ou avec le nom d'un secret Secret Manager. |
pour une action:
|
pour un environnement:
les environnements possibles:
|
Cloud Life Sciences vous permet de spécifier les variables d'environnement pour une action au format texte brut ou dictionnaire chiffré.
Dans Batch, cela revient à disposer de l'environnement d'un exécutable (champ Toutefois, Batch offre également d'autres options pour spécifier des variables d'environnement:
Pour en savoir plus, consultez la section Utiliser des variables d'environnement. |
les étiquettes d'une requête pour exécuter un pipeline (labels dans le corps de la requête) ; |
des étiquettes pour une tâche (labels dans la ressource de tâche) ; |
Contrairement à Cloud Life Sciences, Batch n'inclut pas de champ de libellés dans la requête de création de job. L'option la plus proche pour Batch consiste à utiliser des étiquettes qui ne sont associées qu'à la tâche. Batch comporte plusieurs types d'étiquettes (champs |
régions (regions[]) et zones (zones[]) pour les ressources d'un pipeline (resources) |
emplacements autorisés (allowedLocations) pour la règle d'emplacement des ressources d'un job (locationPolicy) |
Dans Cloud Life Sciences, un pipeline s'exécute sur une seule VM, pour laquelle vous pouvez spécifier les régions et/ou les zones souhaitées. Dans Batch, l'option équivalente est les emplacements autorisés pour une tâche, que vous pouvez définir comme une ou plusieurs régions ou zones et spécifier où les VM d'une tâche peuvent être créées. Toutes les VM d'un même job par lot appartiennent à un seul groupe d'instances géré (MIG) qui existe dans une région particulière. Cependant, les VM individuelles peuvent se trouver dans des zones différentes de cette région. En particulier, la spécification du champ des lieux autorisés pour une tâche est facultative, car elle est distincte de son lieu. Contrairement à l'emplacement de la tâche, l'emplacement autorisé n'affecte pas l'emplacement utilisé pour créer un job par lot et stocker ses métadonnées. Pour en savoir plus, consultez la section Emplacements des lots. |
Pour les ressources d'un pipeline (
|
Pour la règle de ressources d'un job (
|
Dans Cloud Life Sciences, vous pouvez configurer la VM sur laquelle un pipeline s'exécute. Par lot, les mêmes options pour les VM sont disponibles dans les champs de la règle d'allocation des ressources d'un job (
|
pour une action:
|
pour un exécutable:
|
Ces différents indicateurs de commodité de Cloud Life Sciences sont équivalents dans Batch, sauf qu'ils sont spécifiés pour chaque exécutable (qui peut contenir un script ou un conteneur) plutôt que pour chaque action (conteneur). |
pour une action:
|
Options (options) pour un conteneur exécutable |
Ces options Cloud Life Sciences (et d'autres) sont disponibles dans Batch via le champ d'options ( |
pour une action:
|
aucun équivalent |
Batch précharge les images et traite les sorties de tous les exécutables de manière identique, conformément à la règle de journaux du job ( |
une option permettant de bloquer les réseaux externes (blockExternalNetwork) pour une action |
une option permettant de bloquer les réseaux externes (blockExternalNetwork) pour un conteneur exécutable |
L'option Cloud Life Sciences qui permet de bloquer les réseaux externes pour une action est semblable à l'option Batch qui permet de bloquer les réseaux externes pour un conteneur. Batch propose également de nombreuses autres options de mise en réseau, telles que le blocage des réseaux externes pour toutes les VM d'une tâche. Pour en savoir plus, consultez la section Présentation de la mise en réseau par lot. |
installations (mounts[]) pour une action |
les volumes pour tous les exécutables (volumes[] dans taskSpec) et les options de volume pour un conteneur (volumes[] dans container) |
Dans Batch, vous pouvez utiliser le champ De plus, Batch est compatible avec les options de volume explicites sur les exécutables de conteneurs à l'aide du champ Pour en savoir plus sur l'utilisation de volumes de stockage avec Batch, consultez la page Créer et exécuter un job qui utilise des volumes de stockage. |
option permettant d'activer Cloud Storage FUSE (enableFuse) pour une action |
aucun équivalent |
Batch gère l'installation de tous les volumes de stockage, tels qu'un bucket Cloud Storage, que vous spécifiez pour une tâche.
Par conséquent, vous n'activez aucun outil d'installation tel que Cloud Storage FUSE pour Batch. Toutefois, vous pouvez éventuellement spécifier des options d'installation pour vos volumes de stockage à l'aide du champ Pour en savoir plus sur l'utilisation des buckets Cloud Storage avec Batch, consultez la page Créer et exécuter un job qui utilise des volumes de stockage. |
Sujet Pub/Sub (pubSubTopic) pour une requête d'exécution d'un pipeline |
Pour les configurations de notification d'une tâche (
|
Batch permet une plus grande personnalisation des mises à jour d'état que Cloud Life Sciences. Par exemple, les utilisateurs Batch peuvent être avertis sur un sujet Pub/Sub lorsque des tâches individuelles changent d'état ou uniquement lorsque l'état global d'un job change. |
Services de workflow
Si vous utilisez un service de workflow avec Cloud Life Sciences, votre processus de migration implique également la configuration d'un service de workflow afin qu'il fonctionne avec Batch. Cette section récapitule les services de workflow que vous pouvez utiliser avec Batch. En plus des services de workflow listés dans cette section, Batch prévoit également de prendre en charge d'autres services de workflow au fil du temps.
Batch est compatible avec Workflows, un service de workflow de Google Cloud. Si vous souhaitez utiliser Workflows avec Batch, consultez la page Exécuter un job par lot à l'aide de Workflows. Sinon, le tableau suivant décrit d'autres services de workflows que vous pouvez utiliser pour Cloud Life Sciences et avec Batch. Ce tableau présente les principales différences liées à l'utilisation de chaque service de workflow avec Batch au lieu de Cloud Life Sciences. Vous y trouverez également des informations sur l'utilisation de chaque service de workflow par Batch.
| Service de workflow | Principales différences | Détails |
|---|---|---|
| Nextflow |
Pour utiliser un fichier de configuration Nextflow pour Cloud Life Sciences avec Batch, apportez les modifications suivantes:
|
Pour en savoir plus sur l'utilisation de Batch avec Nextflow, consultez le tutoriel Batch ou le tutoriel Nextflow. Pour en savoir plus sur les options de configuration, consultez la documentation Nextflow. |
| Cromwell |
Pour utiliser un fichier de configuration Cromwell pour l'API Cloud Life Sciences v2beta avec l'API Batch, apportez les modifications suivantes:
|
Pour en savoir plus sur l'utilisation de Batch avec Cromwell, consultez la documentation Cromwell pour Batch et le tutoriel Cromwell pour Batch. |
| Dsub |
Pour exécuter votre pipeline dsub à partir de l'API Cloud Life Sciences avec Batch, apportez les modifications suivantes:
|
Pour en savoir plus sur l'utilisation de Batch avec dsub, consultez la documentation de dsub sur Batch. |
Étapes suivantes
- Pour configurer Batch pour les nouveaux utilisateurs et projets, consultez la section Premiers pas.
- Pour savoir comment exécuter des charges de travail à l'aide de Batch, consultez la page Créer une tâche.