Questa pagina descrive come eseguire la migrazione a Batch da Cloud Life Sciences.
Il 17 luglio 2023, Google Cloud ha annunciato che Cloud Life Sciences, che era in versione beta, è stata ritirata. Il servizio non sarà più disponibile su Google Cloud dopo l'8 luglio 2025. Tuttavia, l'API Batch generalmente disponibile ed è un successore completo che supporta tutti i casi d'uso per Cloud Life Sciences.
Scopri di più su Batch, Cloud Life Sciences e lancio del prodotto fasi.
Confronto tra Cloud Life Sciences e batch
Migrazione da Cloud Life Sciences a batch implica principalmente la comprensione di come utilizzare Batch per i carichi di lavoro attualmente eseguiti eseguendo pipeline di Cloud Life Sciences.
Per capire come puoi eseguire Cloud Life Sciences carichi di lavoro standard su Batch, consulta le sezioni seguenti:
Panoramica
Una pipeline Cloud Life Sciences descrive una sequenza di azioni (container) da eseguire e l'ambiente in cui eseguire i container.
Un job batch descrive un array di una o più attività e il dell'ambiente in cui eseguire queste attività. Puoi definire il carico di lavoro per un job come uno sequenza di uno o più eseguibili (container e/o script) da eseguire. Ogni attività per un job rappresenta un'esecuzione della sua sequenza di elementi eseguibili.
Le pipeline di Cloud Life Sciences possono essere espresse come job batch a singola attività.
Ad esempio, i seguenti esempi descrivono una semplice Pipeline Cloud Life Sciences e equivalente Job batch:
| Pipeline Cloud Life Sciences | Job batch |
|---|---|
{
"actions": [
{
"imageUri": "bash",
"commands": [
"-c",
"echo Hello, world!"
]
}
]
}
|
{
"taskGroups" : [{
"taskSpec" : {
"runnables" : [{
"container":{
"imageUri": "bash",
"commands": [
"-c",
"echo Hello, world!"
]
}
}]
}
}]
}
|
I job batch con più attività sono simili alle pipeline di Cloud Life Sciences copiate.
A differenza di Cloud Life Sciences, Batch ti consente di pianificare automaticamente più esecuzioni del carico di lavoro. Indichi il numero di volte in cui vuoi eseguire la sequenza di eseguibili per un job definendo il numero di attività. Quando un job ha più attività, specifichi in che modo ogni esecuzione deve variare fare riferimento all'indice dell'attività nei eseguibili. Inoltre, puoi configurare le pianificazioni relative alle attività di un job, ad esempio se consentire l'esecuzione in parallelo di più attività o richiederle essere eseguiti in ordine sequenziale e uno alla volta. Batch gestisce la pianificazione delle attività del job: al termine di un'attività, il job avvia automaticamente l'attività successiva, se presente.
Ad esempio, vedi il seguente job batch. Questo esempio
include 100 attività eseguite su 10 Compute Engine virtuali
di macchine (VM), quindi ci sono circa 10 attività in esecuzione in parallelo
in qualsiasi momento. Ogni attività in questo job di esempio esegue solo un eseguibile:
uno script che stampa un messaggio e l'indice dell'attività, definito dal
BATCH_TASK_INDEX variabile di ambiente predefinita.
{
"taskGroups" : [{
"taskSpec" : {
"runnables" : [{
"script":{
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}."
}
}]
},
"taskCount": 100,
"parallelism": 10
}]
}
Workflows che prevedono la creazione e il monitoraggio di più Le pipeline di Cloud Life Sciences a volte possono essere semplificate prendendo la pianificazione integrata di Batch.
Operazioni di base
Questa sezione descrive le operazioni di base in Cloud Life Sciences e Batch.
La tabella seguente riassume le opzioni delle operazioni di base per Cloud Life Sciences e Batch.
| Operazione di base | Opzioni di Cloud Life Sciences | Opzioni batch |
|---|---|---|
| Esegui un carico di lavoro. |
|
|
| Visualizza tutti i carichi di lavoro. |
|
|
| Visualizza i dettagli e lo stato di un carico di lavoro. |
|
|
| Arresta e rimuovi un carico di lavoro. |
|
|
Le operazioni di base per Cloud Life Sciences e Batch presentano alcune differenze fondamentali.
In primo luogo, le risorse operazione a lunga esecuzione non svolgono lo stesso ruolo
Batch che fanno in Cloud Life Sciences.
Risorse per le operazioni a lunga esecuzione (LRO) in Cloud Life Sciences
sono la risorsa principale utilizzata per elencare e visualizzare le pipeline. Ma
risorse per operazioni a lunga esecuzione in Batch e in altre API Google Cloud
vengono utilizzati solo per monitorare
lo stato di una richiesta che richiede molto tempo
completato. Nello specifico, in batch, l'unica richiesta
restituisce che la risorsa di un'operazione a lunga esecuzione sta eliminando un job.
Per ulteriori informazioni sulle risorse per le operazione a lunga esecuzione per
Batch, consulta
Documentazione di riferimento dell'API Batch per la risorsa REST projects.locations.operations.
Invece di utilizzare risorse operazione a lunga esecuzione,
delle risorse dei job che visualizzi ed elimini per i carichi di lavoro.
In secondo luogo, la visualizzazione dei dettagli di un carico di lavoro in batch operazioni diverse rispetto a Cloud Life Sciences. Puoi visualizzare un job per sia i dettagli che lo stato. Ma per ogni attività di un lavoro ha anche dettagli e stato, che puoi vedere visualizzazione di un elenco di attività di un lavoro e visualizzazione dei dettagli di un'attività.
Per aiutarti a comprendere meglio le operazioni di base per Confronto tra Cloud Life Sciences e Batch, i seguenti forniscono esempi di comandi Google Cloud CLI e richieste API per alcune di queste operazioni di base.
Esempi di comandi della gcloud CLI
Per gcloud CLI, i comandi di Cloud Life Sciences
iniziano con i comandi gcloud beta lifesciences e Batch
iniziano con gcloud batch.
Ad esempio, vedi i seguenti comandi della gcloud CLI.
Esempi di comandi della gcloud CLI di Cloud Life Sciences:
Esegui una pipeline:
gcloud beta lifesciences pipelines run \ --project=PROJECT_ID \ --regions=LOCATION \ --pipeline-file=JSON_CONFIGURATION_FILEVisualizza i dettagli di un'operazione a lunga esecuzione:
gcloud beta lifesciences operations describe OPERATION_ID
Sostituisci quanto segue:
PROJECT_ID: il valore ID progetto del tuo progetto.LOCATION: la località una pipeline o un blocco note personalizzato.JSON_CONFIGURATION_FILE: la configurazione JSON per la pipeline.OPERATION_ID: l'identificatore del a operazione a lunga esecuzione, restituita dalla richiesta di esecuzione una pipeline o un blocco note personalizzato.
Esempi di comandi batch dell'interfaccia alla gcloud CLI:
Crea ed esegui un job:
gcloud batch jobs submit JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \ --config=JSON_CONFIGURATION_FILEVisualizza i dettagli di un job:
gcloud batch jobs describe JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \Visualizza l'elenco delle attività di un lavoro:
gcloud batch tasks list \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAMEVisualizza i dettagli di un'attività:
gcloud batch tasks describe TASK_INDEX \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAME \ --task_group=TASK_GROUPElimina (e annulla) un job:
gcloud batch jobs delete JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION
Sostituisci quanto segue:
JOB_NAME: il nome del job.PROJECT_ID: il valore ID progetto del tuo progetto.LOCATION: la località del lavoro.JSON_CONFIGURATION_FILE: il percorso di un file JSON con i dettagli di configurazione del job.TASK_INDEX: l'indice dell'attività che vuoi visualizzare i dettagli. In un gruppo di attività, l'indice delle attività inizia da 0 per la prima dell'attività e aumenta di 1 a ogni attività aggiuntiva. Ad esempio, un'attività gruppo che contiene quattro attività ha gli indici0,1,2e3.TASK_GROUP_NAME: il nome del gruppo di attività che di cui vuoi visualizzare i dettagli. Il valore deve essere impostato sugroup0.
Esempi di percorsi di richiesta dell'API
Per le API, Cloud Life Sciences utilizza
Percorsi di richiesta lifesciences.googleapis.com e utilizzi in batch
Percorsi di richiesta batch.googleapis.com.
Ad esempio, consulta i seguenti percorsi di richiesta API. Non mi piace
Cloud Life Sciences, Batch non ha un'API RPC,
ha solo un'API REST.
Percorsi di richiesta API di esempio per Cloud Life Sciences:
Esegui una pipeline:
POST https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/pipelines:runVisualizza i dettagli di un'operazione a lunga esecuzione:
GET https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Sostituisci quanto segue:
PROJECT_ID: il valore ID progetto del tuo progetto.LOCATION: la località una pipeline o un blocco note personalizzato.OPERATION_ID: l'identificatore del a operazione a lunga esecuzione, restituita dalla richiesta di esecuzione una pipeline o un blocco note personalizzato.
Esempi di percorsi di richiesta API:
Crea ed esegui un job:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAMEVisualizza i dettagli di un job:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAMEVisualizza l'elenco delle attività di un lavoro:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME/taskGroups/TASK_GROUP/tasksElimina un job
DELETE https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAMEControlla lo stato della richiesta di eliminazione del job:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Sostituisci quanto segue:
PROJECT_ID: il valore ID progetto del tuo progetto.LOCATION: la località del lavoro.JOB_NAME: il nome del job.TASK_GROUP_NAME: il nome del gruppo di attività che di cui vuoi visualizzare i dettagli. Il valore deve essere impostato sugroup0.OPERATION_ID: l'identificatore del a operazione a lunga esecuzione, restituita dalla richiesta di eliminazione un lavoro.
Ruoli e autorizzazioni IAM
Questa sezione riassume le differenze in Identity and Access Management ruoli e autorizzazioni per Cloud Life Sciences Batch. Per ulteriori informazioni su eventuali ruoli le autorizzazioni, vedi Riferimento per i ruoli IAM di base e predefiniti.
La tabella seguente descrive i ruoli predefiniti e le relative autorizzazioni richieste per gli utenti di Cloud Life Sciences.
| Ruoli di Cloud Life Sciences | Autorizzazioni |
|---|---|
Uno dei seguenti:
|
|
Visualizzatore Cloud Life Sciences (roles/lifesciences.viewer) del progetto |
|
La tabella seguente descrive alcuni dei ruoli predefiniti e le relative autorizzazioni per Batch. A differenza di Cloud Life Sciences, Batch richiede la concessione delle autorizzazioni agli utenti e l'account di servizio per un job. Per ulteriori informazioni sui per i requisiti IAM, consulta Prerequisiti per Batch.
| Ruoli batch per gli utenti | Autorizzazioni |
|---|---|
Editor job batch (roles/batch.jobsEditor) sul progetto |
|
Visualizzatore job batch (roles/batch.jobsViewer) nel progetto |
|
Utente account di servizio (roles/iam.serviceAccountUser) per l'account di servizio del job |
|
| Ruoli batch per account di servizio | Autorizzazioni |
Reporter agente batch (roles/batch.agentReporter) sul progetto |
|
Funzionalità corrispondenti
La tabella seguente descrive le funzionalità per Cloud Life Sciences, le funzionalità equivalenti per Batch, oltre ai dettagli sulle differenze.
Ogni caratteristica è rappresentata da una descrizione e dalla sintassi JSON. Puoi utilizzare la sintassi JSON per accedere Batch tramite l'API o quando si specifica una configurazione JSON tramite Google Cloud CLI. Tuttavia, tieni presente che puoi utilizzare le funzionalità in batch anche in altri metodi, ad esempio mediante i campi della console Google Cloud, gcloud CLI e le librerie client, descritte in Documentazione batch.
Per ulteriori informazioni su ogni funzionalità e sulla relativa sintassi JSON, consulta quanto segue:
Per Cloud Life Sciences, consulta Documentazione di riferimento dell'API Cloud Life Sciences per la risorsa REST
projects.locations.pipelines.Per Batch, vedi Documentazione di riferimento dell'API Batch per la risorsa REST
projects.locations.jobs.
| Funzionalità di Cloud Life Sciences | Caratteristiche batch | Dettagli |
|---|---|---|
pipeline (pipeline) |
job (job) e relative attività (taskGroups[]) |
Un job batch è costituito da un array di una o più attività in cui ciascuno esegua gli stessi runnable. Una pipeline Cloud Life Sciences è simile a un job batch con un'attività. Tuttavia, Cloud Life Sciences non ha un concetto equivalente per le attività (offerte di lavoro con più), che sono un po' come le ripetizioni di una pipeline. Per ulteriori informazioni su job e attività, vedi Panoramica per Batch. |
azioni (actions[]) per una pipeline |
eseguibili (runnables[]) per le attività di un job |
Un'azione Cloud Life Sciences descrive un container, ma una L'esecuzione in batch può contenere un container o uno script. |
credenziali (credentials) per un'azione |
per un container eseguibile: |
In Cloud Life Sciences le credenziali di un'azione devono essere In un Cloud Key Management Service criptato un dizionario con coppie chiave-valore di nome utente e password. In batch, il nome utente e la password per un container eseguibile sono in campi separati. Entrambi i campi possono essere specificati in testo normale o con il nome di un Secret di Secret Manager. |
per un'azione:
|
per un ambiente:
degli ambienti possibili:
|
Cloud Life Sciences ti consente di specificare le variabili di ambiente
per un'azione formattata come testo normale o come dizionario criptato.
In Batch, è un po' come avere un ambiente
per un elemento eseguibile (campo Ma Batch ha anche più opzioni per specificare variabili di ambiente:
Per ulteriori informazioni, vedi Utilizza le variabili di ambiente. |
etichette per una richiesta per eseguire una pipeline (labels nel corpo della richiesta) |
etichette per un job (labels nella risorsa job) |
A differenza di Cloud Life Sciences, Il batch non include un campo delle etichette nella richiesta a per creare un nuovo job. L'opzione più vicina per Batch consiste nell'utilizzare le etichette associate solo al job. Il batch ha più tipi di etichette
( |
regioni (regions[]) e zone (zones[]) per le risorse di una pipeline (resources) |
località consentite (allowedLocations) per il criterio di località delle risorse di un job (locationPolicy) |
In Cloud Life Sciences, una pipeline viene eseguita su una singola VM, per cui puoi specificare le regioni e/o le zone desiderate. In batch, l'opzione equivalente sono le località consentite per un job, che puoi definire come una o più regioni o zone e specifica dove è possibile creare le VM per un job. Tutte le VM di un singolo job batch appartengono a un solo gruppo di istanze gestite, esistente in una particolare regione; ma le singole VM potrebbero trovarsi in zone diverse della regione. In particolare, specificare il campo delle località consentite per un job è facoltativo perché è separato dalla posizione del lavoro. A differenza della posizione del lavoro, la posizione consentita non influisce sulla località utilizzata per creare un Job batch e archiviazione dei metadati del job. Per ulteriori informazioni, consulta la sezione Località in batch. |
per le risorse di una pipeline (
|
per il criterio delle risorse di un job (
|
In Cloud Life Sciences, puoi configurare la (una) VM che su cui viene eseguita la pipeline. In modalità batch,
le stesse opzioni per le VM sono disponibili nei campi
criterio di allocazione delle risorse del job (
|
per un'azione:
|
per un modello eseguibile:
|
Questi vari flag di convenienza di Cloud Life Sciences sono equivalenti in batch tranne per il fatto che sono specificati per ogni (che può contenere uno script o un container) anziché ogni azione (contenitore). |
per un'azione:
|
(options) per un container eseguibile |
Queste opzioni di Cloud Life Sciences (e altre) sono supportate in
Esegui batch mediante il campo Opzioni ( |
per un'azione:
|
nessun equivalente |
Il batch precarica le immagini ed elabora
di tutti gli eseguibili in modo identico in base alla
criterio di log ( |
opzione per bloccare le reti esterne (blockExternalNetwork) per un'azione |
opzione per bloccare le reti esterne (blockExternalNetwork) per un container eseguibile |
L'opzione Cloud Life Sciences per bloccare le reti esterne per un è simile all'opzione Batch per bloccare reti per un container. Batch ha anche molte altre opzioni di networking, per bloccare le reti esterne per tutte le VM di un job. Per ulteriori informazioni, consulta la panoramica del networking in batch. |
montaggi (mounts[]) per un'azione |
volumi per tutti gli elementi eseguibili (volumes[] in taskSpec) e opzioni di volume per un container (volumes[] in container) |
In Batch, puoi utilizzare
Campo Inoltre, in batch
supporta opzioni di volume esplicite sugli elementi eseguibili dei container utilizzando
Campo Per ulteriori informazioni sull'utilizzo dei volumi di archiviazione con Batch, vedi Creare ed eseguire un job che utilizza volumi di archiviazione. |
per abilitare Cloud Storage FUSE (enableFuse) per un'azione |
nessun equivalente |
Batch gestisce il montaggio di qualsiasi volume di archiviazione,
ad esempio un bucket Cloud Storage, da te specificato per un job.
Di conseguenza, non attivi strumenti di montaggio come Cloud Storage FUSE.
per Batch; ma puoi anche specificare
di montaggio per i volumi di archiviazione,
Campo Per ulteriori informazioni sull'utilizzo dei bucket Cloud Storage con Batch, vedi Creare ed eseguire un job che utilizza volumi di archiviazione. |
Argomento Pub/Sub (pubSubTopic) per una richiesta di esecuzione di una pipeline |
per le configurazioni delle notifiche di un job (
|
La modalità batch consente una maggiore personalizzazione degli aggiornamenti di stato Cloud Life Sciences. Ad esempio, gli utenti in batch ricevere notifiche su un argomento Pub/Sub quando le singole attività cambiano stato o solo quando cambia stato il job complessivo. |
Servizi per flussi di lavoro
Se utilizzi un servizio di flusso di lavoro con Cloud Life Sciences, il tuo il processo di migrazione comporta anche la configurazione di un servizio di flusso di lavoro con Batch. Questa sezione riassume i servizi di flusso di lavoro che puoi utilizzare con Batch.
Batch supporta Workflows, per flussi di lavoro di Google Cloud. Se vuoi utilizzare Workflows con Batch, vedi Esegui un job batch utilizzando Workflows. In caso contrario, la tabella seguente descrive altri servizi per flussi di lavoro che potresti usare per Cloud Life Sciences, ma anche con Batch. Questa tabella elenca le principali differenze per l'utilizzo di ciascun servizio per flussi di lavoro con Batch anziché Cloud Life Sciences e i dettagli su dove scoprire di più sull'utilizzo di ciascun servizio con Batch.
| Servizio flusso di lavoro | Differenze principali | Dettagli |
|---|---|---|
| Cromwell |
Per utilizzare un file di configurazione Cromwell per API Cloud Life Sciences v2beta con l'API Batch apporta le seguenti modifiche:
|
Per ulteriori informazioni su come utilizzare Batch con Cromwell, consulta Documentazione di Croomwell per Batch e Cromwell tutorial per Batch. |
| dsub |
Per utilizzare un'esecuzione della pipeline dsub per Cloud Life Sciences con Batch, apporta le seguenti modifiche:
|
Per scoprire di più su come utilizzare Batch con dsub, vedi il documentazione dsub per Batch. |
| Nextflow |
Per utilizzare un file di configurazione Nextflow Cloud Life Sciences con Batch, apporta le seguenti modifiche:
|
Per scoprire di più su come utilizzare Batch con Nextflow, consulta un Tutorial batch oppure Tutorial di Nextflow Per ulteriori informazioni sulle opzioni di configurazione, consulta Documentazione di Nextflow. |
| Snakemake |
Utilizzo di una pipeline Snakemake per l'API Cloud Life Sciences v2beta con l'API Batch, effettua quanto segue modifiche:
|
Per scoprire di più su come utilizzare Batch con Snakemake, vedi il Documentazione di Snakemake per Batch. |
Passaggi successivi
- Per configurare Batch per nuovi utenti e progetti, consulta Inizia.
- Per scoprire come eseguire carichi di lavoro utilizzando Batch, consulta Crea un job.