Auf dieser Seite wird beschrieben, wie Sie von Cloud Life Sciences.
Am 17. Juli 2023 gab Google Cloud bekannt, dass Cloud Life Sciences, die sich bisher noch in der Betaphase befand, wurde eingestellt. Der Dienst ist dann nicht mehr verfügbar nach dem 8. Juli 2025 in Google Cloud. Batch ist jedoch allgemein verfügbar und ein umfassender Nachfolger, der alle Anwendungsfälle für Cloud Life Sciences.
Weitere Informationen zu Batch Cloud Life Sciences und Produkteinführung Phasen.
Cloud Life Sciences und Batch im Vergleich
Von Cloud Life Sciences zu Batch migrieren geht es in erster Linie darum, zu verstehen, wie Sie Batch für die Arbeitslasten, die Sie derzeit ausführen, indem Sie Cloud Life Sciences-Pipelines
Hier erfahren Sie, wie Sie Ihre Cloud Life Sciences umsetzen können. finden Sie in den folgenden Abschnitten:
Übersicht
Eine Cloud Life Sciences-Pipeline beschreibt eine Abfolge von Aktionen (Container), die ausgeführt werden sollen, und der Umgebung. in dem die Container ausgeführt werden sollen.
Ein Batchjob beschreibt ein Array mit einer oder mehreren Aufgaben und für die Ausführung dieser Aufgaben. Sie definieren die Arbeitslast für einen Job Sequenz eines oder mehrerer auszuführender Runnables (Container und/oder Skripts) Jede Aufgabe für einen Job stellt eine Ausführung der zugehörigen Sequenz von Runnables dar.
Cloud Life Sciences-Pipelines können als Batchjobs mit einer Aufgabe ausgedrückt werden.
In den folgenden Beispielen wird z. B. eine einfache Cloud Life Sciences-Pipeline und ihr Äquivalent Batch job:
Cloud Life Sciences-Pipeline | Batch job |
---|---|
{ "actions": [ { "imageUri": "bash", "commands": [ "-c", "echo Hello, world!" ] } ] } |
{ "taskGroups" : [{ "taskSpec" : { "runnables" : [{ "container":{ "imageUri": "bash", "commands": [ "-c", "echo Hello, world!" ] } }] } }] } |
Batchjobs mit mehreren Aufgaben ähneln kopierten Cloud Life Sciences-Pipelines.
Im Gegensatz zu Cloud Life Sciences können Sie mit Batch Folgendes tun: automatisch mehrere Ausführungen Ihrer Arbeitslast planen. Sie geben an, wie oft Sie die Sequenz Runnables für einen Job durch Definieren der Anzahl der Aufgaben. Wenn ein Job mehrere Aufgaben ausführen, legen Sie fest, wie die einzelnen Ausführungen in Ihren Runnables auf den Aufgabenindex verweisen. Außerdem können Sie die relativen Zeitpläne für die Aufgaben eines Auftrags konfigurieren, z. B. ob mehrere Aufgaben parallel ausgeführt werden können oder ob Aufgaben erforderlich sind in sequentieller Reihenfolge ausgeführt werden. Batch verwaltet die Planung der Aufgaben des Jobs: Nach Abschluss einer Aufgabe startet der Job automatisch die nächste Aufgabe (falls vorhanden).
Sehen Sie sich beispielsweise den folgenden Batchjob an. Dieses Beispiel
Job hat 100 Aufgaben, die auf 10 virtuellen Compute Engine-VMs ausgeführt werden.
VM-Instanzen, sodass ungefähr 10 Aufgaben parallel ausgeführt werden
jederzeit ändern. Jede Aufgabe in diesem Beispieljob führt nur ein Runnable aus:
ein Skript, das eine Nachricht und den Index der Aufgabe ausgibt, der vom
BATCH_TASK_INDEX
vordefinierte Umgebungsvariable.
{
"taskGroups" : [{
"taskSpec" : {
"runnables" : [{
"script":{
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}."
}
}]
},
"taskCount": 100,
"parallelism": 10
}]
}
Workflows, bei denen mehrere ähnliche Cloud Life Sciences-Pipelines können manchmal vereinfacht werden, indem der integrierten Zeitplanung von Batch.
Grundlegende Vorgänge
In diesem Abschnitt werden die grundlegenden Vorgänge in Cloud Life Sciences im Vergleich zu Batch.
In der folgenden Tabelle sind die grundlegenden Vorgangsoptionen für Cloud Life Sciences und Batch.
Grundlegender Vorgang | Cloud Life Sciences-Optionen | Batchoptionen |
---|---|---|
Arbeitslast ausführen. |
|
|
Sehen Sie sich alle Ihre Arbeitslasten an. |
|
|
Rufen Sie die Details und den Status für eine Arbeitslast auf. |
|
|
Beenden und entfernen Sie eine Arbeitslast. |
|
|
Grundlegende Vorgänge für Cloud Life Sciences und Batch gibt es einige wichtige Unterschiede.
Erstens spielen Ressourcen für Vorgänge mit langer Ausführungszeit
Batch, das in Cloud Life Sciences ausgeführt wird.
Ressourcen mit langer Ausführungszeit in Cloud Life Sciences
sind die primäre Ressource, die zum Auflisten und Aufrufen Ihrer Pipelines verwendet wird. Aber
Ressourcen mit langer Ausführungszeit in Batch und anderen Google Cloud APIs
werden nur verwendet, um den Status einer Anfrage zu überwachen, deren Verarbeitung lange dauert.
abgeschlossen ist. In Batch ist die einzige Anfrage,
gibt eine Vorgangsressource mit langer Ausführungszeit zurück, das Löschen eines Jobs.
Weitere Informationen zu Ressourcen für Vorgänge mit langer Ausführungszeit
Batch finden Sie in der
Batch API-Referenzdokumentation für die REST-Ressource projects.locations.operations
Statt Ressourcen für Vorgänge mit langer Ausführungszeit zu verwenden, hat Batch
Jobressourcen, die Sie für Ihre Arbeitslasten ansehen und löschen.
Wenn Sie sich die Details einer Arbeitslast in Batch ansehen, anderen Abläufen als Cloud Life Sciences. Sie können einen Job anzeigen, die Details und den Status. Aber jede Aufgabe eines Jobs hat auch eigene Details und Status, die Sie Anzeigen einer Liste der Aufgaben eines Auftrags und Anzeigen der Details einer Aufgabe
Damit Sie die grundlegenden Operationen für Cloud Life Sciences im Vergleich zu Batch, die folgenden Abschnitte enthalten Beispiele für Google Cloud CLI-Befehle und API-Anfragepfade für einige dieser grundlegenden Vorgänge.
Beispiele für gcloud-Kommandozeilenbefehle
Für die gcloud CLI und Cloud Life Sciences-Befehle
mit gcloud beta lifesciences
- und Batch-Befehlen beginnen
mit gcloud batch
beginnen.
Sehen Sie sich beispielsweise die folgenden gcloud CLI-Befehle an.
gcloud CLI-Beispielbefehle für Cloud Life Sciences:
Führen Sie eine Pipeline aus:
gcloud beta lifesciences pipelines run \ --project=PROJECT_ID \ --regions=LOCATION \ --pipeline-file=JSON_CONFIGURATION_FILE
Details zu einem lang andauernden Vorgang abrufen:
gcloud beta lifesciences operations describe OPERATION_ID
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort für den zu erstellen.JSON_CONFIGURATION_FILE
: die JSON-Konfiguration für die Pipeline.OPERATION_ID
: die Kennung für den lang andauernden Vorgang, der von der Anfrage zurückgegeben wurde, zu erstellen.
gcloud CLI-Beispiele für Batchbefehle:
Erstellen Sie einen Job und führen Sie ihn aus:
gcloud batch jobs submit JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \ --config=JSON_CONFIGURATION_FILE
So rufen Sie die Details eines Jobs auf:
gcloud batch jobs describe JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION \
So rufen Sie die Aufgabenliste eines Auftrags auf:
gcloud batch tasks list \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAME
So rufen Sie die Details einer Aufgabe auf:
gcloud batch tasks describe TASK_INDEX \ --project=PROJECT_ID \ --location=LOCATION \ --job=JOB_NAME \ --task_group=TASK_GROUP
Jobs löschen (und abbrechen):
gcloud batch jobs delete JOB_NAME \ --project=PROJECT_ID \ --location=LOCATION
Ersetzen Sie Folgendes:
JOB_NAME
: der Name des Jobs.PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JSON_CONFIGURATION_FILE
: Pfad für ein JSON-Objekt mit den Konfigurationsdetails des Jobs.TASK_INDEX
: der Index der Aufgabe, die Sie ansehen möchten zu deren Einzelheiten. In einer Aufgabengruppe beginnt der Aufgabenindex für die erste und erhöht sich bei jeder weiteren Aufgabe um 1. Zum Beispiel kann eine Aufgabe Gruppe, die vier Aufgaben enthält, hat die Indexe0
,1
,2
und3
.TASK_GROUP_NAME
: der Name der Aufgabengruppe, die die Sie aufrufen möchten. Der Wert muss aufgroup0
.
Beispiele für API-Anfragepfade
Für APIs verwendet Cloud Life Sciences
lifesciences.googleapis.com
-Anfragepfade und Batch-Verwendungen
batch.googleapis.com
-Anfragepfade.
Sehen Sie sich beispielsweise die folgenden API-Anfragepfade an. „Mag ich“-Bewertung entfernen
Cloud Life Sciences, Batch hat keine RPC API.
nur eine REST API hat.
Cloud Life Sciences-Beispiel-API-Anfragepfade:
Führen Sie eine Pipeline aus:
POST https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/pipelines:run
Details zu einem lang andauernden Vorgang abrufen:
GET https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort für den zu erstellen.OPERATION_ID
: die Kennung für den lang andauernden Vorgang, der von der Anfrage zurückgegeben wurde, zu erstellen.
Beispiele für Batch-Anfragepfade für API-Anfragen:
Erstellen Sie einen Job und führen Sie ihn aus:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
So rufen Sie die Details eines Jobs auf:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME
So rufen Sie die Aufgabenliste eines Auftrags auf:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME/taskGroups/TASK_GROUP/tasks
Job löschen
DELETE https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME
Prüfen Sie den Status der Anfrage zum Löschen eines Jobs:
GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JOB_NAME
: der Name des Jobs.TASK_GROUP_NAME
: der Name der Aufgabengruppe, die die Sie aufrufen möchten. Der Wert muss aufgroup0
.OPERATION_ID
: die Kennung für den lang andauernden Vorgang, der von der Anfrage zum Löschen der Job.
IAM-Rollen und -Berechtigungen
In diesem Abschnitt werden die Unterschiede in Identity and Access Management zusammengefasst. Rollen und Berechtigungen für Cloud Life Sciences und Batch. Weitere Informationen zu Rollen und finden Sie in der Referenz zu einfachen und vordefinierten IAM-Rollen
In der folgenden Tabelle werden die vordefinierten Rollen und ihre Berechtigungen beschrieben. die für Nutzer von Cloud Life Sciences erforderlich sind.
Cloud Life Sciences-Rollen | Berechtigungen |
---|---|
Eine der folgenden:
|
|
Cloud Life Sciences-Betrachter (roles/lifesciences.viewer ) für das Projekt |
|
In der folgenden Tabelle werden einige der vordefinierten Rollen und ihre Berechtigungen beschrieben. für Batch. Im Gegensatz zu Cloud Life Sciences Für Batch müssen Sie Nutzern Berechtigungen gewähren und das Dienstkonto für einen Job. Weitere Informationen zur IAM-Anforderungen, siehe Voraussetzungen für Batch
Batchrollen für Nutzer | Berechtigungen |
---|---|
Batch Job Editor (roles/batch.jobsEditor ) für das Projekt |
|
Batch Job Viewer (roles/batch.jobsViewer ) für das Projekt |
|
Dienstkontonutzer (roles/iam.serviceAccountUser ) für das Dienstkonto des Jobs |
|
Batchrollen für Dienstkonten | Berechtigungen |
Batch Agent Reporter (roles/batch.agentReporter ) für das Projekt |
|
Entsprechende Funktionen
In der folgenden Tabelle werden die Funktionen von Cloud Life Sciences, die entsprechenden Funktionen sowie Details zu den Unterschieden.
Jede Funktion wird durch eine Beschreibung und ihre JSON-Syntax dargestellt. Sie können die JSON-Syntax verwenden, wenn Sie auf Batch über die API oder beim Angeben einer JSON-Konfiguration über die Google Cloud CLI. Sie können Batch-Funktionen auch über andere Methoden verwenden, z. B. über Felder, Flags der Google Cloud Console gcloud CLI und Clientbibliotheken, die in der Batch-Dokumentation.
Weitere Informationen zu den einzelnen Funktionen und ihrer JSON-Syntax finden Sie hier:
Informationen zu Cloud Life Sciences finden Sie in der Referenzdokumentation zur Cloud Life Sciences API für die REST-Ressource
projects.locations.pipelines
Für Batch siehe Batch API-Referenzdokumentation für die REST-Ressource
projects.locations.jobs
Features von Cloud Life Sciences | Batch features | Details |
---|---|---|
Pipeline (pipeline ) |
Job (job ) und zugehörige Aufgaben (taskGroups[] ) |
Ein Batch-Job besteht aus einem Array aus einer oder mehreren Aufgaben alle Runnables ausführen. Eine Cloud Life Sciences-Pipeline ähnelt auf einen Batch-Job mit einer Aufgabe. Cloud Life Sciences kein äquivalentes Konzept für (Jobs mit mehreren) Aufgaben, die den Wiederholungen einer Pipeline ähneln. Weitere Informationen zu Jobs und Aufgaben finden Sie unter Übersicht für Batch |
Aktionen (actions[] ) für eine Pipeline |
Runnables (runnables[] ) für die Aufgaben eines Jobs |
Eine Cloud Life Sciences-Aktion beschreibt einen Container, aber ein Ein ausführbares Batch-Objekt kann entweder einen Container oder ein Skript enthalten. |
Anmeldedaten (credentials ) für eine Aktion |
für ein ausführbares Container-Element fest: |
In Cloud Life Sciences müssen die Anmeldedaten einer Aktion einem verschlüsselten Cloud Key Management Service -Wörterbuch mit Schlüssel/Wert-Paaren aus Nutzername und Passwort. Im Batch Nutzername und Passwort für einen ausführbaren Container befinden sich in separaten Feldern. Jedes Feld kann mit Nur-Text oder mit dem Namen eines Secret Manager-Secret. |
für eine Aktion:
|
für eine Umgebung:
mögliche Umgebungen:
|
Mit Cloud Life Sciences können Sie Umgebungsvariablen
für eine Aktion, die als Nur-Text oder als verschlüsseltes Wörterbuch formatiert ist.
In Batch ist dies
ähnlich mit der Umgebung,
für ein ausführbares Objekt ( Batch bietet aber auch mehr Optionen, Umgebungsvariablen:
Weitere Informationen finden Sie unter Umgebungsvariablen verwenden |
Labels für eine Anfrage zum Ausführen einer Pipeline (labels im Anfragetext) |
Labels für einen Job (labels in der Jobressource) |
Im Gegensatz zu Cloud Life Sciences Die Anfrage an „Batch“ enthält kein Labelfeld in der Anfrage an einen neuen Job zu erstellen. Die nächstgelegene Option für Batch ist die Verwendung von Labels, die nur mit dem Job verknüpft sind. Der Batch hat mehrere Labeltypen
( |
Regionen (regions[] ) und Zonen (zones[] ) für die Ressourcen einer Pipeline (resources ) |
Zulässige Standorte (allowedLocations ) für die Richtlinie für Ressourcenstandorte (locationPolicy ) eines Jobs |
In Cloud Life Sciences wird eine Pipeline auf einer einzelnen VM ausgeführt, für die Sie die gewünschten Regionen und/oder Zonen angeben können. In Batch sind dies die zulässigen Speicherorte für einen Job, den Sie als eine oder mehrere Regionen oder Zonen definieren können und gibt an, wo die VMs für einen Job erstellt werden können. Alle VMs für einen einzelnen Batchjob gehören zu einem verwaltete Instanzgruppe (MIG), die in einer bestimmten Region vorhanden ist Allerdings können sich einzelne VMs in verschiedenen Zonen der Region befinden. Insbesondere die Angabe des Felds „Allowed locations“ (Zulässige Standorte) für einen Job ist optional da er vom Standort des Jobs getrennt ist. Im Gegensatz zum Standort des Jobs hat der zulässige Standort keinen Einfluss auf den Standort, der zum Erstellen eines Batchjob und Speichern von Jobmetadaten. Weitere Informationen finden Sie unter Batch-Standorte. |
für die Ressourcen einer Pipeline (
|
für die Ressourcenrichtlinie eines Jobs (
|
In Cloud Life Sciences können Sie die VM konfigurieren, auf der die Pipeline ausgeführt wird. Im Stapel
Dieselben Optionen für VMs sind in den Feldern einer
Richtlinie für die Ressourcenzuweisung des Jobs (
|
für eine Aktion:
|
für ein Runable:
|
Diese verschiedenen Convenience-Flags von Cloud Life Sciences im Batch gleich außer dass sie für jedes ausführbare (die ein Skript oder einen Container enthalten kann) anstelle jeder Aktion (Container). |
für eine Aktion:
|
Optionen (options ) für einen ausführbaren Container |
Diese und weitere Cloud Life Sciences-Optionen werden in
Über das Optionsfeld ( |
für eine Aktion:
|
kein Äquivalent |
Es ruft Bilder im Batch vorab ab und verarbeitet die
Ausgaben aller Runnables in Übereinstimmung mit dem
Logrichtlinie ( |
Option zum Blockieren externer Netzwerke (blockExternalNetwork ) für eine Aktion |
Option zum Blockieren externer Netzwerke (blockExternalNetwork ) für einen ausführbaren Container |
Die Cloud Life Sciences-Option zum Blockieren externer Netzwerke für eine Aktion ähnlich der Batch-Option zum Blockieren externer Netzwerke für einen Container. Batch bietet auch viele andere Netzwerkoptionen, um externe Netzwerke für alle VMs eines Jobs zu blockieren. Weitere Informationen Siehe Batch-Netzwerkübersicht. |
Bereitstellungen (mounts[] ) für eine Aktion |
Volumes für alle Runnables (volumes[] in taskSpec ) und Volume-Optionen für einen Container (volumes[] in container ) |
In Batch können Sie den
Feld „ Außerdem werden Batch-
unterstützt explizite Volume-Optionen für Container-Runnables mithilfe der Methode
Feld Weitere Informationen zur Verwendung von Speicher-Volumes mit Batch finden Sie unter Job erstellen und ausführen, der Speicher-Volumes verwendet. |
Option zum Aktivieren von Cloud Storage FUSE (enableFuse ) für eine Aktion |
kein Äquivalent |
Batch stellt das
Bereitstellen von Speicher-Volumes
wie einen Cloud Storage-Bucket, den Sie für einen Job angeben.
Daher aktivieren Sie keine Bereitstellungstools wie Cloud Storage FUSE.
für Batch: Sie können jedoch optional
für Ihre Speicher-Volumes mithilfe der Methode
Feld Weitere Informationen zur Verwendung von Cloud Storage-Buckets mit Batch finden Sie unter Job erstellen und ausführen, der Speicher-Volumes verwendet. |
Pub/Sub-Thema (pubSubTopic ) für eine Anfrage zum Ausführen einer Pipeline |
für die Benachrichtigungskonfigurationen eines Jobs (
|
Der Batch ermöglicht eine umfassendere Anpassung von Statusaktualisierungen als Cloud Life Sciences. Batch-Nutzer können beispielsweise für ein Pub/Sub-Thema benachrichtigt werden, oder nur dann, wenn sich der Status des gesamten Jobs ändert. |
Workflow-Dienste
Wenn Sie einen Workflow-Dienst mit Cloud Life Sciences verwenden, Bei der Migration muss auch ein Workflowdienst konfiguriert werden, mit Batch zu erstellen. In diesem Abschnitt werden die Workflowdienste zusammengefasst. die Sie mit Batch verwenden können.
Batch unterstützt Workflows, Workflow-Dienst von Google Cloud. Wenn Sie Workflows mit Batch verwenden möchten, lesen Sie Einen Batchjob mit Workflows ausführen Andernfalls werden in der folgenden Tabelle andere Workflowdienste beschrieben. die Sie für Cloud Life Sciences nutzen können, die Sie auch mit Batch. In dieser Tabelle sind die wichtigsten Unterschiede Workflowdienst mit Batch anstelle von Cloud Life Sciences und Details dazu, wo Sie mehr über die Verwendung der einzelnen Dienste erfahren können mit Batch zu erstellen.
Workflow-Dienst | Unterschiede | Details |
---|---|---|
Cromwell |
So verwenden Sie eine Cromwell-Konfigurationsdatei v2beta Cloud Life Sciences API mit der Batch API nehmen Sie stattdessen folgende Änderungen vor:
|
Weitere Informationen zur Verwendung von Batch mit Cromwell finden Sie in der Cromwell-Dokumentation für Batch und das Cromwell-Tutorial für Batch. |
dsub |
dsub-Pipeline für Cloud Life Sciences ausführen mit „Batch“ verwenden, nehmen Sie folgende Änderungen vor:
|
Weitere Informationen zur Verwendung von Batch mit dsub sieh dir die dsub-Dokumentation für Batch |
Logo: Nextflow |
Um eine Nextflow-Konfigurationsdatei für Cloud Life Sciences mit Batch, nehmen Sie die folgenden Änderungen vor:
|
Weitere Informationen zur Verwendung von Batch mit Nextflow finden Sie in einer Batch-Anleitung oder Nextflow-Anleitung Weitere Informationen zu Konfigurationsoptionen finden Sie in der Nextflow-Dokumentation. |
Snakemake |
So verwenden Sie eine Snakemake-Pipeline für die v2beta Cloud Life Sciences API: mit der Batch API verwenden, gehen Sie so vor: Änderungen:
|
Weitere Informationen zur Verwendung von Batch mit Snakemake sieh dir die Snakemake-Dokumentation für Batch. |
Nächste Schritte
- Informationen zum Konfigurieren von Batch für neue Nutzer und Projekte finden Sie unter Jetzt starten
- Informationen zum Ausführen von Arbeitslasten mit Batch finden Sie unter Job erstellen