此页面由 Cloud Translation API 翻译。

从 Cloud Life Sciences 迁移到 Batch

本页面介绍了如何从 Cloud Life Sciences 迁移到 Batch。

2023 年 7 月 17 日，Google Cloud 宣布弃用 Beta 版 Cloud Life Sciences。2025 年 7 月 8 日之后，该服务将不再在 Google Cloud 上提供。不过，Batch 已正式发布，它是一个全面的后续产品，支持 Cloud Life Sciences 的所有用例。

详细了解 Batch、Cloud Life Sciences 和产品发布阶段。

Cloud Life Sciences 与 Batch

从 Cloud Life Sciences 迁移到 Batch 主要涉及了解如何对当前通过运行 Cloud Life Sciences 流水线执行的工作负载使用 Batch。

如需了解如何在 Batch 上执行 Cloud Life Sciences 工作负载，请参阅以下所有部分：

Overview
基本操作
IAM 角色和权限
对应的功能

概览

Cloud Life Sciences 流水线描述了要执行的一系列操作（容器）以及执行容器的环境。

批量作业描述了一个或多个任务的数组以及执行这些任务的环境。您可以将作业的工作负载定义为一个或多个要执行的 runnable（容器和/或脚本）序列。作业的每个任务都代表其可运行项序列的一次执行。

Cloud Life Sciences 流水线可以表示为单任务批处理作业。

例如，以下示例描述了一个简单的 Cloud Life Sciences 流水线及其等效的批处理作业：

Cloud Life Sciences 流水线	批量作业
{ "actions": [ { "imageUri": "bash", "commands": [ "-c", "echo Hello, world!" ] } ] }	{ "taskGroups" : [{ "taskSpec" : { "runnables" : [{ "container":{ "imageUri": "bash", "commands": [ "-c", "echo Hello, world!" ] } }] } }] }

Cloud Life Sciences 流水线

批量作业

  {
    "actions": [
      {
        "imageUri": "bash",
        "commands": [
          "-c",
          "echo Hello, world!"
        ]
      }
    ]
  }

    {
      "taskGroups" : [{
        "taskSpec" : {
          "runnables" : [{
            "container":{
              "imageUri": "bash",
              "commands": [
                "-c",
                "echo Hello, world!"
              ]
            }
          }]
        }
      }]
    }

多任务批处理作业类似于复制的 Cloud Life Sciences 流水线。

与 Cloud Life Sciences 不同，Batch 允许您自动安排工作负载的多次执行。您可以通过定义任务数量来指示要对作业执行可运行项序列的次数。如果作业有多个任务，您可以通过在可运行对象中引用任务的索引来指定希望每个执行不同的执行方式。此外，您还可以为作业的任务配置相对时间表，例如，是允许多个任务并行运行，还是要求任务按顺序运行，一次运行一个任务。Batch 管理作业任务的调度：当任务完成后，作业会自动启动下一个任务（如果有）。

例如，请参阅以下批量作业。此示例作业有 100 个任务，在 10 个 Compute Engine 虚拟机 (VM) 实例上执行，因此在任何给定时间都会并行运行大约 10 个任务。此示例作业中的每个任务仅执行一个可运行项：输出消息的脚本和任务索引（由预定义的 BATCH_TASK_INDEX 环境变量定义）。

{
  "taskGroups" : [{
    "taskSpec" : {
      "runnables" : [{
        "script":{
          "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}."
        }
      }]
    },
    "taskCount": 100,
    "parallelism": 10
  }]
}

有时，利用 Batch 的内置调度功能，可以简化涉及创建和监控多个类似 Cloud Life Sciences 流水线的 Workflows。

基本操作

本部分介绍 Cloud Life Sciences 与 Batch 中的基本操作。

下表汇总了 Cloud Life Sciences 和 Batch 的基本操作选项。

基本操作	Cloud Life Sciences 选项	批处理选项
执行工作负载。	运行流水线。	创建和运行作业。
查看您的所有工作负载。	列出长时间运行的操作。	查看作业列表。
查看工作负载的详细信息和状态。	获取长时间运行的操作的详细信息。轮询长时间运行的操作。	查看任务详情。查看作业的任务列表。查看任务的详细信息。
停止和移除工作负载。	取消长时间运行的操作。	删除（和取消）作业。检查作业删除请求的状态。

Cloud Life Sciences 和 Batch 的基本操作存在一些关键区别。

首先，长时间运行的操作资源在 Batch 中的作用与在 Cloud Life Sciences 中的作用不同。 Cloud Life Sciences 中的长时间运行的操作资源 (LRO) 是用于列出和查看流水线的主要资源。但是，Batch 和其他 Google Cloud API 中长时间运行的操作资源仅用于监控需要很长时间才能完成的请求的状态。具体而言，在 Batch 中，返回长时间运行的操作资源的唯一请求是删除作业。如需详细了解 Batch 的长时间运行的操作资源，请参阅 projects.locations.operations REST 资源的 Batch API 参考文档。Batch 不使用长时间运行的操作资源，而是为工作负载查看和删除作业资源。

其次，在 Batch 中查看工作负载的详细信息涉及的操作不同于 Cloud Life Sciences。您可以查看作业以了解其详细信息和状态。但是，作业的每个任务也有自己的详细信息和状态，您可以通过查看作业的任务列表和任务详细信息来了解这些信息。

为了帮助您进一步了解 Cloud Life Sciences 与 Batch 的基本操作，以下部分提供了其中一些基本操作的 Google Cloud CLI 命令和 API 请求路径示例。

示例 gcloud CLI 命令

对于 gcloud CLI，Cloud Life Sciences 命令以 gcloud beta lifesciences 开头，Batch 命令以 gcloud batch 开头。如需查看示例，请参阅以下 gcloud CLI 命令。

Cloud Life Sciences gcloud CLI 命令示例：
- 运行流水线：
```
gcloud beta lifesciences pipelines run \
  --project=PROJECT_ID \
  --regions=LOCATION \
  --pipeline-file=JSON_CONFIGURATION_FILE
```
- 获取长时间运行的操作的详细信息：
```
gcloud beta lifesciences operations describe OPERATION_ID
```
请替换以下内容：
- PROJECT_ID：您的项目 ID。
- LOCATION：流水线的位置。
- JSON_CONFIGURATION_FILE：流水线的 JSON 配置文件。
- OPERATION_ID：长时间运行的操作的标识符，由运行流水线的请求返回。
批处理示例 gcloud CLI 命令：
- 创建和运行作业：
```
gcloud batch jobs submit JOB_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --config=JSON_CONFIGURATION_FILE
```
- 查看任务详情：
```
gcloud batch jobs describe JOB_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
```
- 查看作业的任务列表：
```
gcloud batch tasks list \
  --project=PROJECT_ID \
  --location=LOCATION \
  --job=JOB_NAME
```
- 查看任务的详细信息：
```
gcloud batch tasks describe TASK_INDEX \
  --project=PROJECT_ID \
  --location=LOCATION \
  --job=JOB_NAME \
  --task_group=TASK_GROUP
```
- 删除（和取消）作业：
```
gcloud batch jobs delete JOB_NAME \
  --project=PROJECT_ID \
  --location=LOCATION
```
请替换以下内容：
- JOB_NAME：作业的名称。
- PROJECT_ID：您的项目 ID。
- LOCATION：作业的位置。
- JSON_CONFIGURATION_FILE：包含作业配置详情的 JSON 文件的路径。
- TASK_INDEX：要查看其详细信息的任务的索引。在任务组中，第一个任务的任务索引从 0 开始，每增加一个任务就会增加 1。例如，包含四个任务的任务组索引为 0、1、2 和 3。
- TASK_GROUP_NAME：要查看其详细信息的任务组的名称。该值必须设置为 group0。

API 请求路径示例

对于 API，Cloud Life Sciences 使用 lifesciences.googleapis.com 请求路径，而 Batch 使用 batch.googleapis.com 请求路径。例如，请参阅以下 API 请求路径。与 Cloud Life Sciences 不同，Batch 没有 RPC API；它只有 REST API。

Cloud Life Sciences 示例 API 请求路径：
- 运行流水线：
```
POST https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/pipelines:run
```
- 获取长时间运行的操作的详细信息：
```
GET https://lifesciences.googleapis.com/v2beta/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
```
请替换以下内容：
- PROJECT_ID：您的项目 ID。
- LOCATION：流水线的位置。
- OPERATION_ID：长时间运行的操作的标识符，由运行流水线的请求返回。

批处理示例 API 请求路径：

创建和运行作业：

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

查看任务详情：

GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME

查看作业的任务列表：

GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME/taskGroups/TASK_GROUP/tasks

删除作业

DELETE https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs/JOB_NAME

检查作业删除请求的状态：

GET https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID

请替换以下内容：

PROJECT_ID：您的项目 ID。
LOCATION：作业的位置。
JOB_NAME：作业的名称。
TASK_GROUP_NAME：要查看其详细信息的任务组的名称。该值必须设置为 group0。
OPERATION_ID：长时间运行的操作的标识符，由删除作业的请求返回。

IAM 角色和权限

本部分总结了 Cloud Life Sciences 和 Batch 在 Identity and Access Management 角色和权限方面的差异。如需详细了解任何角色及其权限，请参阅 IAM 基本和预定义角色参考文档。

下表介绍了 Cloud Life Sciences 用户所需的预定义角色及其权限。

Cloud Life Sciences 角色权限

Cloud Life Sciences 角色	权限
以下任意一项：项目的 Cloud Life Sciences Admin (`roles/lifesciences.admin`) 项目的 Cloud Life Sciences Editor (`roles/lifesciences.editor`) 项目的 Cloud Life Sciences Workflows Runner (`roles/lifesciences.workflowsRunner`)	`lifesciences.workflows.run` `lifesciences.operations.cancel` `lifesciences.operations.get` `lifesciences.operations.list`
项目的 Cloud Life Sciences Viewer (`roles/lifesciences.viewer`)	`lifesciences.operations.get` `lifesciences.operations.list` `resourcemanager.projects.get` `resourcemanager.projects.list`

以下任意一项：

项目的 Cloud Life Sciences Admin (roles/lifesciences.admin)
项目的 Cloud Life Sciences Editor (roles/lifesciences.editor)
项目的 Cloud Life Sciences Workflows Runner (roles/lifesciences.workflowsRunner)

lifesciences.workflows.run
lifesciences.operations.cancel
lifesciences.operations.get
lifesciences.operations.list

项目的 Cloud Life Sciences Viewer (roles/lifesciences.viewer)

lifesciences.operations.get
lifesciences.operations.list
resourcemanager.projects.get
resourcemanager.projects.list

下表介绍了 Batch 的一些预定义角色及其权限。与 Cloud Life Sciences 不同，Batch 要求您为用户和服务帐号授予对作业的权限。如需详细了解 IAM 要求，请参阅 Batch 的前提条件。

用户的批处理角色	权限
项目的 Batch Job Editor (`roles/batch.jobsEditor`)	`batch.jobs.create` `batch.jobs.delete` `batch.jobs.get` `batch.jobs.list` `batch.locations.get` `batch.locations.list` `batch.operations.get` `batch.operations.list` `batch.tasks.get` `batch.tasks.list` `resourcemanager.projects.get` `resourcemanager.projects.list`
项目的 Batch Job Viewer (`roles/batch.jobsViewer`)	`batch.jobs.get` `batch.jobs.list` `batch.locations.get` `batch.locations.list` `batch.operations.get` `batch.operations.list` `batch.tasks.get` `batch.tasks.list` `resourcemanager.projects.get` `resourcemanager.projects.list`
作业的服务帐号的 Service Account User (`roles/iam.serviceAccountUser`)	`iam.serviceAccounts.actAs` `iam.serviceAccounts.get` `iam.serviceAccounts.list` `resourcemanager.projects.get` `resourcemanager.projects.list`
服务账号的批处理角色	权限
项目的 Batch Agent Reporter (`roles/batch.agentReporter`)	`batch.states.report`

对应的功能

下表介绍了 Cloud Life Sciences 的功能和 Batch 的等效功能，并详细介绍了它们之间的区别。

每个地图项由说明及其 JSON 语法表示。通过 API 访问 Batch 或通过 Google Cloud CLI 指定 JSON 配置文件时，可以使用 JSON 语法。但请注意，您还可以通过其他方法使用 Batch 功能，例如通过 Google Cloud 控制台字段、gcloud CLI 标志和客户端库（具体说明请参阅 Batch 文档）。

如需详细了解每个功能及其 JSON 语法，请参阅以下内容：

如需了解 Cloud Life Sciences，请参阅 projects.locations.pipelines REST 资源的 Cloud Life Sciences API 参考文档。
对于 Batch，请参阅 projects.locations.jobs REST 资源的 Batch API 参考文档。

Cloud Life Sciences 特性	批量特征	详情
流水线 (`pipeline`)	作业 (`job`) 及其任务 (`taskGroups[]`)	批处理作业由一个或多个任务构成的数组，其中每个任务都会执行所有相同的可运行项。 Cloud Life Sciences 流水线类似于包含一项任务的批处理作业。但是，Cloud Life Sciences 对（具有多个任务的作业）任务没有等效概念，此类任务有点像流水线的重复。如需详细了解作业和任务，请参阅 Batch 概览。
流水线的操作 (`actions[]`)	作业的任务的可运行对象 (`runnables[]`)	Cloud Life Sciences 操作描述的是容器，但可运行的 Batch 可以包含容器或脚本。
操作的凭据 (`credentials`)	为容器可运行：用户名 (`username`) 密码 (`password`)	在 Cloud Life Sciences 中，操作的凭据必须是包含用户名和密码键值对的 Cloud Key Management Service 加密字典。在 Batch 中，可运行的容器的用户名和密码位于单独的字段中。这两个字段都可以使用纯文本或 Secret Manager Secret 的名称指定。
触发以下操作：环境变量 (`environment`) 加密的环境变量 (`encryptedEnvironment`)	对环境的影响：变量 (`variables`) 加密变量 (`encryptedVariables`) Secret 变量 (`secretVariables`) 可能的环境：一个可运行对象（`runnables[]` 中的 `environment`）所有可运行对象（`taskSpec` 中的 `environment`）所有任务（`taskGroups[]` 中的 `taskEnvironments[]`）	借助 Cloud Life Sciences，您可以为设置为纯文本或加密字典的操作指定环境变量。在 Batch 中，这类似于让可运行环境（`runnables[]` 中的 `environment` 字段）包含格式为纯文本 (`variables`) 或加密字典 (`encryptedVariables`) 的变量。但是，Batch 还提供了更多选项来指定环境变量：除了将变量指定为纯文本或加密字典，您还可以通过使用 Secret 变量 (`secretVariables`) 来指定使用 Secret Manager Secret 的变量。除了为可运行对象指定环境变量外，您还可以使用 `taskSpec` 中的 `environment` 字段为所有可运行对象指定环境变量。除了为每个任务指定具有相同值的环境变量，您还可以使用 `taskGroups[]` 中的 `taskEnvironments[]` 字段为每个任务指定一个具有不同值的环境变量。如需了解详情，请参阅使用环境变量。
用于运行流水线的请求的标签（请求正文中的 `labels`）	作业的标签（作业资源中的 `labels`）	与 Cloud Life Sciences 不同，Batch 不会在创建新作业的请求中添加标签字段。对于 Batch，最接近的选项是使用仅与作业关联的标签。 Batch 具有多种类型的标签（`labels` 字段），您可以在创建作业时使用这些标签。如需了解详情，请参阅使用标签整理资源。
流水线资源 (`resources`) 的区域 (`regions[]`) 和可用区 (`zones[]`)	作业的资源位置政策 (`locationPolicy`) 的允许位置 (`allowedLocations`)	在 Cloud Life Sciences 中，流水线在单个虚拟机上执行，您可以为该虚拟机指定所需的区域和/或可用区。在 Batch 中，等效选项是允许运行作业的位置，您可以将其定义为一个或多个区域或可用区，并指定可以创建作业虚拟机的位置。单个 Batch 作业的所有虚拟机都属于特定区域中的单个代管式实例组 (MIG)；但是，各个虚拟机可能位于该区域的不同可用区中。值得注意的是，为职位指定允许的位置字段是可选的，因为此字段与职位的位置是分开的。与作业的位置不同，允许的位置不会影响用于创建 Batch 作业和存储作业元数据的位置。如需了解详情，请参阅批量位置。
流水线资源 (`resources`)：虚拟机 (`virualMachine`)	用于作业的资源政策 (`allocationPolicy`)：虚拟机 (`instances`) 服务帐号 (`serviceAccount`) 标签（`allocationPolicy` 中的 `labels`）网络 (`network`)	在 Cloud Life Sciences 中，您可以配置运行流水线的（一个）虚拟机。在 Batch 中，作业的资源分配政策字段 (`allocationPolicy`) 中提供了相同的虚拟机选项：虚拟机的服务帐号、标签和网络配置均在其专用字段中定义。虚拟机字段 (`instances`) 可以直接定义，也可以使用实例模板进行定义，其中包括机器类型、允许的最低要求 CPU 平台、启动磁盘和任何其他挂接的磁盘以及任何 GPU 和 GPU 驱动程序的配置选项。
触发以下操作：标签（`actions[]` 中的 `labels`）超时选项 (`timeout`) 用于忽略退出状态的选项 (`ignoreExitStatus`) 可在后台运行的选项 (`runInBackground`) 始终运行的选项 (`alwaysRun`)	：标签（`runnables[]` 中的 `labels`）超时选项 (`timeout`) 用于忽略退出状态的选项 (`ignoreExitStatus`) 可在后台运行的选项 (`background`) 始终运行的选项 (`alwaysRun`)	Cloud Life Sciences 中的这些各种便捷标志在 Batch 中是等效的，但它们是为每个可运行标志（可包含脚本或容器）指定的，而不是为每个操作（容器）指定的。
触发以下操作：用于发布公开端口的选项 (`publishExposedPorts`) 用于指定进程 ID (PID) 命名空间 (`pidNamespace`) 的选项和用于指定容器到主机端口映射的选项 (`portMappings`)	选项 (`options`)	Batch 通过可运行容器的选项字段 (`options`) 支持这些 Cloud Life Sciences 选项及其他选项。将选项字段设置为您希望 Batch 附加到 `docker run` 命令的任何标志，例如 `-P --pid mynamespace -p 22:22`。
触发以下操作：用于停用提前下载容器映像的选项 (`disableImagePrefetch`) 用于禁止返回标准错误流的选项 (`disableStandardErrorCapture`)	无对等项	Batch 根据作业的日志政策 (`logsPolicy`) 预提取映像并处理所有可运行对象的输出。
用于为某项操作屏蔽外部网络 (`blockExternalNetwork`) 的选项	用于针对可运行的容器屏蔽外部网络 (`blockExternalNetwork`) 的选项	用于为操作屏蔽外部网络的 Cloud Life Sciences 选项与用于为容器屏蔽外部网络的 Batch 选项类似。 Batch 还有许多其他网络选项，例如为作业的所有虚拟机屏蔽外部网络。如需了解详情，请参阅批量网络概览。
针对某项操作装载 (`mounts[]`)	所有可运行项的卷（`taskSpec` 中的 `volumes[]`）和容器的卷选项（`container` 中的 `volumes[]`）	在 Batch 中，您可以使用 `taskSpec` 中的 `volumes[]` 字段定义作业的卷及其装载路径。Batch 将存储卷装载到作业的虚拟机，并且作业的所有可运行对象（脚本或容器）都可以访问存储卷。此装载在虚拟机执行任何任务或可运行对象之前完成。此外，Batch 通过使用 `container` 中的 `volumes[]` 字段，支持对容器可运行对象使用明确的卷选项。这些装载选项会作为 `docker run` 命令的 `--volume` 标志的选项传递给容器，例如，`[ "/etc:/etc", "/foo:/bar" ]` 值会转换为容器上的 `docker run --volume /etc:/etc --volume /foo:/bar` 命令。如需详细了解如何将存储卷与 Batch 搭配使用，请参阅创建和运行使用存储卷的作业。
用于为操作启用 Cloud Storage FUSE (`enableFuse`) 的选项	无对等项	批处理负责装载您为作业指定的任何存储卷，例如 Cloud Storage 存储桶。因此，您不会启用任何装载工具（如 Cloud Storage FUSE for Batch）；但是，您可以选择使用 `mountOptions[]` 字段为存储卷指定装载选项。如需详细了解如何将 Cloud Storage 存储分区与 Batch 搭配使用，请参阅创建和运行使用存储卷的作业。
用于运行流水线请求的 Pub/Sub 主题 (`pubSubTopic`)	获取作业的通知配置 (`notifications[]`)： Pub/Sub 主题 (`pubSubTopic`) 消息 (`message`)	与 Cloud Life Sciences 相比，Batch 允许更好地自定义状态更新。例如，当单个任务的状态发生变化或整个作业的状态发生变化时，Batch 用户才会收到 Pub/Sub 主题上的通知。

工作流服务

如果您将工作流服务与 Cloud Life Sciences 搭配使用，那么您的迁移过程还涉及配置工作流服务以使用 Batch。本部分总结了可与 Batch 搭配使用的工作流服务。

Batch 支持 Workflows，这是 Google Cloud 的一项工作流服务。如果要将 Workflows 与 Batch 搭配使用，请参阅使用 Workflows 运行批处理作业。否则，下表介绍了可用于 Cloud Life Sciences 也可与 Batch 结合使用的其他工作流服务。下表列出了将各个工作流服务与 Batch（而非 Cloud Life Sciences）搭配使用的主要区别，以及关于在何处详细了解如何将每项服务与 Batch 搭配使用。

工作流服务	主要区别	详细信息
克伦威尔	如需将 v2beta Cloud Life Sciences API 的 Cromwell 配置文件与 Batch API 搭配使用，请进行以下更改：对于 `actor-factory` 字段，将 `cromwell.backend.google.pipelines.v2beta.PipelinesApiLifecycleActorFactory` 替换为 `cromwell.backend.google.batch.GcpBatchLifecycleActorFactory`。移除 `genomics.endpoint-url` 字段。生成新的配置文件。	如需详细了解如何将 Batch 与 Cromwell 搭配使用，请参阅适用于 Batch 的 Cromwell 文档和适用于 Batch 的 Cromwell 教程。
Dsub	如需改用 Batch 运行 Cloud Life Sciences 的 dsub 流水线，请进行以下更改：对于 `provider` 字段，将 `google-cls-v2` 替换为 `google-batch`。	如需详细了解如何将 Batch 与 dsub 搭配使用，请参阅 Batch 的 dsub 文档。
Nextflow	如需改为将 Cloud Life Sciences 的 Nextflow 配置文件与 Batch 搭配使用，请进行以下更改：对于 `executor` 字段，将 `google-lifesciences` 替换为 `google-batch`。对于任何 `config` 前缀，请将 `google.lifeScience` 替换为 `google.batch`。	如需详细了解如何将 Batch 与 Nextflow 搭配使用，请参阅批处理教程或 Nextflow 教程。如需详细了解配置选项，请参阅 Nextflow 文档。
《贪吃蛇》	如需将 v2beta Cloud Life Sciences API 的 Snakemake 流水线与 Batch API 搭配使用，请进行以下更改：确保您使用的是 Snakemake 8 或更高版本。如需了解详情，请参阅在 Snakemake 版本之间迁移。对 `snakemake` 命令进行以下更改：将 `--google-lifesciences` 标志替换为 `--executor googlebatch` 标志。将其他任何具有 `--google-lifesciences-` 前缀的标志替换为 `--googlebatch-` 前缀。	如需详细了解如何将 Batch 与 Snakemake 搭配使用，请参阅 Batch 的 Snakemake 文档。

后续步骤

如需为新用户和项目配置 Batch，请参阅使用入门。
如需了解如何使用 Batch 执行工作负载，请参阅创建作业。