Batch 使用入门

本页面介绍了如何开始使用 Batch for Google Cloud。

概览

Batch 是一项全代管式服务,可让您在 Google Cloud 资源上安排、排队和执行批处理工作负载。例如,您可以考虑使用 Batch 高性能计算 (HPC)、机器学习 (ML) 以及 数据处理工作负载 Batch 为您的集群预配资源和管理容量, 让您可以大规模运行批量工作负载。

借助 Batch,您无需配置和管理第三方 作业调度程序、预配和取消预配资源,或者请求资源 。要运行作业,请为资源指定参数 之后,Batch 会获取资源并 将作业排队等待执行。Batch 提供 与其他 Google Cloud 服务集成,以帮助进行调度、 执行、存储和分析批量作业,让您可以专注于 提交作业并使用结果。

Batch 包含以下组件:

  • 作业:运行一系列任务来完成而不需要的计划程序 通常用于计算工作负载。 例如,作业可能是单个 Shell 脚本或 进行复杂的多部分计算。

    具体而言,一个批量作业表示一个数组,其中包含 以及运行这些任务的环境。 您可以将作业的程序定义为一个或多个可运行程序的序列。每个任务都会在作业的资源上运行一系列可运行对象。您可以将作业的任务配置为 并行或依序。

  • 任务:作业的一系列可运行对象的一次执行。当作业的 多个任务时,您可以指定希望每项执行不同的 在作业的 Runnable

  • 可运行:您定义的一种可执行脚本或容器, 作业。

  • 资源:运行作业所需的基础架构。至少 您只需指定每个任务所需的计算资源: CPU 核心、内存和(如果需要)额外的启动磁盘存储空间。(可选) 您还可以为作业指定其他资源选项。 批处理作业会在作业运行期间自动创建和删除符合您规范的资源。

    具体而言,每个批量作业 区域级代管式实例组 (MIG),是指 与之匹配的 Compute Engine 虚拟机 位于某个包含的可用区内。每个虚拟机都有专用硬件 CPU 核心和内存 - 它们会影响应用的性能 以及启动磁盘,后者用于存储 系统 (OS) 映像和运行作业的说明。 如果指定,作业可能还会包含或访问其他 例如 GPU 或外部存储卷 为作业预配的虚拟机数量取决于硬件要求 和任务计划选项

总之,借助 Batch,您可以创建和运行作业 自动预配和利用执行其任务所需的资源。

有关作业行为和选项的详细信息,请参阅 作业创建和执行概览页面。

价格

使用 Batch 不会产生额外费用。您只是 执行作业所需的底层资源的费用。

如需详细了解与 Batch 和 Cloud Run 的相关费用, 如何过滤 Cloud Billing 报告以查看 Batch 费用, 请参阅定价

限制

Batch 具有以下限制:

  • 您不能超出 项目的批量配额和限制
  • 您只能指定一种机器类型 预定义custom、 。
  • 每个作业只能指定一个任务组。所有作业都只有一个 名为“group0”的任务组。

前提条件

如需开始使用批量处理,请满足以下前提条件:

  1. 如果您的项目之前没有使用过 Batch, 为项目启用 Batch
  2. 为每个新用户设置 Batch

为项目启用 Batch

如需开始将批处理功能与项目搭配使用,请执行以下操作:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. 确保您的 Google Cloud 项目已启用结算功能

  3. 确保您的项目已启用 Batch:

    1. 使用 Google Cloud 控制台或 Google Cloud CLI。

      控制台

      Enable the Batch, Compute Engine, and Cloud Logging APIs.

      Enable the APIs

      gcloud

      Enable the Batch, Compute Engine, and Cloud Logging APIs:

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. 确保您的项目有一个或多个 服务账号 拥有创建和访问资源所需的必要权限 运行批处理作业所需的资源

      需要注意的是,您允许任何用户 项目中的批量作业必须 有权使用这些服务账号之一。 因此,请不要选择具有更多权限的服务账号 提供给这些用户。

      每个作业默认使用的服务账号是 Compute Engine 默认服务账号, 但您也可以 自定义作业使用的服务账号

      除非您打算仅为作业的服务账号使用默认配置,否则请向项目用于批处理作业的所有服务账号授予以下 IAM 角色。

      • 项目的 Batch Agent Reporter (roles/batch.agentReporter)
      • 如需让作业在 Cloud Logging 中生成日志,请为项目启用日志写入器 (roles/logging.logWriter)

      您用于作业的服务账号可能还需要 根据需要配置更多角色, 应用场景。请参阅每项任务对应的文档, 需要额外权限。如需详细了解 向服务账号授予角色,请参阅 限制服务账号 以及管理对服务账号的访问权限

    3. 确保您熟悉项目的 批处理服务代理:

      创建批处理作业后,系统会自动为您的项目创建一个批处理服务代理,其名称为:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com
      

      PROJECT_NUMBER 替换为您的项目编号

      Batch 服务代理会被自动授予 Google Batch Service Agent (roles/batch.serviceAgent) IAM 角色。 您的项目必须进行此配置,才能使用批处理。

      但在某些用例中, 在共享 VPC 网络上运行作业 - 需要 您可以向项目的 批处理服务代理。

      如需了解详情,请参阅服务代理

为新用户设置 Batch

如需以用户身份开始使用 Batch,请执行以下操作:

  1. 如需获得使用批处理所需的权限,请让您的管理员为您授予项目的所需 IAM 角色。请参阅每项任务对应的文档,了解 所需权限。

    例如,如果您希望开始学习如何使用 Batch 请考虑为以下任务请求角色:

    • 如需创建作业,请执行以下操作:
    • 如需列出和描述作业,请使用 Batch Job Editor (roles/batch.jobsEditor) 或 Batch Job Viewer (roles/batch.jobsViewer) 权限
    • 如需查看作业的日志:项目的 Logs Viewer (roles/logging.viewer)
    • 如需删除作业,请对项目拥有 Batch Job Editor (roles/batch.jobsEditor) 权限

    如需详细了解如何授予角色,请参阅管理访问权限

  2. 如果您想使用适用于 Batch 的命令行示例, 通过执行以下操作来设置 Google Cloud CLI。详细了解 Google Cloud CLI 进行身份验证

    1. Install the Google Cloud CLI, then initialize it by running the following command:

      gcloud init

    2. 建议:使用 gcloud config set project 命令设置默认项目:

      gcloud config set project PROJECT_ID
      

      PROJECT_ID 替换为 项目 ID 项目名称

  3. 如果您想使用适用于批处理的 API 示例或客户端库示例,请参阅对批处理进行身份验证

获取支持

您可以使用 Cloud 论坛上的批量标签

如果您在使用批处理时遇到问题,请参阅问题排查文档。

要获得 Batch 的支持或提供反馈,请使用 以下资源:

  • 如有 Google Cloud 的结算问题,请联系 结算支持

  • 如果您购买了付费支持套餐,请直接与 Google Cloud 支持团队联系,以解决与批处理相关的问题。

    Google Cloud 提供不同的支持套餐来满足不同的需求 例如全天候服务、手机支持以及技术支持 。如需了解详情,请参阅 Google Cloud 支持

  • 为 Batch 提供任何反馈或功能请求,或 在没有付费支持套餐的情况下报告 Batch 的问题, 点击发送反馈按钮(您可以在底部找到该按钮) 每个 Batch 文档页面的末尾部分。 然后,选择以下任一选项:

    • 如需查看与 Batch 文档相关的反馈,请选择 “文档反馈。”
    • 如需提供与批量处理相关的任何其他反馈,请选择“产品反馈”。

后续步骤