• 异步处理：根据预定义的时间表（例如每小时、每天）或按需生成预测，而不是在新数据传入时实时生成
• 高吞吐量：该系统经过优化，可在单次运行中处理大量数据点，因此效率极高
• 经济高效：通过计划运行，您可以在计算资源最充足或成本最低时使用它们，从而显著降低运营成本
• 延迟容忍度：主要假设是，使用预测结果的应用无需立即响应；数据收集与预测生成之间存在几分钟至几小时的延迟是可以接受的

在设计机器学习系统时，选择使用批量推理还是在线推理，是一项基础性的架构决策。每种方法用途不同，且针对不同的性能特征进行了优化。

批量推理流水线是一种结构化、自动化的工作流，可将数据从原始状态转换为可据以采取行动的预测。该过程可分为以下关键步骤，通常由工作流管理器或调度系统进行编排。

该过程首先是随着时间推移逐步积累数据。这些输入数据可能包括用户活动日志、交易记录或传感器读数，这些数据从多个来源收集并存储在一个集中式存储位置中。这通常是基于 Google Cloud Storage 等服务构建的数据湖，或 BigQuery 等数据仓库。

推理流水线由触发器启动。此触发器可以是：

• 基于时间：调度程序（如 cron 作业）按固定间隔启动作业，例如每晚 1 点。
• 基于事件：作业响应特定事件而启动，例如 Cloud Storage 存储桶中出现新数据文件

触发后，该作业会加载整个批次的原始输入数据。然后，它会执行必要的预处理和特征工程步骤，将数据转换为机器学习模型所期望的精确格式。这可能包括清理缺失值、缩放数值特征，以及对分类变量进行编码等任务。

系统从中央存储库（例如 Vertex AI Model Registry）检索经过训练的机器学习模型。随后将预处理后的批次数据输入模型，模型会对集合中的每个观测值执行推理并生成相应预测。

模型输出（预测结果集合）随后将写入存储系统。此目标位置是根据预测的使用方式进行选择的。常见目的地包括：将结果加载到 BigQuery 表中用于分析、加载到 Cloud SQL 数据库以供应用快速查找，或将结果保存为 Cloud Storage 文件。

预测结果现已存储并准备就绪，下游系统可以使用这些结果。业务智能工具可能会查询这些结果，以创建预测客户行为的信息中心。Web 应用的后端可能会加载预先计算的产品推荐以向用户展示，或营销自动化平台也可能会提取预测将流失的客户名单，以便通过新广告活动进行精准投放。

在许多核心业务流程中，批量推理是首选方法，因为预测可增强产品或服务，无需实时生成。这种方法在各行各业中均可有效解决大规模数据问题。

Vertex AI 是 Google Cloud 的托管式机器学习平台，提供简化的无服务器方法，用于批量推理。该流程的重点在于配置作业，并让平台处理底层基础设施。

在开始之前，您需要准备以下三项关键内容：

• 应将经过训练的模型上传至 Vertex AI Model Registry
• 您的输入数据，其格式应符合模型要求；数据应存储在 Google Cloud Storage（例如 JSON 或 CSV 文件）或 BigQuery 表中
• 输出的目标位置，可以是 Cloud Storage 存储桶或 BigQuery 表

您可以通过 Google Cloud 控制台、gcloud 命令行工具，或使用 Vertex AI SDK 以编程方式启动作业。创建作业时，您将提供以下配置：

• 您要使用的 Model Registry 中的特定模型
• 输入数据的路径和输出结果的位置
• 您可为作业选择所需的机器类型和加速器（例如 GPU），从而在成本与性能之间取得平衡

提交作业后，其余流程将由 Vertex AI 接管。它会自动预配您指定的计算资源，运行模型处理您的输入数据，生成预测结果，并保存至您指定的输出位置。作业完成后，Vertex AI 会自动将所有资源缩减至零，因此您仅需为实际使用的计算时间付费。您可直接在 Google Cloud 控制台中监控作业进度并查看日志。

作业状态显示为“已成功”后，预测结果即已就绪。现在，Cloud Storage 中的输出文件或 BigQuery 中的新表已可供下游应用、分析工具或 BI 信息中心访问。