AI 推理是什么？

完整的 AI 生命周期涵盖从数据收集到长期监控的各个环节，而模型从创建到执行的核心过程可分为三个关键阶段。前两个阶段侧重学习，最后一个则是应用所学。

• AI 训练是基础学习阶段。这是一个计算密集型过程，模型会分析庞大的数据集，以学习其中的模式和关系。目标是创建一个准确且知识丰富的模型。这需要强大的硬件加速器（如 GPU 和 TPU），过程可能持续数小时到数周。
• AI 微调是训练的一种捷径。它基于强大的预训练模型，结合较小的专用数据集，将模型调整为适用于更具体的任务。相比从零开始训练模型，这种方式可以显著节省时间和资源。
• AI 推理是执行阶段。它利用经过训练和微调的模型，快速预测“未曾见过”的新数据。与训练相比，单次预测所需的计算资源要少得多，但若要实时提供数百万次预测，则需要高度优化且可扩缩的基础设施。
• AI 服务是指为推理目的部署和管理模型的过程。这通常包括打包模型、设置 API 端点，以及管理用于处理请求的基础设施。

下表总结了主要区别：

从本质上讲，AI 推理涉及三个步骤，可将新数据转化为有用的输出。

我们通过一个简单的示例来了解一下：一个用于识别照片中物体的 AI 模型。

1. 输入数据准备：首先，提供新数据，例如您刚刚提交的照片。这张照片会立即为模型做好准备，这里可能只需要将其大小调整为训练模型时所用的照片大小。
2. 模型执行：接下来，AI 模型会分析准备好的照片。它会寻找与训练期间所学内容相匹配的模式，例如颜色、形状和纹理。这种快速分析称为“前向传递”，这是一个只读步骤，模型会应用其知识，而不会学习任何新知识。
3. 输出生成：模型生成可行的结果。对于照片分析，这可能是概率得分（例如，图片包含“狗”的概率为 95%）。然后，此输出会发送到应用并显示给用户。

虽然单次推理很快，但为数百万用户提供实时服务会增加延迟和成本，并且需要优化硬件。AI 专用图形处理器 (GPU) 和 Google 的张量处理单元可以搭配 Google Kubernetes Engine 的编排功能一起使用，高效地处理这些任务，以提高吞吐量并降低延迟。

这是最常见的方法，推理在数据中心强大的远程服务器上运行。云提供了巨大的可伸缩性和计算资源，非常适合处理海量数据集和复杂模型。在云端，通常有两种主要的推理模式：

• 实时（在线）推理：在收到单个请求时立即处理，通常在几毫秒内完成。这对于需要即时反馈的交互式应用至关重要。
• 批量（离线）推理：一次性处理大量数据，通常在不需要即时响应的场景使用。对于定期分析或计划任务，这是一种非常经济高效的方法。

这种方法直接在生成数据的设备（例如智能手机或工业传感器）上执行推理。边缘推理无需往返云端，因此具有独特的优势：

• 降低延迟：响应几乎是瞬时的，这对于自动驾驶汽车或实时制造检查等应用至关重要。
• 增强隐私保护：敏感数据（例如医学影像、个人照片、视频 Feed）可以在设备端处理，而无需发送到云端。
• 降低带宽费用：在本地处理数据可大幅减少需要上传和下载的数据量。
• 离线功能：即使没有互联网连接，应用也能继续工作，可确保在偏远地区或断网环境下也能持续运行。

为了帮助您根据具体需求选择最佳方法，我们快速比较了每种 AI 推理类型的关键特征和应用场景：

Google Cloud 提供了一整套工具和服务，可帮助开发者和组织高效地大规模构建、部署和管理 AI 推理工作负载。推理功能已深度集成到许多产品中：

Vertex AI 是 Google Cloud 的统一 AI 平台。它提供构建、部署和管理机器学习模型的全面工具，是大多数云端推理需求的首选解决方案。