AI 推理是什么？

完整的 AI 生命周期涵盖从数据收集到长期监控的各个环节，而模型从创建到执行的核心过程可分为三个关键阶段。前两个阶段侧重学习，最后一个则是应用所学。

• AI 训练是基础学习阶段。这是一个计算密集型过程，模型会分析庞大的数据集，以学习其中的模式和关系。目标是创建一个准确且知识储备丰富的模型。这需要强大的硬件加速器（如 GPU 和 TPU），过程可能持续数小时到数周。
• AI 微调是训练的一种捷径。它基于强大的预训练模型，结合较小的专用数据集，将模型调整为适用于更具体的任务。相比从零开始训练模型，这种方式可以显著节省时间和资源。
• AI 推理是执行阶段。它利用经过训练和微调的模型，快速预测“未曾见过”的新数据。与训练相比，单次预测所需的计算资源要少得多，但若要实时提供数百万次预测，则需要高度优化且可扩缩的基础设施。
• AI 服务是指为推理目的部署和管理模型的过程。这通常包括打包模型、设置 API 端点，以及管理用于处理请求的基础设施。

下表总结了主要区别：

从本质上讲，AI 推理涉及三个步骤，可将新数据转化为有用的输出。

我们通过一个简单的示例来了解一下：一个用于识别照片中物体的 AI 模型。

1. 输入数据准备：首先，提供新数据，例如您刚刚提交的照片。这张照片会立即为模型做好准备，这里可能只需要将其大小调整为训练模型时所用的照片大小。
2. 模型执行：接下来，AI 模型会分析准备好的照片。它会寻找与训练期间所学内容相匹配的模式，例如颜色、形状和纹理。这种快速分析称为“前向传递”，这是一个只读步骤，模型会应用其知识，而不会学习任何新知识。
3. 输出生成：模型生成可行的结果。对于照片分析，这可能是概率得分（例如，图片包含“狗”的概率为 95%）。然后，此输出会发送到应用并显示给用户。

虽然单次推理很快，但为数百万用户提供实时服务会增加延迟和成本，并且需要优化硬件。AI 专用图形处理器 (GPU) 和 Google 的张量处理单元可以搭配 Google Kubernetes Engine 的编排功能一起使用，高效地处理这些任务，以提高吞吐量并降低延迟。

这是最常见的方法，推理在数据中心强大的远程服务器上运行。云提供了巨大的可伸缩性和计算资源，非常适合处理海量数据集和复杂模型。在云端，通常有两种主要的推理模式：

• 实时（在线）推理：在收到单个请求时立即处理，通常在几毫秒内完成。这对于需要即时反馈的交互式应用至关重要。
• 批量（离线）推理：一次性处理大量数据，通常在不需要即时响应的场景使用。对于定期分析或计划任务，这是一种非常经济高效的方法。

这种方法直接在生成数据的设备（例如智能手机或工业传感器）上执行推理。边缘推理无需往返云端，因此具有独特的优势：

• 降低延迟：响应几乎是瞬时的，这对于自动驾驶汽车或实时制造检查等应用至关重要。
• 增强隐私保护：敏感数据（例如医学影像、个人照片、视频 Feed）可以在设备端处理，而无需发送到云端。
• 降低带宽费用：在本地处理数据可大幅减少需要上传和下载的数据量。
• 离线功能：即使没有互联网连接，应用也能继续工作，可确保在偏远地区或断网环境下也能持续运行。

为了帮助您根据具体需求选择最佳方法，我们快速比较了每种 AI 推理类型的关键特征和应用场景：

AI 推理面临着一系列独特的技术挑战，包括管理延迟、控制成本和确保可伸缩性。Google Cloud 为推理提供了灵活的途径，让您可以根据模型的复杂性、性能需求和运营能力选择合适的工具。您可以从全托管式解决方案开始，随着需求的演变，逐步采用自定义程度更高的基础设施。

这种方法非常适合想要快速集成强大的 AI 功能的各种技能水平的开发者，包括 AI 新手。只需进行简单的 API 调用，无需管理任何模型或基础设施。

此选项适合已经构建了自定义模型的开发者。您可以将其部署到 Google Cloud 的托管式服务，这意味着您无需自行处理复杂的服务器设置或编排。您可以专注于模型，而无需担心基础设施。

为开发者和 MLOps 提供精细的控制和灵活性，以便在云端或混合环境中部署、管理和扩缩自定义容器化推理服务，这些服务通常使用专用硬件。

如果您使用 SQL，现在就可以直接在数据所在的位置从 AI 模型获取预测结果。这样就无需将数据移至单独的平台，从而简化工作流。