什么是智能体视频理解？

传统的视频理解通常首先将视频转换为多模态模型可以处理的信息。系统可能会定期对视频帧进行采样，处理音频或转写内容，并将这些信息作为上下文提供给模型。

这种方法非常有效，尤其适合较短的视频。但无论问题是什么，它对视频的处理方式基本相同。

智能体视频理解则更进一步：模型可以根据任务决定如何探索视频。

简化的流程可能如下所示：

1. 理解问题：模型会确定需要从视频中获取哪些信息
2. 浏览视频：模型会识别时间轴中可能相关的部分
3. 收集信息：模型会检查所需的转写内容、音频或视频帧
4. 对找到的信息进行推理：模型会评估是否有足够的信息来回答问题
5. 根据需要进一步探索：模型可以在生成回答之前检查其他时刻或收集更多细节

换句话说，模型不仅对视频内容进行推理。它还在推理如何检查视频。

假设有一场时长为两小时的体育赛事。如果问题是“球员何时因伤离场？”，那么以相同的细节程度处理每一帧可能是不必要的。智能体系统可以利用可用的上下文来定位可能的时刻，更仔细地检查这些部分，并收集回答问题所需的视觉和音频信息。

静态视频理解与智能体视频理解的主要区别在于，如何为模型选择视频中的信息。

选择性探索视频的能力可以改变模型需要处理的信息量，以及模型对长篇内容的推理方式。部分主要优势包括：

• 更高效的视频处理：模型可以专注于相关信息，而不是将整个视频中均匀采样的内容放入上下文中。
• 更有效地利用上下文：长视频包含的信息远远超过回答特定问题所需的相关信息。选择性探索可为关键信息留出更多空间。
• 更具针对性的分析：当问题依赖于视觉或时间细节时，模型可以更仔细地检查特定时刻。
• 灵活的多模态推理：不同的问题可能需要转写内容、音频和视觉信息的不同组合。
• 支持更长的视频：随着视频时长的增加，详尽处理的成本会越来越高，而选择性处理则会变得越来越有用。

这需要权衡取舍。动态探索视频需要模型在回答之前执行额外的推理和检索步骤。对于大部分内容都相关的短视频，这些额外的工作可能不会带来太多好处。应用还需要考虑其任务是需要对整个视频进行广泛理解，还是需要对特定时刻进行有针对性的调查。

Gemini API 支持静态和智能体两种视频处理方法。

使用静态处理方法时，Gemini 会以固定速率提取视频帧，并将其与音频信息一起放入模型上下文中。这种方法非常适合许多视频理解任务，包括总结、描述、问答以及识别特定时间戳的信息。

借助智能体视频理解功能，受支持的 Gemini 模型可以改为动态浏览视频时间轴。该模型可以根据提示有选择地检查所需的转写内容、视频帧和音频，并在寻求答案的过程中动态调整视频检查方式。

例如，假设您向 Gemini 提供了一篇长篇演讲，并询问：“演讲中提出了哪三个主要论点？”模型无需将整个讲座中均匀采样的视觉信息加载到上下文中，而是可以浏览视频并检索其认为与问题相关的信息。

这可以显著减少需要处理的视频信息量。对于长篇内容，Google 发现，与静态处理相比，智能体视频处理可减少多达 88% 的 token 使用量，同时还能提高回答质量。

但代价是，浏览视频需要额外的推理和工具调用。对于短视频，尤其是时长在 5 分钟以内的视频，静态处理的首个 token 生成时间可能更短。当应用需要对整个视频片段进行一致的帧级检查时，静态处理也是首选。

开发者可以根据任务选择处理方法，并可以在同一请求中对不同的视频使用不同的处理模式。这样，您就可以在需要全面检查时使用静态处理，在选择性探索更合适时使用智能体处理。