B站 公众号 淘 淘宝店 QQ群
返回 AI 前沿实验

视频理解与生产自动化

Gemini Agentic Video Understanding:长视频检索、镜头定位与质检的新入口

Google 于 2026 年 9 月 1 日为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 发布 Agentic Video Understanding。模型可围绕问题动态检查视频帧、音频和转写,不再只依赖一次性均匀抽帧。对后期团队最现实的价值是长素材检索、镜头定位、连续性检查和审片线索生成,而不是直接替代人工审片。

Gemini视频理解镜头检索质检时间码

核心观察

  • 01

    官方将亚秒级时刻定位、异常检测和计数列为典型能力,适合从长素材中找台词、动作、道具或连续性问题。

  • 02

    Google 公布最高减少 88% 令牌、降低 66% 成本并提升 7% 质量,这些数字来自其基准,不能直接推算到具体项目。

  • 03

    API 使用时应让结果返回结构化镜头区间、证据帧和置信度,再由剪辑、合成或制片人员复核。

  • 04

    涉及未公开素材时,仍需核对账号的数据保留、训练使用、地域和保密条款。

后期流程中的正确落点

输入可使用带稳定时间码的代理文件,并把镜头清单、角色名、道具名和项目术语作为上下文。输出建议固定为 JSON:问题类型、开始时间码、结束时间码、证据描述、置信度和人工复核状态。

适合先做检索、粗分段、转写对齐和异常候选,不应直接执行删除素材、批准镜头或覆盖资产等不可逆操作。

建议的内部评测

准备一组已经人工标注的长素材,覆盖快速剪辑、低照度、遮挡、多人说话、画外音和相似镜头。比较召回率、误报率、时间码偏差、用量、成本和人工复核时间。

若用于 QC,应把“未发现问题”视作模型本次未检出,而不是镜头已经通过。最终状态仍由现有审片或资产管理系统记录。