Page 79 - 《软件学报》2026年第5期

1958 软件学报 2026 年第 37 卷第 5 期

于 7B 规模的 LLaVA-v1.6 模型进行.
3.3.1 双关联时间采样的有效性
为评估双关联时间采样方法在时间维度的有效性, 设计了一系列消融实验, 结果如表 3 所示. 主要对比的几种
方法包括: 均匀时间采样 (基线方法)、基于提示引导的时间采样、双关联时间采样、均匀+提示引导采样组合、
均匀+双关联采样组合. 现有相关模型的时间采样方案可作为参考, 其中 IG-VLM 采用 6 帧均匀采样, FreeVA 采
用 50 帧均匀采样后对每一帧特征进行密集聚合, SF-LLaVA 采用 10 帧均匀采样与 50 帧密集聚合, Free Video-
LLM 采用 3 帧均匀采样、5 帧提示引导时间采样和 50 帧密集聚合. 为保证消融实验的公平性, 实验首先在相同
的 3 帧采样条件下比较不同方法的性能, 随后再比较不同方法组合后的性能变化情况.

表 3 双关联时间采样策略的消融实验

方法 高相关帧数 中等相关帧数 调整帧数 最终帧数 MSVD-QA (%)
仅均匀时间采样 － － － 3 71.7
仅提示引导时间采样 3 － － 3 75.0
双关联时间采样 3 7 1 3 75.6
均匀+提示引导时间采样 3 7 1 6 76.9
均匀+双关联时间采样 3 7 1 6 77.3

首先, 均匀时间采样方法选取了 3 帧并使用 864 个视觉标记, 在 MSVD-QA 任务中实现了 71.7% 的准确率,
作为对比基线. 接着, 提示引导的时间采样方法同样选取 3 帧和 864 个视觉标记, 但其准确率提高至 75.0%, 表明
结合提示信息来引导时间采样过程能够有效提升模型性能. 随后, 对提示引导时间采样方法进行了进一步优化.
在 3 帧中剔除图像关联性最弱的一帧, 并从提示相关性较高的 3 帧和中等相关性的 7 帧中筛选出相似度最高的非
重复帧. 该优化方案使得准确率进一步提高至 75.6%, 表明双关联时间采样能够根据问题需求, 选取更合适的视频
帧, 从而提升问题解答的准确性. 最后, 将均匀时间采样与双关联时间采样相结合, 选取 6 帧并使用 1 728 个视觉标
记, 最终得分提升至 77.3%. 进一步提升了模型性能, 验证了混合策略的有效性.
3.3.2 动态空间采样的有效性
为验证动态空间采样在空间维度的作用, 设计了一系列消融实验, 结果如表 4 所示. 实验包含 4 种配置: 仅使
用均匀时间采样、使用双关联时间采样、在双关联时间采样基础上进行提示引导的空间采样和在双关联时间采
样基础上进行动态空间采样, 具体结果如下.

表 4 动态空间采样策略的消融实验

方法 RoI比率 最终帧数 平均视觉标记 MSVD-QA (%)
均匀时间采样 － 3 864 71.7
双关联时间采样 － 3 864 75.6
双关联时间采样+提示引导的空间采样 0.6 3 513 74.9
双关联时间采样+动态空间采样 0.6 3 500 75.7

在使用均匀时间采样的方法时, 最终选取了 3 帧视频帧, 一共使用了 864 个视觉标记, 达到了 71.7% 的准确
率. 在使用双关联时间采样方法时, 同样选取 3 帧视频帧以及使用 864 个视觉标记, 最终准确率为 75.6%. 在同时
使用双关联时间和动态空间采样时, 将 RoI 裁剪比率设为 0.6, 仍选取 3 帧视频帧, 视觉标记减少至 500, 准确率提
升至 75.7%. 与“双关联时间采样+提示引导的空间采样”方案相比, 提出的方案不仅减少了 13 个平均视觉标记, 准
确率还提升了 0.8%. 结果表明, 双关联时间采样结合动态空间采样不仅显著减少了视觉标记数量, 同时也保持了
整体性能, 充分验证了这两种模块的有效性及协同作用.
3.3.3 RoI 比率消融实验
为了进一步分析动态空间采样中 RoI 比率对模型性能的影响, 该实验仅使用双关联时间采样以及动态空间采